ワッフル
在你已有的硬件上快速运行模型的底层工具。选择一个组件查看其文档。
以顺滑的本地推理消融延迟。面向 Apple Silicon 的轻依赖 LLM 推理库,构建在 Iron 预编译的 Metal 内核之上。无需 Python、MLX 或 JIT。
一个 Rust 内核 DSL。将原始数学直接压入高性能芯片:一份定义即可编译到 Metal、CUDA、HIP 和 Vulkan。
waffuru.ai · github.com/waffuruai