Waffuru 문서

ワッフル

이미 보유한 하드웨어에서 모델을 빠르게 실행하기 위한 저수준 도구. 문서를 볼 구성 요소를 선택하세요.

Butter

매끄러운 로컬 추론으로 지연 시간을 녹입니다. Apple Silicon을 위한 의존성이 적은 LLM 추론 라이브러리로, Iron의 사전 컴파일된 Metal 커널 위에 구축되었습니다. Python도, MLX도, JIT도 필요 없습니다.

Rust 커널 DSL. 순수한 수식을 고성능 실리콘에 직접 새깁니다. 하나의 정의가 Metal, CUDA, HIP, Vulkan으로 컴파일됩니다.