llama.cpp

它能做什么

用 C/C++ 高效推理多种语言模型，覆盖 CPU、GPU 和多平台部署。

适合用在

• 在 CPU 上运行量化模型

• 嵌入本地 AI 应用

• 测试不同硬件后端

开源与使用

项目采用 MIT 许可证。查看 GitHub 源码，或访问项目页面了解安装方式与最新版本。