开发入门已解决
什么是 GGUF 格式?
本地大模型事实上的标准文件格式,一篇看懂它的元数据与用法。
问题正文
它是什么
GGUF 是 llama.cpp 生态的模型文件格式,把模型权重、分词器、配置打包成单文件。Ollama、LM Studio 等工具都以它为标准。
为什么流行
单文件即下即用、内置量化信息、支持 CPU 与 GPU 混合推理。模型社区上 GGUF 版本的下载量常常超过原模型。
使用方式
从模型社区下载对应量化级别的 GGUF 文件,导入 Ollama 或直接用 llama.cpp 加载。注意文件名里的 Q4_K_M 等字样就是量化级别。
