小模型本地部署实践：7B 级别已经能打

量化是最大功臣

4bit 量化的成熟让 7B 模型跑进 6GB 显存，质量损失在多数任务上难以察觉。本地部署的硬件门槛大幅降低。

工具链成熟

Ollama 一条命令跑模型、llama.cpp 精细可控、各类图形界面层出不穷。本地 AI 的体验已经追上云服务。

真实边界

本地小模型在知识广度和复杂推理上仍有天花板，适合隐私敏感、离线场景与高频低成本调用。混合架构是主流答案。