开发入门已解决
显存不够跑大模型怎么办？
量化、CPU 混合推理、云主机、更小模型——四条降级路线。
问题正文
路线一：量化
4bit 量化能把显存需求压到四分之一，是第一选择。70B 模型 Q4 量化约 40GB，双卡或 Mac 大内存可跑。
路线二：CPU 混合推理
llama.cpp 支持部分层放显存、部分放内存的混合模式。速度会慢，但 7B 到 14B 模型可用性尚可。
路线三与四
按量租用云 GPU（跑批任务很划算）；或者退一步选更小的模型——很多场景 7B 微调版足够。
量化、CPU 混合推理、云主机、更小模型——四条降级路线。
问题正文
4bit 量化能把显存需求压到四分之一，是第一选择。70B 模型 Q4 量化约 40GB，双卡或 Mac 大内存可跑。
llama.cpp 支持部分层放显存、部分放内存的混合模式。速度会慢，但 7B 到 14B 模型可用性尚可。
按量租用云 GPU（跑批任务很划算）；或者退一步选更小的模型——很多场景 7B 微调版足够。
ANSWERS
回答内容
显存不够的四条路：量化压缩、CPU 混合推理、按量租云 GPU、换更小的模型。按速度需求与预算选择。
用免费 Colab 或云主机实测目标模型的真实速度，再决定硬件投入，避免为跑分买单。
Apple Silicon 的统一内存让 Mac 成为跑大模型的意外好手，64GB 内存可跑 32B 级别模型。