显存决定推理速度，内存决定能不能跑起来。8G 显存的消费级显卡，老老实实跑 7B 到 9B 的量化模型；16G 显存可以上 14B；想跑 32B 级别，得准备 32G 以上的显存，或者靠大内存做纯 CPU 推理——能跑，但只适合低并发场景。以我的经验，入门阶段优先保证"快"，而不是"大"，先有流畅的体验，才有继续折腾的动力。

选型上，中文场景我目前首选 Qwen 系列，指令跟随和中文表达都稳；英语任务和代码生成，Llama 系与 DeepSeek 的蒸馏版各有优势，GLM 系也很能打。别迷信排行榜，用自己的任务实测一遍：让它写一段你业务里的代码、总结一篇你的长文档，比任何 benchmark 都靠谱。

跑起来这件事，Ollama 一条命令就能起步，模型管理、跨平台都省心，适合单人使用；要给多人提供服务，再考虑 vLLM，并发吞吐差一个量级。量化方面，GGUF 格式的 Q4/Q5 档足够日常用，肉眼几乎看不出和满血版的差别，显存却省一大半。

最后泼一点冷水：本地部署的收益不在"跑分"，而在隐私、离线可用和可控性——数据不出机器、版本不被厂商悄悄改动。如果这些你都不需要，那用云端未必是错误选择。先想清楚为什么本地，再决定买什么机器。