本地大模型是什么？什么时候应该选择本地部署而不是直接调用 API？
本地大模型和云端 API 的选择，是现在 AI 应用开发中最常被问到的问题。面试官想看的，是你能不能根据实际场景做出合理判断，而不是死记硬背某个结论。这道题的核心考的就是技术选型能力。
本地大模型到底是什么？
简单说，本地大模型就是把开源模型部署在自己电脑上跑，不依赖任何云端服务。
你把 Qwen、Llama、ChatGLM 这些开源模型下载下来，用专门的推理框架（如 Ollama、llama.cpp）加载到本地机器上，之后所有推理都在本地完成，输入输出都不经过第三方服务器。
这就好比把 APP 装进手机里自己运行，而不是每次都打开网页用在线版。本地部署的流程是这样的：
加载模型 → Tokenizer 处理输入 → 本地 GPU/CPU 推理 → 解码输出
整个过程你的数据都在本地，不会有任何东西传出去。
本地部署和云端 API 到底差在哪？
这两个方案没有绝对的好坏，关键看你看重什么。我从五个维度给你对比一下：
1. 数据隐私
本地部署，数据完全不离手。云端 API，你的输入数据会经过第三方服务器。医疗病历、金融报表、企业核心代码——这些敏感数据用云端就存在合规风险，用本地就完全不用担心泄露。
2. 成本结构
这是最容易被搞混的地方。假设你每天调用量不小：
- 云端 API：按 token 收费，每次调用几分钱，看着便宜
- 本地部署：一张 RTX 4070 显卡 5000 元，但之后基本没有额外费用
云端是"租"，本地是"买"。用得越多，本地的均摊成本越低。但如果你一个月就用几十次，云端反而更划算。
3. 运维复杂度
云端 API 你什么都不用管，接口调不通是服务商的问题。本地部署呢？显卡驱动、模型版本、推理框架、内存不够了怎么办——全是自己要解决的问题。
4. 模型质量
同等的模型，云端通常是全精度（FP16/BF16），效果最好。本地为了省显存经常要做量化，7B 模型量化后可能就 4GB，但质量会有一定损失。当然，Q4 量化现在做得不错，日常使用差别不大。
5. 上下文长度
云端现在动不动 64K、128K 的上下文。本地呢？一般 8K 到 16K 是比较稳的，32K 需要大显存，64K 基本跑不动。这个限制在处理长文档时很明显。
什么时候必须选本地部署？
有三个场景，几乎没有第二个选择。
场景一：数据隐私硬要求
医疗影像诊断、金融风控建模、核心代码生成——这些场景下，数据泄露的代价远高于部署成本。HIPAA、GDPR、各种合规要求，直接把云端 API 排除在外。
就像处理机密文件必须在隔离室操作，不能上传网盘。
场景二：网络完全受限
飞机上写代码、内网环境跑测试、工业控制系统里面调用 AI——这些场景根本没有外网访问，走云端根本没戏。
场景三：需要做模型微调
你想让模型更懂你们公司的业务、你们行业的术语，必须要做 Fine-tuning。微调完的模型要跑起来，最直接的方式就是本地部署。云端微调虽然也有，但成本高、隐私问题同样存在。
什么情况下云端 API 才是真香？
说句实话，大多数场景云端 API 才是首选。
你想啊，开箱即用、不用维护、算力弹性、功能齐全——Function Calling、Vision、多模态，云端第一时间支持。本地呢？每次新功能出来要等社区适配，vision 能力到现在都不是很成熟。
还有一个关键点：上下文长度。你要处理一本 200 页的合同，云端 API 可能一个请求就搞定。本地部署？上下文爆了，得分段处理，还得自己拼结果，麻烦得很。
成本上，只有这两种情况本地可能更划算：
- 高频使用：每天调用量很大，API 费用累计下来比买显卡贵
- 已有现成算力：公司显卡闲着也是闲着，部署成本几乎为零
就像打车比自己养车方便，除非你真的每天通勤 100 公里，否则养车的隐形成本（保险、停车、折旧）会让人后悔。
面试怎么答？
基础版（120字）：
本地大模型是把 Qwen、Llama 等开源模型部署在本地机器上运行，核心优势是数据不离手、完全离线可用。选本地还是云端要看场景——涉及医疗、金融、核心代码等敏感数据时，本地部署是必须的；需要微调模型也只能选本地。但大多数场景云端更合适，成本低、免运维、功能全、上下文长。简单说，隐私优先选本地，便利优先选云端。
加分版（180字）：
本地大模型本质是开源模型 + 本地推理框架（如 Ollama），数据流向完全在本地。我之前做过技术选型，医疗数据处理项目选了本地，金融咨询类的轻量场景用了云端 API。判断标准就三点：数据是否敏感（隐私合规）、是否需要离线运行、网络是否通外网——三个有一个 Yes，就考虑本地；都不满足，直接云端。成本上要算清楚，假设一张 RTX 4070 5000 元，按每天 1000 次调用算，云端月费可能 300 元，17 个月才能回本，频率不够高就别折腾了。
一句话总结
本地部署和云端 API 不是非此即彼的关系，关键看数据隐私要求、使用频率、运维能力这三个维度，没有最好的方案，只有最适合场景的选择。