本地大模型
大约 1 分钟
本地大模型
不是所有场景都适合调 API——数据隐私、离线需求、成本控制、定制化要求,都可能让你需要在本地运行大模型。本合集从概念到工具选型到应用接入,帮你系统掌握本地大模型。

系列文章概览
本系列共 3 篇文章,从认知到实战逐步深入:
第一篇:核心概念
理解本地大模型的本质,搞清楚什么时候应该选择本地部署而不是调 API。
→ 本地大模型是什么?什么时候应该选择本地部署而不是直接调用 API?
第二篇:工具选型
掌握 Ollama、LM Studio、vLLM 三大工具的定位和适用场景。
→ 本地运行大模型需要哪些工具?Ollama、LM Studio、vLLM 分别适合什么场景?
第三篇:应用接入
学会用 OpenAI-Compatible API、RAG 和工具调用把本地模型接入自己的应用。
→ 本地大模型如何接入自己的应用?OpenAI-Compatible API、RAG 和工具调用怎么做?
阅读全文
