如果你最看重的是隐私、成本可控、离线可用、模型和工具权限都掌握在自己手里,那本地模型就是最值得投入的一条路。OpenClaw 当前官方文档里,本地 / 自建路线最清楚的两条是 Ollama 和 vLLM。如果你跑的是其他 OpenAI-compatible 网关,也可以通过 custom provider 接进来。
本地模型最重要的价值不是“省 API 钱”,而是数据、模型、工具权限和部署方式都更可控。但只要涉及高权限工具,就要把弱模型风险一起考虑进去。
本地路线适合谁
- 不希望敏感数据默认出网。
- 机器长期在线,希望压低长期调用成本。
- 想把模型、网关、向量库、Skills 都放在自己服务器或局域网里。
- 愿意为可控性接受一定的部署复杂度。
Ollama:最适合个人和轻量实验
Ollama 是 OpenClaw 官方本地路线里最容易上手的一条。根据官方 provider 页:
- 如果你没有显式配置
models.providers.ollama,OpenClaw 可以自动发现本地 Ollama。 - 它走的是原生
/api/chat接口,不是硬套 OpenAI 兼容层。 - 官方文档明确支持流式输出和工具调用。
如果你是个人用户、家用主机、Mac mini 或一台轻量 Linux 服务器,Ollama 通常是第一条本地路线。
vLLM:更适合 GPU 服务器和团队化部署
vLLM 官方 provider 页更适合“模型已经服务化”的场景。它的特点是:
- 走标准的
/v1OpenAI-compatible 接口。 - 如果没有显式 provider 配置,OpenClaw 可以从
/v1/models做自动发现。 - 更适合有 GPU 机器、要统一服务化、或要接多台应用实例的环境。
如果你在做 NAS 以上级别的部署、机房 GPU、或者团队内共享模型服务,vLLM 一般比单机 Ollama 更像长期路线。
其他本地网关:统一按 custom provider 理解
如果你跑的是 LiteLLM、本地 OpenAI-compatible proxy、或者自己包装过的模型服务,更稳的知识库写法是:把它当成 custom provider,而不是“另一个官方本地 provider”。
这样做的好处是配置边界更清楚,出问题时也知道应该查 provider 配置、网关本身,还是上游模型服务。
本地模型的最大优势
| 优势 | 说明 |
|---|---|
| 数据可控 | 日志、上下文、记忆、文件通常都可留在本地或内网 |
| 长期成本可控 | 高频使用时,比远程 API 更容易估算成本 |
| 网络独立性更强 | 即使外网波动,局域网或本机依然可用 |
| 更适合深度定制 | 适合做私有网关、内部知识库、企业内工作流 |
本地模型最容易踩的坑
- 把弱模型当强模型用:小参数、重度量化模型在工具调用和结构化输出上波动很大。
- 高权限工具直接开放:官方文档特别提醒,弱本地模型更容易受 prompt injection 影响。
- 以为“能聊天”就等于“能干活”:本地模型先验证工具调用、长上下文和错误恢复,再决定是否上生产。
- 不做 fallback:本地模型很适合做一条线路,但遇到复杂任务时,最好仍然有远程强模型兜底。
官方的安全提醒很重要
OpenClaw 官方文档对本地模型的提醒非常值得直接记住:较弱或高度量化的本地模型,在工具使用和安全边界上通常更脆弱。 如果你的机器人能读文件、跑命令、访问浏览器或操作外部系统,就更要收紧工具 allowlist。
所以比较稳的做法是:
- 先用本地模型跑低权限、低风险任务。
- 涉及工具链或敏感数据时,收紧 Tools 权限。
- 复杂任务把强远程模型放进 fallback。
推荐的实战思路
- 个人轻量使用:先用 Ollama 跑通。
- 团队或服务器:考虑 vLLM 服务化。
- 如果本地模型只负责低风险对话,把强远程模型放进 fallback。
- 如果你完全走私有化,优先把工具权限做小,再逐步放大。
社区补充案例:Windows 本地跑 Ollama + qwen + Web UI
如果你更关心的是 Windows 电脑本地把 Ollama 跑起来,再配一个可视化界面,腾讯云这篇文章可以作为补充阅读。它的重点不是 OpenClaw,而是:
- 在 Windows 上安装 Ollama,并用
ollama run qwen先把本地模型跑起来。 - 如果需要图形化交互,用 Docker 部署 Open WebUI。
- 如果还想在外网访问本地 Web UI,再额外配置内网穿透工具。
这篇内容对两类人尤其有帮助:一类是还没决定要不要把本地模型接进 OpenClaw,想先单独体验 Ollama;另一类是已经准备走 Windows 本地模型路线,想先把模型服务和可视化界面搭稳。
不过要注意,这篇文章讲的是 Ollama + Open WebUI 的本地部署和公网访问,不是 OpenClaw 自己的接入流程。放到我们知识库里,更适合作为 本地模型前置准备 / 补充案例 来看,而不是替代 OpenClaw 的本地模型接入说明。
参考链接:Windows 本地部署 Ollama + qwen 本地大语言模型 Web 交互界面并实现公网访问