ToolSiftToolSift
返回教程

Ollama 部署教程

Ollama 是本地模型工作的基础设施，不是完整助手产品。它的价值在于很多自托管 AI 工具都可以把它作为本地模型后端。评估关键是硬件现实：模型大小、内存、速度和模型协议，比第一条命令能否成功更重要。

部署前检查

  • 确认 Docker、Node.js、Python 或项目要求的运行环境。
  • 确认是否需要 OpenAI、Claude、Gemini、DeepSeek、Qwen 或 Ollama。
  • 先在本地或测试服务器运行，不要直接接入生产数据。

建议部署路径

  1. 先安装 Ollama 并拉取一个小模型。
  2. 添加 UI 前，先直接用 Ollama 跑一组已知提示词。
  3. 连接一个下游工具后重复同样测试。
  4. 选择更大模型前记录延迟、内存压力和回答质量。

常见评测误区

  • 模型能运行不代表足够适合工作流。
  • 本地部署不代表可以忽略模型协议。
  • 弱硬件上跑大模型会让整套系统都显得不稳定。

验收测试任务

  1. 用同一组提示词测试一个小模型和一个较大模型。
  2. 记录主观响应时间和不可接受延迟。
  3. 连接一个 UI 后确认回答是否和直接调用 Ollama 一致。

参考命令

git clone https://github.com/ollama/ollama.gitRead README and copy the example environment fileStart with Docker if the project provides compose files