724 字
4 分钟
ollama 手动注册模型
ollama 手动注册模型
别慌,这个是国内网络访问 Ollama 官方仓库超时导致的。我给你一套 Windows 环境下,100% 可用的「离线导入方案」,一步一步跟着做就行。
一、方案选择
既然镜像也超时,我们直接跳过网络下载,用 离线 GGUF 模型文件 + 手动导入 的方式,完全不用连外网。
二、步骤 1:下载模型文件(国内高速)
我们直接从 魔搭社区(ModelScope) 下载 qwen2.5:7b-instruct 的 GGUF 量化版,国内速度快,无网络限制。
- 打开魔搭的模型地址:Qwen2.5-7B-Instruct-GGUF
- 找到
qwen2.5-7b-instruct-q4_k_m.gguf这个文件(约 4.7GB,适合你的 16GB 内存),下载到你电脑的下。
三、步骤 2:创建 Modelfile
在 模型文件 文件夹里,新建一个文本文件,命名为 Modelfile(注意不要带 .txt 后缀),写入以下内容:
FROM ./qwen2.5-7b-instruct-q4_k_m.ggufTEMPLATE "{{ if .System }}<|im_start|>system{{ .System }}<|im_end|>{{ end }}{{ if .Prompt }}<|im_start|>user{{ .Prompt }}<|im_end|><|im_start|>assistant{{ end }}{{ .Response }}<|im_end|>"PARAMETER stop "<|im_end|>"PARAMETER temperature 0.7四、步骤 3:用 Ollama 导入模型
# 打开 PowerShell,进入 `模型文件` 目录:cd 模型文件路径
# 执行导入命令,把模型注册到 Ollama:ollama create qwen2.5:7b-instruct -f Modelfile
# 验证是否导入成功:ollama list
# 你会看到 `qwen2.5:7b-instruct` 出现在列表里,说明导入成功。五、步骤 4:测试运行
直接运行模型,看是否能正常对话:
ollama run qwen2.5:7b-instruct六、步骤 5:Hermes 对接 Ollama
回到你的 Rocky Linux 服务器,配置 Hermes 使用 Ollama:
hermes model按提示选择:
- Provider:
ollama - Base URL:
http://你Windows电脑的局域网IP:11434 - API Key:留空
- Model:
qwen2.5:7b-instruct
注意:Windows 上要开启 Ollama 的局域网访问,需要设置环境变量:
Terminal window $env:OLLAMA_HOST="0.0.0.0"然后重启 Ollama 服务。
七、备选方案(如果不想手动下载)
如果魔搭下载麻烦,也可以用 Ollama 自带的代理设置(需要你有可用的代理):
# 先设置代理$env:HTTP_PROXY="http://127.0.0.1:7890"$env:HTTPS_PROXY="http://127.0.0.1:7890"# 再拉模型ollama pull qwen2.5:7b-instructollama 接口地址
### 本地 Ollama 默认 API 地址- **基础地址**:`http://localhost:11434` 或 `http://127.0.0.1:11434`- **完整 API 根路径**:`http://localhost:11434/api`
### 常用接口- **查看模型列表**:`GET /api/tags`
curl http://localhost:11434/api/tags
- **文本生成(generate)**:`POST /api/generate`
curl http://localhost:11434/api/generate -d '{ "model": "qwen2.5:7b-instruct", "prompt": "你好" }'
- **对话(chat,支持多轮)**:`POST /api/chat`
curl http://localhost:11434/api/chat -d '{ "model": "qwen2.5:7b-instruct", "messages": [{"role": "user", "content": "你好"}] }'
- **OpenAI 兼容地址**:`http://localhost:11434/v1` > 可直接替代 OpenAI 的 `https://api.openai.com/v1`
### 允许外部设备访问(WSL/局域网)默认仅本机访问,需全局监听:
# WSL 终端临时设置export OLLAMA_HOST=0.0.0.0:11434ollama serve
然后用 **Windows 主机 IP** 访问(如 `http://192.168.1.100:11434`)。总结
- 优先用 离线导入方案,完全不用连外网,适合国内网络环境。
- 导入完成后,直接就能在 Hermes 里用 Ollama 模型了。
好,那我们先安全备份,再动环境,稳妥得很。
你是 WSL1 Ubuntu,我给你最简单、最稳妥的 完整备份导出方法,导出一个压缩包,以后想恢复随时一键还原。
ollama 手动注册模型
https://fuwari.vercel.app/posts/指南/ollama-手动注册模型/