本地部署大模型ollama

Ollama Windows 本地大模型部署教程

本文仅针对 Windows10 / Windows11，一键本地跑开源大模型，包含安装、模型下载、命令使用、API、局域网访问、搭配 Open WebUI、常见问题。

一、硬件要求参考

模型	最低内存	推荐内存	说明
qwen2:1.5b	4G	8G	低配电脑，速度快
qwen2.5:7b	8G	16G	✅ 大多数人首选，中文效果好
qwen2:7b-q4_K_M	6G	12G	4bit量化，显存占用更低
llama3:8b	8G	16G	英文能力强

✅ 有 NVIDIA 显卡会自动 CUDA 加速；AMD / Intel 核显部分支持；无显卡则 CPU 跑，速度比较慢。
⚠️ 优先选带 q4_K_M 的量化版本，不容易爆显存。

二、安装 Ollama

1. 官网下载 Windows 安装包：

https://ollama.com/download/windows

3. 双击 OllamaSetup.exe，一路默认安装即可。
4. 安装完成后，Ollama 会自动后台启动，右下角托盘出现 Ollama 图标。

如果托盘没有图标：在开始菜单找到 Ollama 打开。

✅ 验证安装

打开 CMD / PowerShell，输入：

ollama --version

输出版本号，代表安装成功。

三、基础命令使用

模型库：https://ollama.com/library

1. 拉取（下载）模型

ollama pull qwen2.5:7b

推荐低配机器用量化版：

ollama pull qwen2:7b-q4_K_M

其他可选：

ollama pull qwen2:1.5b
ollama pull llama3:8b

2. 交互式对话

ollama run qwen2.5:7b

进入对话，直接提问；输入 /bye 退出对话。

3. 查看本地已经下载的模型

ollama list

4. 删除模型

ollama rm qwen2.5:7b

5. 查看当前正在加载运行的模型

ollama ps

四、HTTP API（对接软件、二次开发）

Ollama 接口说明文档地址

https://github.com/ollama/ollama/blob/main/docs/api.md

Ollama 默认地址：http://localhost:11434，服务自带API，不需要手动 ollama serve

curl 测试（PowerShell）

curl http://localhost:11434/api/generate -H "Content-Type:application/json" -d "{\"model\":\"qwen2.5:7b\",\"prompt\":\"介绍一下ollama\",\"stream\":false}"

对话接口示例：

curl http://localhost:11434/api/chat -H "Content-Type:application/json" -d "{\"model\":\"qwen2.5:7b\",\"messages\":[{\"role\":\"user\",\"content\":\"你好\"}],\"stream\":false}"

python 接口请求

import requests

headers = {"Content-Type":"application/json"}
data = {"model":"deepseek-r1:8b","prompt":"你是谁?","stream":False}

response= requests.post("http://127.0.0.1:11434/api/generate", json = data, headers=headers)

print(response.json())
print(response.json().get("response",""))

✨ 局域网其他电脑访问 Ollama（重点）

默认只能本机访问，需要配置环境变量：

1. Win 搜索：编辑系统环境变量 → 环境变量 → 新建【系统变量】
   • 变量名：OLLAMA_HOST
   • 变量值：0.0.0.0
2. 确定保存，重启电脑（或者在托盘退出 Ollama，重新打开）
3. 查看本机局域网IP（cmd输入 ipconfig）
4. 其他设备访问：http://你的电脑IP:11434

⚠️ Windows防火墙放行 11434 端口，否则别的机器连不上。

五、搭配 WebUI（Open WebUI，网页聊天界面）

推荐 Docker 方式，如果你没有 Docker，后面给备选方案
前提：电脑已经安装 Docker Desktop

docker run -d -p 3000:3000 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

启动完成，浏览器打开：http://localhost:3000
首次打开注册管理员账号，自动连接本地 ollama。

如果 Ollama 在另一台电脑：进入设置 → Ollama 地址，改成 http://对方IP:11434

没有 Docker 的备选轻量UI：

• LobeChat（可以用桌面版）
• 直接用 Python 简易前端

六、进阶：自定义模型（修改系统提示词）

新建文件 Modelfile，内容：

FROM qwen2.5:7b
SYSTEM """
你是一个专业的中文助手，回答简洁易懂。
"""

在这个文件所在文件夹打开 PowerShell，执行：

ollama create my-assistant -f Modelfile

运行自定义模型：

ollama run my-assistant

七、Windows 常见问题

1. 提示无法连接到 11434
   • 检查右下角托盘 Ollama 是否在运行；没运行就开始菜单打开 Ollama。
2. 模型加载报错 OOM / out of memory
   • 换更小模型，或者 q4_K_M 量化版本。
3. 下载模型速度很慢
   • Ollama 无官方国内镜像，建议夜间下载；或者手动导入模型（进阶）。
4. 设置 OLLAMA_HOST 之后局域网还是访问不了
   • 确认环境变量是【系统变量】
   • 完全退出 Ollama 托盘程序，重新启动
   • Windows防火墙高级设置，入站规则放行 11434 TCP端口
5. 怎么确认走显卡加速？
   运行模型时看输出日志，出现 using GPU 就是成功调用显卡。

八、Windows 常用命令速查

ollama pull 模型名   # 下载模型
ollama run 模型名    # 对话
ollama list          # 查看本地模型
ollama rm 模型名     # 删除模型
ollama ps            # 查看正在运行模型
ollama show 模型名   # 查看模型详情

转载自 CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/u012121105/article/details/169070695