朋友发来一张手写会议记录的照片，问能不能让 AI 整理成文字。你想起 ChatGPT 的图片识别，但涉及内部数据不想上传云端。本地部署一个多模态大模型似乎是最好的选择——这篇文章就带你用 Ollama 在本地跑起 Qwen3 多模态模型，读完就能直接上手。
为什么是 Qwen3 + Ollama？
Qwen3 是阿里通义千问的第三代模型，多模态版本能看懂图片里的文字、图表、甚至手绘草图。它不再是“只能聊文字”的模型——你给它一张超市小票，它能算出总价；给一份产品说明书截图，它能提取技术参数。
而 Ollama（当前稳定版 0.24.0）对非开发者极其友好：一条命令安装、一行命令就能运行大模型，还能用 Docker 一键挂载 Web 界面。即使你没写过 Python，按照下面的步骤操作，半小时内就能拥有自己的本地图像助手。
你需要准备的硬件
- 内存：16 GB 起步（运行 Qwen3 多模态模型的 4-bit 量化版约需 8 GB 空闲内存，但操作系统本身也要吃内存，所以 16 GB 最稳妥；32 GB 以上体验更流畅）。
- 显卡：非必须——纯 CPU 推理也能用，只是速度慢一些。如果有 6 GB 以上显存的 NVIDIA 卡（支持 CUDA），Ollama 会自动调用。
- 操作系统：macOS、Linux、Windows（推荐 WSL2）均可，下文命令以 macOS/Linux 为主，Windows 用户可在 WSL2 内同样执行。
第一步：安装 Ollama
在终端里粘贴以下命令安装 Ollama 0.24.0（macOS 也可用 brew install ollama，但官方脚本最直接）：
curl -fsSL https://ollama.com/install.sh | sh
等待脚本完成，输出版本号确认安装成功：
ollama --version
第二步：启动服务与基础配置
Ollama 默认只监听本地回环地址 127.0.0.1:11434。如果你希望局域网内的其他设备也能访问，启动前先设置环境变量：
export OLLAMA_HOST=0.0.0.0:11434
模型下载后通常存放在 ~/.ollama/models，如果系统盘空间紧张，可以通过 OLLAMA_MODELS 环境变量改到其他分区：
export OLLAMA_MODELS=/mnt/data/ollama_models
然后启动 Ollama 服务（后台运行）：
ollama serve &
看到 Listening on [::]:11434 即代表服务正常。
第三步：获取 Qwen3 多模态模型的 GGUF 文件
Ollama 的官方模型库目前以纯文本模型为主，多模态版 Qwen3 需要手动导入。背后的原理很简单：Ollama 底层使用 llama.cpp 运行 GGUF 格式的模型文件，我们只需要把一个合适的 GGUF 文件喂给它即可。
量化是什么？——你可以把它想象成“把无损 PNG 压缩成 JPG”：画质略微下降，但文件体积和内存占用成倍减少，对肉眼几乎没影响。
请到 Hugging Face 搜索 Qwen3-GGUF，找到一个有“image”标识的多模态量化文件（例如 Qwen3-VL-8B-Q4_K_M.gguf，文件大小约 5–6 GB）。用 wget 下载到本地：
wget -O qwen3-vl.gguf "https://huggingface.co/.../Qwen3-VL-8B-Q4_K_M.gguf"
⚠️ 上面链接仅作示例，请替换为实际文件地址。优先选择文件名带
Q4_K_M的版本，平衡效果和内存占用。
第四步：创建 Ollama 模型并测试
在下载目录下新建一个 Modelfile，内容只有一行：
FROM ./qwen3-vl.gguf
接着用 Ollama 创建模型：
ollama create qwen3-vl -f Modelfile
看到 success 后，模型就准备就绪了。先试试纯文字对话：
ollama run qwen3-vl
>>> 请用中文介绍一下你自己
如果能正常回答，说明模型加载成功。但是命令行里怎么传图片？Ollama 的 CLI 目前不直接支持图像输入——这正是接下来要解决的。
第五步：用 Web 界面实现“喂图”对话
非编程用户最好的选择是给 Ollama 套上一个带图形界面的“壳”——Open WebUI（最新版 0.9.5）。它就像你在浏览器里用的 ChatGPT，但后端完全跑在你本地。
用 Docker 一键启动（提前安装好 Docker 桌面版或 Docker Engine）：
docker run -d \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
--name open-webui \
ghcr.io/open-webui/open-webui:0.9.5
打开浏览器进入 http://localhost:3000，注册一个本地账号（无需联网），就能在左上角选择刚刚创建的 qwen3-vl 模型。对话输入框旁边有一个📎图标，点击即可上传图片——拍一张手写菜单、截屏一段英文合同，都可以直接扔进去让它识别和回答。
如果你更喜欢用 API，Ollama 也支持传入 base64 编码的图片，示例代码如下（会 Python 的读者可以试试）：
import requests, base64
with open("receipt.jpg", "rb") as f:
b64_img = base64.b64encode(f.read()).decode()
resp = requests.post("http://localhost:11434/api/generate", json={
"model": "qwen3-vl",
"prompt": "这张购物小票的总金额是多少？",
"images": [b64_img],
"stream": False
})
print(resp.json()["response"])
第六步：性能调优与参数调整
多模态模型比较吃资源，可以通过 Modelfile 加入运行时参数来调整行为。重新编辑 Modelfile，增加几行：
FROM ./qwen3-vl.gguf
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
temperature 0.7：让回复有一定变化又不至于信口开河（0 是死板，1 是极度发散）。num_ctx 4096：限制上下文窗口为 4096 token（大约 3000 个汉字），能显著降低内存占用。如果你希望一次扔进 20 页 PDF 截图，可以调大到 8192 甚至 32768，但 CPU 推理速度会明显变慢。
改完后重新创建一次模型即可生效：
ollama create qwen3-vl -f Modelfile
两种最常见的报错及解决办法
1. 内存不足，弹出 exit status 1 或直接崩溃
– 现象：启动模型时终端卡住几秒后退出。
– 原因：物理内存不够加载模型。
– 解决：重新下载更低量化的 GGUF（如 Q2_K 版本），或者给系统增加 swap 空间（Linux：sudo fallocate -l 8G /swapfile && sudo swapon /swapfile）。另外，退出其他占用内存的程序（浏览器标签页）有时也能奏效。
2. 上传图片后模型返回乱码或“不支持的格式”
– 现象：Open WebUI 上传图片后，模型输出的结果牛头不对马嘴。
– 原因：你所用的 GGUF 文件不包含视觉编码器，或者图片格式（如 HEIC）不被底层库支持。
– 解决：确认下载的 GGUF 明确标有 VL 或多模态支持，并且将图片事先转换成 JPEG/PNG 格式。
最小可行配置：一口气跑起来
如果你已经安装 Docker 且下载了 GGUF 文件，下面这个完整脚本可以直接复制进终端运行（根据实际情况修改 GGUF 路径）：
# 安装并启动 Ollama
curl -fsSL https://ollama.com/install.sh | sh
ollama serve &
# 导入多模态模型
echo 'FROM ./qwen3-vl.gguf
PARAMETER temperature 0.7
PARAMETER num_ctx 4096' > Modelfile
ollama create qwen3-vl -f Modelfile
# 启动 Web 界面
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
--name open-webui ghcr.io/open-webui/open-webui:0.9.5
echo "打开 http://localhost:3000 开始使用"
注意：第一次运行 ollama serve 时可能需要手动确认防火墙权限，Docker 也会从网络拉取镜像，请确保网络畅通。
本地跑起来的多模态模型当然比不上云端百亿参数大模型的“博学”，但它完全离线、数据不出本机，足以应付日常的图片内容提取、简单推理和问答。下次再收到同事发来的白板照片，你就不用转手丢给外部服务了——本地 Qwen3 几秒钟就能交出干净的文字版。