你试过在本地用 AI 识别照片吗？两年前，这意味着要写 Python 脚本加载 PyTorch 模型、注册图像编码器、手动拼接 token——光是环境配置就能劝退大多数人。而现在，打开终端，敲一行 ollama run gemma4:31b，把手机里的随手拍拖进去，Gemma-4 就能告诉你画面里有什么、文字是什么，甚至这段随手拍背后的故事感。这就是 Ollama + 多模态模型带来的变化：把“能用”变成了“好用”。
本文将带你用 Ollama 0.24.0 在本地部署 Google Gemma-4-31B 多模态大模型（image-text-to-text），无需写一行 Python，但每一步都配有可复现的命令。我们按部署六步走：环境准备 → 安装 → 配置 → 启动 → 验证 → 调优，最后给出一个完整的“开箱即用”命令块。
环境准备：你需要什么硬件？
Gemma-4-31B 参数量 310 亿，但 Ollama 默认使用 Q4_K_M 量化（即 4-bit 量化，就像把高清图压成 JPG，肉眼几乎看不出区别，文件却小了很多），实际运行约需 20-24 GB 内存或显存。下表是不同设备的粗略体验：
| 设备 | 内存/显存 | 预计速度 | 体验建议 |
|---|---|---|---|
| MacBook M2 Pro 32GB 统一内存 | 32GB | 6-8 tokens/秒 | 流畅可用，可同时处理图片 |
| 带 RTX 3060 12GB 的 Windows | 12GB | 需内存溢出至 CPU，很慢 | 不推荐，建议用 7B 小模型 |
| 64GB 内存的无显卡 Linux 服务器 | 64GB | 2-3 tokens/秒 | 纯 CPU 推理，速度可接受 |
| NVIDIA A10 24GB 云实例 | 24GB 显存 | 20+ tokens/秒 | 生产级体验，图片秒级响应 |
核心原则：内存≥24GB 是流畅体验的分水岭。如果你是文字对话为主、偶尔识别图片，16GB 内存也能勉强跑 7B 版本（后续会提到）。
第一步：安装 Ollama 0.24.0
Mac 和 Windows 用户直接去 ollama.com 下载安装包，双击安装。Linux 用户用一条命令完成：
bash
curl -fsSL https://ollama.com/install.sh | sh
安装完成后，Ollama 会自动在后台启动服务。你可以在终端里输入以下命令验证安装：
bash
ollama –version # 应输出 0.24.0
小贴士：如果你是在无桌面的 Linux 服务器上安装，安装脚本也会自动设置 systemd 服务，保证开机自启。
第二步：拉取模型（配置）
这一步决定模型占用的内存量和推理速度。Ollama 拉取模型时会自动选择最适合你硬件的量化版本，你也可以手动指定量化标签。运行：
bash
ollama pull gemma4:31b
这个命令会下载 gemma-4-31b-it 的多模态权重（约 18GB）。如果你想试试更小的 7B 多模态模型，可以换成 gemma4:7b。下载过程中会显示进度条，耗时取决于网速（约 5~15 分钟）。
如果你想自定义模型存放路径（默认为 ~/.ollama），可以在拉取前设置环境变量：
bash
export OLLAMA_MODELS=/mnt/data/ollama_models
之后的所有模型都会存到这个目录下。
第三步：启动对话（纯文本测试）
哪怕还没用到图片功能，先确认基座对话是否正常。在终端输入：
bash
ollama run gemma4:31b
你会进入交互式界面，试着发一条消息：
用一句话解释什么是“梯度下降”
Gemma-4 应该会给出流畅的回答。如果你想退出，输入 /bye 或按 Ctrl+D。
接着，我们不进入交互模式，用单次请求来测试响应，方便后续结合图片。用 curl 调用 Ollama 的 OpenAI 兼容 API（默认跑在本地 11434 端口）：
bash
curl http://localhost:11434/v1/chat/completions \
-H “Content-Type: application/json” \
-d ‘{
“model”: “gemma4:31b”,
“messages”: [{“role”: “user”, “content”: “今天天气真好，适合做什么？”}]
}’
返回的 JSON 中 choices[0].message.content 就是模型的文字回复。如果看到回答，说明基础部署成功。
第四步：多模态验证——让 AI 看懂图片
这才是 Gemma-4 的亮点。Ollama 支持在 messages 中直接传入 base64 编码的图片。假设你当前目录下有一张 photo.jpg，用下面命令把它转成 base64 后发送：
bash
IMG_BASE64=$(base64 -w 0 photo.jpg)
curl http://localhost:11434/v1/chat/completions \
-H “Content-Type: application/json” \
-d ‘{
“model”: “gemma4:31b”,
“messages”: [
{
“role”: “user”,
“content”: [
{“type”: “text”, “text”: “详细描述这张图片的内容，包括人物、物体和整体氛围”},
{“type”: “image_url”, “image_url”: {“url”: “data:image/jpeg;base64,’${IMG_BASE64}’”}}
]
}
]
}’
非编程用户更简单的做法：直接在
ollama run交互界面中，把图片文件拖到终端窗口，Ollama 会自动识别并编码。然后输入你的问题，比如“这是什么花？”
如果你拿到了一段合理的描述——比如“图中有一个人站在山间小路上，背景是薄雾笼罩的松林，画面透出一股安静的气息”——那么恭喜，你的本地多模态大模型已经就绪。
常见报错 1：Error: model requires more system memory
这个错误表示你的内存/显存不够加载 31B 模型。解决方法：
– 换用小模型，拉取 gemma4:7b
– 如果坚持用 31B，可以增加操作系统的 swap（Linux 下 sudo fallocate -l 16G /swapfile && sudo swapon /swapfile），但速度会急剧下降。
常见报错 2：Invalid image format or size
Ollama 要求 base64 字符串不能包含换行符，且图片尺寸不宜过大（建议不超过 20MB）。解决方案：用 base64 -w 0 避免换行，并先把图片压缩到 1024px 以内。
第五步：调优——榨干性能
默认配置对大多数个人用户已经够用，但如果你想并发处理多个请求或让响应更快，可以调整两个关键参数：
-
增加并行请求数：Ollama 默认同时只处理一个请求。设置环境变量
OLLAMA_NUM_PARALLEL可以增加并发数（受内存影响，31B 模型通常设 2 最稳）：
bash
export OLLAMA_NUM_PARALLEL=2 -
启用 GPU 加速：如果你有 NVIDIA 显卡，Ollama 会自动检测并使用 CUDA。若没加载，可手动安装 nvidia-container-toolkit 或确认驱动。对于 Apple Silicon 统一内存，Ollama 自动利用 Metal 加速，无需任何配置。
-
上下文长度：Gemma-4 默认上下文 8k tokens，如果你想处理更长的对话或更大的图片描述，可以调整。但在纯本地场景中，更长的上下文会线性增加内存消耗。建议不超过 16384，否则内存可能溢出。设置方法（以 16k 为例）：
bash
ollama run gemma4:31b –ctx-size 16384
第六步：最小可行配置
如果你是一个怕麻烦的人，以下这条命令就能在 Mac/Linux 上一次性完成安装、拉取模型并启动服务，开箱即用：
bash
curl -fsSL https://ollama.com/install.sh | sh && ollama serve & sleep 5 && ollama pull gemma4:31b && echo “现在可以输入 ollama run gemma4:31b 开始对话，或拖入图片识别”
稍等 10-15 分钟（视网速），之后你的本地就拥有一个多模态 AI 助手了。
这意味着什么？
当多模态大模型的本地化门槛降到一条命令时，很多过去不成立的场景突然有了可能。比如：你想整理手机相册里的发票，以前得手动分类，现在写个几行的脚本，让 Gemma-4 读取每张图片并提取金额、时间；或者你想做一个“儿童绘本朗读”，把图片拖进去就能生成配音文案。这些不再是实验室里的概念，而是今天晚上就能在卧室笔记本上跑起来的东西。
当然，Gemma-4 31B 在纯 CPU 环境下的速度仍然偏慢（2-3 tokens/秒），远不如云端 API 实时响应。但对于隐私敏感的数据、无法联网的环境，或者只是想探索多模态能力的个人开发者来说，这套方案已经足够实用且成本几乎为零。Ollama 把一件事情做得很好：让离用户最近的模型，变得触手可及。