你手机里攒了上千张旅行照片，想找一张”猫趴在窗台上看下雨”的瞬间，但翻相册翻到手酸。朋友说用 AI 搜索，可云服务要上传隐私照片，不太想冒这个险。其实，这件事现在可以在你的电脑上离线完成——用 Gemma 多模态模型，本地看图、理解、推理，全程不联网。
Gemma 多模态是什么
Gemma 是 Google 开源的大语言模型家族，”多模态”意味着它不仅能看文字，还能看懂图片（image-text-to-text）。google/gemma-4-31B-it 是当前热度极高的一个版本（Hugging Face 近 7 天下载量超过 1000 万次），31B 参数，支持以图片作为输入，然后根据文字指令给出回答。你可以把它想象成一个带眼睛的私人助手：你给它一张照片，问”这张照片在哪拍的？”，它会结合画面内容做推理。
跟纯文本模型相比，多模态模型多了”视觉编码器”——相当于给语言大脑装了个眼睛。上传的图片先被压缩成一组语义向量，再和文字指令拼接，一起送入 Transformer 解码。所以它不只是识别对象，还能理解场景关系：桌上有个切了一半的柠檬和一个空杯子，它可以推断”可能刚做完一杯柠檬水”。
15 分钟本地部署，零基础也能跑
运行这样的大模型，以前需要折腾 CUDA、PyTorch、显存优化，现在 OIama（0.24.0）已经把过程简化到几行命令。你需要一台带 8 GB 以上显存的 NVIDIA 显卡（如果显存不够，可以用量化版本，比如 gemma4:31b-q4_K_M，精度放低但依然可用），基础内存建议 32 GB。
第一步：安装 OIama
macOS 直接下载安装包，Linux 一行命令，Windows 用 WSL 2 即可。这里以 Linux 为例：
curl -fsSL https://ollama.com/install.sh | sh
安装后启动服务：
ollama serve
第二步：拉取 Gemma 多模态模型
支持视觉输入的社区版本已经可用。运行下面命令下载 31B 参数的标准版（约 18 GB）：
ollama pull gemma4:31b
如果显存不够（比如只有 8 GB），可以换成量化版，速度和精度都会损失一些，但基本推理能力不受大影响：
ollama pull gemma4:31b-q4_K_M
第三步：图文推理实战
准备一张图片，比如 cat-on-window.jpg。直接在命令行里向模型提问：
ollama run gemma4:31b --image ./cat-on-window.jpg "描述这张照片，并推测猫此刻可能在感受什么？"
模型会返回类似这样的回答：
照片中一只橘猫蹲在窗台上，前爪收在身下，眼睛微眯，雨水沿玻璃流下。猫的耳朵稍微向后转，可能因为听到雨滴声而感到轻微警觉，但整体姿态放松。推测它正在享受室内温暖的安全感，同时被窗外的雨景吸引。
这已经不是简单的图说，而是结合了常识推理。你还可以追问：”如果猫跑出去，可能会遇到什么麻烦？” 它会根据雨中场景给出进一步分析。
这意味着什么
从前，这种级别的本地多模态推理需要自己缝合模型、图像处理器和调度代码，显存不够还得抄各种优化配置。现在 OIama 把整个链条封装成单条命令，部署门槛从”机器学习工程师”降到了”会敲回车的人”。这对于想保护隐私、需要在离线环境使用、或者单纯想在自己的机器上玩一波多模态的人而言，是一个实在可用的方案。
当然，要诚实地说：31B 参数模型在本地运行时，生成速度会明显慢于云端 API（在 RTX 4090 上约 10-20 tokens/秒），而且对显存要求仍然不低。如果追求高并发或实时对话，本地部署并不经济。它的合理定位是个人离线助手、单次深度推理、隐私敏感场景，而不是高吞吐服务。
下一步进阶
想给这套图文推理加上图形界面和对话记录？用 Open WebUI（最新版 0.9.5）连接 OIama 后端，拖拽图片就能聊天，完全浏览器操作。