Ollama 一键运行 Gemma 4，从零到对话仅需 10 行配置

你刚拿到 Gemma 4 的 API 测试权限，想先在本地把玩一下，验证它在你的业务场景里的表现——但翻文档发现要搭 Python 环境、配置推理框架、处理模型权重？停，别让自己陷入“跑模型前先折腾一整天环境”的老路上。Ollama 最新版 0.32.0 已经原生支持 Gemma 4 系列（31B参数），一条命令拉取模型，另一条命令启动对话。本文带你走完从零到调通 API 的全流程，10 行命令之内让模型开口说话。

环境准备：一台能联网的普通电脑就行

Ollama 支持 Linux、macOS 和 Windows（WSL2）。我推荐在 Linux 上部署，因为 GPU 驱动和内存管理最省心。你的机器只要有一块以上显存的显卡（或者至少系统内存跑纯 CPU），就能跑 Gemma 4 的量化版本。

注意：Gemma 4 官方提供 31B 参数版本，量化后的大小取决于你选择的比特数。下文会给出合理的选择建议，但请记住：没有万能的最佳配置，只有适合你硬件的配置。

先确认你已经安装了 curl 和 tar——绝大多数 Linux 发行版自带。

安装：两行命令搞定 Ollama 0.32.0

Ollama 的安装过程是出了名的简洁。打开终端，执行：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后验证版本：

ollama --version
# 应输出类似 ollama version 0.32.0

如果输出不是 0.32.0，说明你的包管理器缓存了旧版本。可以手动下载最新二进制：

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/local/bin/ollama
sudo chmod +x /usr/local/bin/ollama
ollama --version

配置：不用改任何配置文件

Ollama 默认监听 127.0.0.1:11434，不需要手动修改。如果你是远程访问，可以设置环境变量：

export OLLAMA_HOST=0.0.0.0:11434
ollama serve

但本地测试直接用默认就够。接下来拉取 Gemma 4 模型：

ollama pull gemma4:31b-instruct-fp16

这个命令会下载 fp16 精度的完整模型，约。如果你显存不够，替换成量化版本。Ollama 社区通常会提供 Q4_K_M、Q5_K_M 等常见量化标签。例如：

ollama pull gemma4:31b-instruct-q4_K_M

注意：模型标签可能因 Ollama 模型库更新而变化。如果上面的标签拉取失败，运行 ollama list 或访问 Ollama Library 查看可用标签。

启动：一句话进入交互式对话

拉取完成后，直接运行：

ollama run gemma4:31b-instruct-q4_K_M

几秒后你会看到 >>> 提示符，输入你的问题，模型立刻响应。如果你想通过 API 调用（比如集成到自己的应用里），先确保 Ollama 服务在后台运行：

ollama serve &

然后用 curl 测试：

curl http://localhost:11434/api/generate -d '{
  "model": "gemma4:31b-instruct-q4_K_M",
  "prompt": "用一句话介绍Gemma 4",
  "stream": false
}'

返回的 JSON 中 response 字段就是模型回答。

验证：跑两个基础测试确认模型正常

测试一：短问答准确率

先问一个知识性问题，观察输出是否合理。比如：

curl -s http://localhost:11434/api/generate -d '{
  "model": "gemma4:31b-instruct-q4_K_M",
  "prompt": "鲁迅本名是什么？",
  "stream": false
}' | jq .response

Gemma 4 的指令跟从能力很强，应该会准确回答“周树人”。

测试二：连续对话能力

Ollama 默认保持上下文，可以用 ollama run 多做几轮交互。注意观察模型是否能记住前文：

>>> 我想学Python，推荐一本书。
>>> 那本书的出版社是哪家？

优秀的模型会基于前文“那本书”指代你推荐的书籍。如果它答非所问，说明上下文长度设置或量化精度可能影响了模型表现。

调优：提升性能和稳定性

并行请求数：如果 API 需要处理多个并发，设置 OLLAMA_NUM_PARALLEL。例如单卡显存，建议并行数为 2：

export OLLAMA_NUM_PARALLEL=2
ollama serve

显存控制：通过 OLLAMA_MAX_LOADED_MODELS 限制同时加载的模型个数，避免显存溢出：

export OLLAMA_MAX_LOADED_MODELS=1

量化选择：如果你显存小于，强制使用 Q4_K_M 或更低精度；如果显存充裕（+），可以尝试 fp16 获得更好效果。

常见报错及解决方法

报错1：Error: pull model manifest: unexpected status: 404

模型标签不存在。访问 Ollama Library 确认最新可用标签，或者改用 gemma4:latest（它会指向官方推荐的默认版本）。

报错2：Error: model requires more memory than is available

显存不足。解决方案：换更小的量化版本（如 Q3_K_S 或 Q2_K），或者在 CPU 模式下运行（Ollama 会自动 fallback 到 CPU，但速度极慢）。也可以调整 OLLAMA_NUM_GPU_LAYERS 减少 GPU 层数：

OLLAMA_NUM_GPU_LAYERS=10 ollama run gemma4:31b-instruct-q4_K_M

最小可行配置：复制粘贴即用

以下命令块集成了拉取、启动和验证，你只要把它复制到终端（注意替换 YOUR_QUANT 为你实际的量化标签，如 q4_K_M）：

# 1. 安装Ollama（如果已安装跳过）
curl -fsSL https://ollama.com/install.sh | sh

# 2. 拉取Gemma 4量化模型（推荐Q4_K_M）
ollama pull gemma4:31b-instruct-q4_K_M

# 3. 启动后台服务
ollama serve &

# 4. 发送测试请求
curl -s http://localhost:11434/api/generate \
  -d '{"model":"gemma4:31b-instruct-q4_K_M","prompt":"你好，请自我介绍","stream":false}' \
  | jq .response

不到 10 行命令，你已经在本地拥有一个 31B 参数的强大语言模型。剩下的事情——让它帮你写代码、分析文档、还是生成创意文案——由你的想象力决定。