你以为 671B 参数的模型只能躺在云端，按 token 付费调用？在 vLLM 0.21.0 的加持下，一台 8 卡 H100 服务器就能让 DeepSeek‑R1 跑到每秒 40+ 个 token，单次推理成本比 API 低六成以上。对需要数据隐私、高并发或定制化微调的场景来说，自建推理服务不再是“只有大厂才玩得动”的游戏。
这篇文章会带你从零开始，把 DeepSeek‑R1 推理服务部署到自己的 GPU 集群上。即使你平时不写代码，也能跟着步骤一步步完成——我会把每个环节拆成可执行的命令，用生活化的比喻讲清背后原理，同时给出两种最常见的报错和化解方法。
1. 环境准备——先数一数你的“算力存钱罐”
DeepSeek‑R1 是一个参数量 671B 的混合专家模型（MoE，可以理解为“一群各有专长的顾问，每次只叫两个出来干活”）。虽然它实际活跃的参数量只有约 37B，但要把所有“顾问”都装进内存，显存开销依然惊人：
- 模型权重以 float16 精度存储需要约 1,342 GB 显存（671B × 2 字节）。
- 加上 KV 缓存、激活值等运行时开销，实际需求还要再高 20% ~ 30%。
这意味着单张 80 GB 的 A100 连塞都塞不下，必须使用张量并行——把模型的每一层切分到多张卡上计算，就像把一整块大蛋糕切成 8 份，每人吃一块，吃完再把结果拼起来。
最低硬件建议：8 张 A100 80GB 或 4 张 H100 80GB（H100 的显存带宽更高，能支撑更大并发）。操作系统建议 Ubuntu 22.04，NVIDIA 驱动 ≥ 535，CUDA ≥ 12.4。
先用 nvidia-smi 确认 GPU 数量和显存：
nvidia-smi --query-gpu=index,name,memory.total --format=csv
# 看到类似 8 行输出，且每行显存 ≥ 80 GB 即可继续
如果驱动或 CUDA 版本不对，安装对应工具包：
# 安装 CUDA 12.4 运行库（示例，具体视系统环境调整）
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
sudo apt install cuda-toolkit-12-4
2. 安装 vLLM——推理引擎的“涡轮增压器”
传统推理框架在处理长文本时，KV 缓存经常出现“内存碎片”：明明总剩余空间够了，却因为不连续而报 OOM。vLLM 的 PagedAttention 技术借鉴了操作系统“虚拟内存”的想法，把全局的 KV 缓存切分成固定大小的块（block），做到几乎零碎片，显存利用率一下提升数倍。
安装 vLLM 0.21.0 只需要一行命令，推荐使用 Python 虚拟环境：
python3 -m venv vllm_r1
source vllm_r1/bin/activate
pip install vllm==0.21.0
报错预案 1：如果出现
ERROR: Could not find a version that satisfies the requirement vllm==0.21.0，很可能是 pip 源未更新。运行pip install --upgrade pip后重试，或临时指定官方源-i https://pypi.org/simple。
3. 配置服务参数——给引擎挂上合适的“档位”
vLLM 通过启动参数来控制推理行为，下面是部署 DeepSeek‑R1 的核心配置解释：
--model deepseek-ai/DeepSeek-R1：指定 Hugging Face 模型 ID，vLLM 会自动下载权重（约 1.3 TB，请预留磁盘空间）。--tensor-parallel-size 8：用 8 张 GPU 做张量并行。需要确保你的 GPU 之间能以高带宽互联（NVLink 或 NVSwitch），否则通信延迟会吃掉性能。--max-model-len 32768：模型能处理的上下文长度上限。DeepSeek‑R1 原生支持 32768，但你可以根据业务调小以节省显存。--trust-remote-code：允许加载模型自定义层（DeepSeek 使用了部分自研算子）。--host 0.0.0.0 --port 8000：让服务监听所有网络接口，方便内部调用。
把这些参数组织成启动命令（暂时先不执行，下一步用 serve 命令统一启动）。
4. 启动推理服务——点亮你的专属 API
vLLM 0.21.0 提供了 vllm serve 子命令，一行就能拉起一个兼容 OpenAI API 的接口（开发体验和调用 ChatGPT 一模一样）：
vllm serve deepseek-ai/DeepSeek-R1 \
--tensor-parallel-size 8 \
--max-model-len 32768 \
--gpu-memory-utilization 0.90 \
--max-num-seqs 32 \
--trust-remote-code \
--host 0.0.0.0 \
--port 8000
--gpu-memory-utilization 0.90：允许 vLLM 使用每张卡 90% 的显存，给 CUDA 上下文留足余量。--max-num-seqs 32：同时处理最多 32 条请求，提升并发吞吐。
第一次启动会下载权重（需稳定网络，建议挂代理或提前手动下载到缓存目录）。当终端出现 Uvicorn running on http://0.0.0.0:8000 时，服务就就绪了。
报错预案 2：看到
CUDA out of memory。通常是--max-model-len或--gpu-memory-utilization设得太大。可以先把--max-model-len降到 16384，或者把--gpu-memory-utilization降到 0.85，然后重新启动。
5. 验证服务——用 curl 发第一句“你好”
另开一个终端，用简单的 curl 请求测试：
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek-ai/DeepSeek-R1",
"messages": [{"role": "user", "content": "用小学数学解释一下什么是质数"}],
"max_tokens": 200,
"temperature": 0.6
}'
如果返回的 JSON 中 choices[0].message.content 包含了一段逻辑清晰的文字，说明部署成功。此时你可以用任何 OpenAI SDK（比如 Python 的 openai 包）把 base_url 指向 http://your-ip:8000/v1 直接接入应用。
6. 调优——让每一分钱都花在吞吐上
默认配置能跑通，但离“省钱”还有距离。三个关键调优项：
6.1 启用自动前缀缓存
DeepSeek‑R1 的长文本优势非常适合反复引用 system prompt 或历史对话的场景。vLLM 的自动前缀缓存能复用之前相同开头的 KV 块，将首 token 延迟降低 80% 以上。
添加参数：
——————bash代码开始————–
–enable-prefix-caching
——————bash代码结束——————
6.2 调整批处理大小
在 --max-num-seqs 和显存之间做 trade-off。如果并发请求少但每个都很长，可以把它降到 8，腾出显存给更长的上下文；如果短请求密集，可以提升到 64 以摊薄 GPU 空闲时间。
6.3 开启量化的谨慎考虑
DeepSeek‑R1 目前对 W8A8 等量化方案支持尚不稳定，可能导致推理结果质量下降。除非你追求极致吞吐且对质量容忍度高，否则不建议开启 --quantization。
最小可行配置
如果你只想最快跑起来，并且拥有 8 张 A100 80GB，直接用这一条命令：
vllm serve deepseek-ai/DeepSeek-R1 \
--tensor-parallel-size 8 \
--max-model-len 16384 \
--gpu-memory-utilization 0.85 \
--trust-remote-code \
--enable-prefix-caching \
--host 0.0.0.0 \
--port 8000
它将上下文长度限制在 16384（超过大多数文档需求），显存利用率保守设为 0.85，同时开启了前缀缓存，能在安全和性能间拿到一个不错的平衡点。如果之后遇到 OOM，可以进一步降低 --max-model-len 或减少 --gpu-memory-utilization。
自建 DeepSeek‑R1 推理服务真正的甜头在于：随着并发量上升，单 token 成本无限趋近于纯粹的电费和硬件折旧——而使用商业 API 你永远在支付品牌的溢价。当你的产品需要月均处理千万级 token 的深度推理时，这张“上万美元的电费账单”反而比 API 账单便宜得多。