假设你正在开发一个 AI 助手，用 Ollama 在本地跑了一个 7B 模型。单个请求时速度还行，但当你接入前端、同时来了三个用户提问，它就开始排队——第二个请求要等第一个完全生成完才能开始处理。
这不是模型的问题，是推理框架的“吞吐天花板”在作怪。单个请求独占 GPU，导致资源大量闲置。想要高并发、低延迟，又不愿意加显卡，vLLM 是目前最热门的解题思路。
vLLM 0.21.0 解决了什么？
简单说，它把大模型推理从“独占单线程”变成了“流水线多任务”。核心技术就两个：
PagedAttention——把 GPU 显存里的中间缓存（KV cache）像操作系统管理内存一样分页。传统方式会预先分配一大块连续显存给每个请求，哪怕实际只用了一小半，空出来的地方别的请求也用不了。PagedAttention 则把缓存切成小块，用多少占多少，剩余空间可以立刻分给新请求。显存利用率直接拉高，同等硬件能同时处理的请求数翻几倍。
Continuous batching——把新来的请求不断插入正在执行的批次里，而不是等一整批全部完成再处理下一批。就好比餐厅里原来的上菜方式是“等这一桌菜全吃完再给下一桌上”，现在改成“哪个锅有空就把下一道菜扔进去”。这样请求的等待时间大幅缩短，GPU 几乎时刻满负荷跑。
这两个设计让 vLLM 的吞吐量在同等模型、同等硬件下，通常能达到 Ollama 等基础方案的 3-5 倍（根据社区公开测试反馈）。对于想在单张消费级显卡上跑服务的个人开发者或小团队来说，这就是用软件优化白嫖了硬件性能。
多模型部署的真实场景
一个典型的 AI 应用往往不止一个模型：比如聊天机器人的对话用 deepseek-v3.2，长文档切块后用 gemma3:12b 做摘要，再用一个 embedding 模型（如 BGE 系列）把文本转成向量存到 ChromaDB。如果每种模型都独享一张显卡，成本就飞到天上去了。
vLLM 的思路是让多个模型共享 GPU 资源，减少闲置。有两种常见方案：
- 多进程 + 显存硬隔离
在单卡上分别启动两个 vLLM 服务，分配不同的 GPU 显存上限。比如：
# 启动对话模型，限制显存 8GB
CUDA_VISIBLE_DEVICES=0 vllm serve deepseek-ai/DeepSeek-V3.2 \
--gpu-memory-utilization 0.4 --port 8000 &
# 启动 embedding 模型，限制显存 4GB
CUDA_VISIBLE_DEVICES=0 vllm serve BAAI/bge-large-zh-v1.5 \
--gpu-memory-utilization 0.2 --port 8001 &
# 从 Python 调用
import requests
resp = requests.post("http://localhost:8000/v1/chat/completions", json={
"model": "deepseek-ai/DeepSeek-V3.2",
"messages": [{"role": "user", "content": "你好"}]
})
这方案简单粗暴，但需要提前规划显存分配，无法动态切换。
- LoRA 适配器 + 单底座模型
如果多个任务都基于同一个基座模型（比如都用 Llama 架构），就可以只加载一份基座参数，然后挂载多个 LoRA 小插件来切换能力。vLLM 支持热加载 LoRA 适配器，客户端请求时指定lora_name即可无缝切换。这相当于用一个根模型长出不同技能的枝叶——显存占用几乎不变，却能同时服务多个业务。
这意味着什么？对个人和中小团队的三个直接影响
- 成本重构：原来跑多个模型可能需要两张 RTX 4090，现在一张卡就能搞定，硬件门槛降了一半以上。对独立开发者和初创团队来说，试验 AI 原生应用的机会成本大幅降低。
- 延迟不再是瓶颈：用户体验里的“思考中…”转圈时间可以被压缩到 1 秒以内，对于 C 端产品，这就是留存率和流失率的分界线。
- 模型组合玩法变多：过去不敢同时用的 embedding + rerank + 生成模型，现在可以打包成一个 API 网关，自由编排——你不需要等哪家云厂商推出这种套餐，自己就能搭。
但别急着 all-in——vLLM 也有它挑剔的地方
vLLM 不是“即开即用”的傻瓜式工具。它对模型格式要求严格，必须转换成 vLLM 支持的格式；部分魔改的社区模型（尤其是量化版本）可能不兼容。如果你的需求只是偶尔用命令行问几个问题，Ollama 0.24.0 的一行启动体验仍然无可替代——轻便、跨平台、模型库丰富。
vLLM 的真正价值体现在“服务化”之后：当你开始写 API 调用、做并发测试、把模型塞进生产环境，它给你的吞吐和延时收益才会被放大。所以，选工具的本质是选场景——如果想让自己周末做的原型更快响应，可以先用 Ollama；但如果原型变成产品，每天有上千次请求，vLLM 0.21.0 就是你少买两张显卡的本钱。
多模型部署并非遥不可及，它只是把推理框架当操作系统的艺术——管好显存、调度好任务，一张显卡就能撑起一个小型的 AI 后端集群。