这条线的机器要求来自 vLLM 部署,不是估算。
| 项 | 文章里的要求 |
|---|---|
| 系统 | Linux。Mac 可以做训练验证,不能 vllm serve |
| GPU | V100-32GB、4090、A10-24GB 这一档 |
| 磁盘 | 基座约 8.7GB,加上 vLLM 缓存,可用空间建议不少于 15GB |
| 权重形态 | 基座和 LoRA 分开,adapter 约 41MB,用动态挂载,不合并 |
训练篇是单卡 LoRA SFT,和推理是同一类卡:一张 NVIDIA GPU。没有这张卡,系列里的 vllm serve 和单卡训练都对不上。
这种场景买什么
买带上述档位 GPU 的预付费云主机。磁盘按 15GB 只是下限,基座、缓存和数据集放一起时留出余量。
不要买轻量服务器,也不要买纯 CPU 的 ECS。那两档用来 跑通 CPU 上的 FastAPI 或 放 Milvus,显存为 0,这条命令起不来。
平台微调和自己 serve 不是一条路
百炼、PAI 这一类平台可以代你管训练环境。那是另一条产品路径:你不再执行本系列的 vllm serve、也不再自己挂 --lora-modules。平台适合「我不要管驱动和显卡」,不适合「我要按 vLLM 这篇 把 OpenAI 兼容接口跑在自己的进程里」。
只是想调用现成模型、不部署 Qwen3.5-4B 时,连 GPU 都不必买,去看 只调用模型。
若要购买
下单用这张阿里云活动页(阿里云云大使推广链接),核对页面上的 GPU 型号是否落在 V100-32GB、4090、A10-24GB 这一档。对不上就不要下单。新客、预付费、以当月返利清单为准。我不是阿里云员工或代理。总说明见 选型页。