这条线的机器要求来自 vLLM 部署,不是估算。

项 文章里的要求
系统 Linux。Mac 可以做训练验证,不能 vllm serve
GPU V100-32GB、4090、A10-24GB 这一档
磁盘 基座约 8.7GB,加上 vLLM 缓存,可用空间建议不少于 15GB
权重形态 基座和 LoRA 分开,adapter 约 41MB,用动态挂载,不合并

训练篇是单卡 LoRA SFT,和推理是同一类卡:一张 NVIDIA GPU。没有这张卡,系列里的 vllm serve 和单卡训练都对不上。

这种场景买什么

买带上述档位 GPU 的预付费云主机。磁盘按 15GB 只是下限,基座、缓存和数据集放一起时留出余量。

不要买轻量服务器,也不要买纯 CPU 的 ECS。那两档用来 跑通 CPU 上的 FastAPI 或 放 Milvus,显存为 0,这条命令起不来。

平台微调和自己 serve 不是一条路

百炼、PAI 这一类平台可以代你管训练环境。那是另一条产品路径:你不再执行本系列的 vllm serve、也不再自己挂 --lora-modules。平台适合「我不要管驱动和显卡」,不适合「我要按 vLLM 这篇 把 OpenAI 兼容接口跑在自己的进程里」。

只是想调用现成模型、不部署 Qwen3.5-4B 时,连 GPU 都不必买,去看 只调用模型。

若要购买

下单用这张阿里云活动页(阿里云云大使推广链接),核对页面上的 GPU 型号是否落在 V100-32GB、4090、A10-24GB 这一档。对不上就不要下单。新客、预付费、以当月返利清单为准。我不是阿里云员工或代理。总说明见 选型页。

← 返回云资源选型