LoRA 训练和 vLLM 要单卡 GPU
这条线的机器要求来自 vLLM 部署，不是估算。 项 文章里的要求 系统 Linux。Mac 可以做训练验证，不能 vllm serve GPU V100-32GB、4090、A10-24GB 这一档 磁盘 基座约 8.7GB，加上 vLLM 缓存，可用空间建议不少于 15GB 权重形态 基座和...
阅读全文 →标签
部署
Milvus 与数据库要按内存选 ECS
向量库和数据库吃的是内存和磁盘，不是显卡。配置以下面两篇已经写过的数字为准，不另估一套。 RAG 管道 Docker 部署 的硬件表：CPU 最低 4 核、推荐 8 核以上；内存最低 16GB、推荐 32GB 以上；磁盘最低 20GB 可用、推荐 50GB 以上。PaddleOCR-VL 加载约 4–6GB。纯推理可...
阅读全文 →轻量服务器只适合跑通 CPU 服务
轻量应用服务器适合「文章里的服务是 CPU、依赖已经写进镜像、你只想有一台公网机器把它跑起来」。 对照这篇：AI 项目 Docker 部署。镜像里是前端构建、CPU 版 PyTorch 和中文字体，没有 GPU 推理，也没有 Milvus。 这种场景买什么先选 2 核 4G 的轻量服务器，预付费按月或按年。镜像构建时如...
阅读全文 →只调用模型时不必买服务器
本站有一批文章的运行时依赖是「一个能调用的模型接口」，不是一台机器。 对照这两篇： FastAPI + LangChain 统一 LLM 调用：ChatOpenAI 指向兼容接口，换供应商是改配置。 LLM 统一网关：LiteLLM 把多家模型收成一个入口，网关进程可以跑在你已经有的电脑或现有服务器上。 这种场景买...
阅读全文 →Gmail 自动处理系统上线指南：Vercel 部署与派送表导出
本篇定位Gmail 自动处理系统 上线运维：Vercel + Neon、环境变量、Gmail OAuth 生产配置、派送明细导出。 A. 环境变量| 变量 | 说明 || C. 启动命令1234npm installnp...
阅读全文 →