跳转至

AMD 免费云 GPU 私有化部署 DeepSeek-R1

Ch01.1221 AMD 免费云 GPU 私有化部署 DeepSeek-R1

📊 Level ⭐⭐ | 4.8KB | entities/amd-free-gpu-deepseek-r1-private-deployment.md

AMD 免费云 GPU 私有化部署 DeepSeek-R1

摘要

AMD "AI 开发者计划"提供免费 200 小时的云 GPU 资源（Radeon PRO W7900, 48GB GDDR6, ROCm 7.2.1），本文提供从零开始的端到端部署指南：环境检查 → ROCm 配置 → ModelScope 下载模型 → vLLM 推理服务 → ngrok 公网隧道 → Cherry Studio/OpenCode 客户端接入。全过程零硬件成本，数据在私有 GPU 上运行，不上传任何第三方服务器。

核心要点

  1. AMD 免费云 GPU 入口：AMD AI 开发者计划提供 48GB VRAM 的 Radeon PRO W7900，预装 ROCm 7.2.1 + vLLM，免费 200 小时，足以运行 14B 参数模型
  2. ROCm 环境关键配置：PYTORCH_ROCM_ARCH="gfx1100" + HSA_OVERRIDE_GFX_VERSION=11.0.0 是 gfx1100 的必要环境变量，缺一不可
  3. ModelScope 国内镜像：国内用户推荐 ModelScope 下载模型（速度几十 MB/s），避免 HuggingFace 的 GFW 限速
  4. vLLM 服务参数：--enable-auto-tool-choice 和 --tool-call-parser hermes 是 OpenCode 等工具调用的必需参数
  5. ngrok 公网隧道：用 ngrok 将云端 vLLM 服务暴露到公网 HTTPS 端点，本地电脑通过 ngrok URL 访问云 GPU
  6. 客户端接入：Cherry Studio（非开发者）和 OpenCode（开发者）两种方式配置，OpenCode 需配置 opencode.json 中的 provider/baseURL/apiKey 和模型限制

深度分析

本地私有化部署的四大驱动力

文章开篇点出了私有化部署的四个核心痛点：数据隐私（第三方 API 发送数据失去控制）、成本失控（团队推广后 token 账单爆炸）、服务断供风险（API 政策变化）、GPU 门槛（专业 GPU 价格昂贵）。这些痛点构成了私有化部署的「需求四象限」，分别对应安全合规、成本控制、业务连续性、可及性四个维度。

AMD 生态的差异化定位

AMD 通过免费 GPU 计划切入 AI 私有化部署市场，Radeon PRO W7900（48GB VRAM）对标英伟达 RTX 6000 Ada 系列。ROCm 7.2.1 的成熟度（已原生支持 vLLM 0.16.1）表明 AMD 的 AI 软件栈正在快速追赶。对于国内开发者，AMD 方案的优势在于：免费体验、无硬件前期投入、ROCm 开源可定制。

vLLM 参数配置的实践经验

文章对 vLLM 启动参数的详细说明（--max-model-len、--gpu-memory-utilization、--served-model-name、--enable-auto-tool-choice、--tool-call-parser）提供了实操价值。特别是指出 AMD 专属参数 VLLM_ROCM_USE_AITER=1 仅对 MI300(CDNA) 有效、对 gfx1100(RDNA3) 无效这一陷阱，体现了真实部署经验。

实践启示

  1. 免费 GPU 入门路径：AMD 200 小时免费额度是开发者体验私有化部署的低门槛入口，适合教学/实验场景
  2. 必须记住的清理操作：实验结束后必须在 radeon.anruicloud.com Profile 中删除实例，否则持续消耗额度
  3. 模型选择：DeepSeek-R1-Distill-Qwen-14B（28GB FP16）是 48GB 显存卡的黄金匹配，留空 20GB 给 KV Cache
  4. OpenCode 配置关键：limit.context 必须与 --max-model-len 一致，limit.output 设为 context 的一半

相关实体

→ 原文存档