跳转至

蚂蚁阿福医疗 Agent：从 0 到生产的工业级工程化落地

Ch06.030 蚂蚁阿福医疗 Agent：从 0 到生产的工业级工程化落地

📊 Level ⭐⭐ | 7.1KB | entities/ant-group-medical-agent-afu.md

蚂蚁阿福医疗 Agent：从 0 到生产的工业级工程化落地

蚂蚁集团医疗健康资深专家郭春晓在 QCon 2026 北京的分享，全面覆盖医疗 Agent 在评测体系、上下文工程、Agentic RAG、记忆系统和训推优化的工业级实践。

医疗 Agent 独特挑战

零容错医疗场景：一个致命回答可能就是一个家庭的悲剧。医疗 Agent 与其他领域的 Agent 有根本性差异——必须严格遵循循证逻辑（诊断必须依据指南和教科书），追求可解释、可复现、符合指南推理链的确定性输出，同时面对长期记忆缺失和严格的数据合规风险。

零容错、循证逻辑（诊断必须依据指南）、确定性要求（可解释/可复现/符合指南推理链）、长期记忆缺失、风险合规（数据泄露超 50 条可能触刑）。

Agent 研发范式

传统 TDD → Benchmark 驱动 → Badcase 驱动快速迭代。关键转变：代码数据化——把逻辑转化为数据去训练模型。

评测体系（EBPP）

  • 评测集起点 = Badcase，不是丢给质量团队
  • 自动化评测从 12 天缩短到小时级
  • 多 rubric 评估（不是唯一解）
  • 样本量 + 区分度 + 人机对齐（1-2 个月/场景）
  • Benchmark 会 overfitting，需 Badcase 持续补充

上下文工程

结构化 20-30% + 非结构化混合；保留用户 query；渐进式策略（先看目录）；主子 Agent 上下文共享（返回 Index 而非原文）。原则：非必要不搞 multi-agent。

RAG → Agentic RAG

从单次检索演进到多跳 Agentic 检索。合成多跳问题的核心：从知识图谱提取最长子问题。模型选型：强工具调用蒸馏 Claude，写作/分析蒸 Gemini，交互 HTML Gemini 最强。

记忆系统

遗忘比记忆更重要——感冒过了就得遗忘。 - 病例级长期记忆（生命周期+病程推理） - 百分之百确认才结合用户信息 - 替人咨询识别 + 主体识别 - 结构化 + Summary 双路

训推优化

  • KV cache 管理（改上下文策略不能丢 KV cache）
  • Prefill/Decode 分离 + 异构卡搭配
  • BF16→FP8/INT8 计算压缩
  • Speculative Decoding：蚂蚁开源 SpecFog，50→120 token/s

  • 32K 与 <32K 不同部署策略

  • Agent RL 训推框架解耦

深度分析

医疗 Agent 的确定性工程范式

医疗场景对 AI 的本质要求是从"生成"转向"验证"。与传统客服 Agent 追求流畅对话不同，医疗 Agent 的每一次输出都必须回溯到可验证的医学证据链。蚂蚁的实践表明，这种确定性不是靠单一模型能力达成的，而是通过评测体系（EBPP）+ 上下文工程 + Agentic RAG 三层架构共同保障。其中 EBPP 的"起点是 Badcase"理念尤为关键——它把质量边界设定从"模型擅长什么"转向"业务不能接受什么"。

代码数据化：从 IF-ELSE 到训练数据

传统医疗决策系统依赖专家规则（IF 症状 THEN 诊断），维护成本高且覆盖不全。蚂蚁的"代码数据化"转变意味着：将临床指南、诊疗路径、用药规则转化为训练数据，让模型在数据层面学习医学逻辑，而非在代码层面硬编码。这降低了维护成本，同时提升了模型的泛化能力和对边缘案例的覆盖。

Benchmark Overfitting 的工业级应对

蚂蚁团队发现 Benchmark 会随时间 overfitting——团队可能无意间"记住"了测试集。应对方案是持续通过 Badcase 补充评测集，保持评测的区分度。人工校准耗时 1-2 个月/场景，但这是医疗场景不可省略的投入。自动评分 + 人工校准的双轨机制，是医疗 Agent 评测体系的核心。

非必要不 Multi-Agent 的架构哲学

在医疗场景中，蚂蚁团队明确提出"非必要不要搞 multi-agent 架构"。这反映了架构复杂性守恒定律：每增加一个 Agent，通信、协调、错误传播的复杂度就翻倍。蚂蚁选择的是主子 Agent 模式（子 Agent 返回 Index 而非原文）+ 渐进式上下文策略，在保持架构简洁的同时实现复杂任务。

训推融合的工程创新

Speculative Decoding 的 SpecFog 方案将推理速度从 50 提升到 120 token/s，Prefill/Decode 分离让计算密集型和 HBM 密集型任务各得其所。这些优化不是通用技术，而是针对医疗 Agent 的使用场景（长文档分析 + 多轮对话 + 实时响应）专门设计的。

实践启示

  1. 评测体系是医疗 Agent 的第一道防线：不要先投模型再补评测，而是让评测驱动研发。EBPP 框架的起点是 Badcase 而非 Benchmark，这确保了评测的真实性和业务对齐度。

  2. 遗忘机制比记忆机制更值得投入：医疗场景中，过期信息的危害不亚于信息缺失。蚂蚁的"病例级长期记忆"配合理想的遗忘策略——感冒好了就忘掉症状——是医疗隐私合规和诊断准确性的关键设计。

  3. 蒸馏是比 Fine-tuning 更务实的模型策略：蚂蚁不是自己训练医疗基座模型，而是针对不同子任务从 Claude、Gemini 等模型蒸馏。强工具调用蒸馏 Claude，写作分析蒸馏 Gemini——按需蒸馏，而非大而全。

  4. 结构化设计与渐进式披露是敏感场景的标配：20-30% 的关键信息结构化+用户 query 保留+先看目录再读全文的渐进式策略，这套组合拳显著降低了长上下文中的信息丢失和注意力偏移。

  5. 训推框架解耦是规模化部署的前提：Agent RL 训练框架与推理框架的解耦，使蚂蚁能够独立优化推理路径（SpecFog、Prefill/Decode 分离）而不影响训练迭代，反之亦然。

相关实体

→ 原文存档