Heidi Health 临床 AI 微调：小模型通过偏好信号达前沿水平¶

📊 Level ⭐⭐⭐ | 6.2KB

摘要¶

Heidi Health 用六周时间，以临床医生的 Side-by-Side (SBS) 偏好信号为训练目标，将一个远小于前沿模型的开源模型微调至与 Sonnet 4.6 持平的水平。这一实践证明：在垂直领域，精心构建的偏好数据 + 紧凑训练循环可以弥补模型规模的差距，且拥有模型层是安全治理和数据主权的前提。

核心要点¶

偏好信号的独占性：Heidi Evidence 产品已回答超过 350 万个临床问题，每个问题都附带临床医生的 A/B 偏好标注——这是通用大模型厂商无法购买的数据资产
SBS 评测方法：两个模型回答同一真实临床问题，临床医生在盲评下选择更优答案；50% 胜率即为持平
三阶段训练流水线：SFT（偏好过滤的教师 rollout）→ on-policy 自蒸馏 → DPO（直接在 SBS 数据上优化）
安全三重门槛：盲评偏好 + 离线安全质量测试集（含 HealthBench Pro + Heidi Medical QA）+ 生产环境用户反馈，三者全部通过才能上线
模型所有权的战略意义：安全审计、数据驻留、推理一致性——只有自有模型才能满足医疗设备级别的合规要求

深度分析¶

偏好信号 vs 通用奖励模型¶

通用大模型的训练目标是 helpfulness + harmlessness + honesty（HHH），这些信号在互联网数据中无处不在，每个实验室都在相同的目标上用更多算力攀爬同一座山。临床质量是一个完全不同的目标函数：答案的格式、简洁度、证据权重、临床真实性——这些维度不在网页数据中，只存在于临床医生在真实场景下的判断中。

关键洞察：原始规模不是资产，精心策划的偏好才是。每一次 Evidence 中的 SBS 比较都是该目标函数的一个标签，它们累积起来构成了一个基于临床判断而非爬取文本的奖励函数。

训练方法的精妙之处¶

Evidence 是 Heidi 微调过的最难模型，也是第一个 agentic 模型。与摘要模型不同，Evidence 模型需要决定：拉取哪个数据源、是否继续搜索、何时有足够信息回答。没有单一规则能定义"停止的正确时刻"，模型必须校准自身的不确定性——这使其更接近长程推理问题而非下一 token 预测，比摘要模型难一个数量级。

三阶段方法的核心一致性在于：优化的指标和部署的指标是同一个——临床医生偏好。训练和评测是共同构建的，而非事后附加：

SFT 阶段：从教师模型的 rollout 中筛选出临床医生偏好的答案，训练分布的顶部而非均值。初始几千个偏好过滤样本，随信号验证逐步扩展
On-policy 自蒸馏：强化模型自身最强行为，避免引入 off-policy 噪声
DPO 阶段：直接在 SBS 成对数据上优化，训练信号与评测信号完全一致

飞轮效应¶

好产品赢得临床医生使用 → 使用产生更多偏好数据 → 数据改善模型 → 更好的模型增强产品信任 → 更多使用。每一轮都为使用者累积价值，且无需外部干预即可持续运转。Evidence 当前每周回答超过 30 万个问题，飞轮已进入正循环。

当前局限¶

范围限制：仅覆盖 Evidence 的院外搜索推理（out-of-session），尚未扩展到院内场景（需要访问患者上下文并执行操作）
部署时差：模型正在逐步推入生产，尚未服务所有查询
持平≠超越：49.9% SBS 胜率意味着与 Sonnet 4.6 持平，而非超越——但这已经足够，因为小模型在延迟和成本上有显著优势

实践启示¶

垂直领域的微调 ROI 远高于通用领域：当偏好信号具有独占性（如临床、法律、金融专家判断），小模型微调可以达到甚至超越通用大模型
评测设计决定训练上限：SBS 盲评 + 安全测试集 + 生产反馈的三重门槛设计值得所有垂直 AI 团队借鉴
模型所有权不只是成本问题：对于需要合规审计、数据驻留、推理一致性的场景（医疗、金融），自有模型是必要条件而非可选项
数据飞轮比模型规模更重要：产品使用 → 偏好数据 → 模型改进 → 产品提升的循环，是垂直 AI 公司的真正护城河
训练-评测一致性：用同一个指标（临床偏好）驱动训练和评测，避免了 reward hacking 的常见陷阱