长链路手机AI训练总崩盘？vivo全新半在线RL，仅15k轨迹稳定收敛¶

Ch01.1143 长链路手机AI训练总崩盘？vivo全新半在线RL，仅15k轨迹稳定收敛¶

📊 Level ⭐⭐ | 5.4KB | entities/长链路手机ai训练总崩盘vivo全新半在线rl仅15k轨迹稳定收敛.md

长链路手机AI训练总崩盘？vivo全新半在线RL，仅15k轨迹稳定收敛¶

来源: 量子位

发布日期: 2026-06-27

原文链接: http://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247900018&idx=2&sn=f772bbfc95bceba9de159cef625102db&chksm=e8da6c00dfade516f9278ff03d89ab687d386fcc1eb9fef634ee2f6c04993b3cbe2a4ed4aaa5#rd

vivo AI Lab 团队 投稿 量子位 | 公众号 QbitAI

想训练能自动操作手机的GUI （图形用户界面） 智能体，总会遇到两难困境：

• 用在线强化学习，交互成本高，长任务训练容易崩盘；

• 只用离线数据训练，模型眼光短浅，多步操作总出错。

为破解这一难题，vivo AI Lab联合之江实验室、中国科学院大学杭州高等研究院，提出 半在线强化学习框架SOLAR-RL 。

它不依赖昂贵的在线环境交互，而是把全局轨迹信号直接“回填”进离线学习过程，在多个基准上以约10%的数据预算取得了与在线/SFT强基线相当甚至更优的表现，同时彻底规避了长程RL训练中常见的策略崩溃。该工作已经被ACL 2026 会议接收。

研究背景：在线RL太贵，离线RL太“短视”¶

在长程GUI任务上应用RL，两条主流路线各有硬伤：

• 在线RL： 能捕捉环境的真实动态反馈，但在30步以上的长任务中交互成本高、奖励稀疏、方差极大，常常在学到可用策略之前就已“训练崩溃”。

• 离线RL： 用静态数据训练、规避了交互风险，却因只盯着碎片化的“单步转移”而陷入“时序短视”，丢掉了长程规划所需的全局上下文，误差层层累积。

两条路线还共同卡在 信用分配难题（Credit Assignment Problem，CAP） 上：一条长轨迹结束时只有末端一个“成功/失败”的二元信号，无法判断到底是中间哪一步推理立了功、哪一步操作拖了后腿，梯度因此稀疏而嘈杂。我们的思路是：能否既保留离线训练的稳定性，又把通常只有在线交互才具备的轨迹级全局信号补回来？SOLAR-RL正是这一“半在线”范式的具体实现。

△ 三种RL范式对比。离线RL（左上）受限于碎片化的单步数据而“时序短视”；在线RL（右上）能捕捉动态但不稳定且交互成本高；SOLAR-RL（下）通过轨迹重构与回溯性信用分配，把全局轨迹洞察“回填”进离线数据。

方法：在静态数据中模拟在线反馈¶

我们将GUI导航建模为部分可观测马尔可夫决策过程 （POMDP） ，SOLAR-RL由两个关键组件构成。

• 离线轨迹重构（Offline Trajectory Reconstruction）

对同一任务，我们在每一步并行采样N条候选rollout，再把相同索引的候选首尾相接、拼成N条“重构轨迹”，从而把有限的静态数据扩展成一批多样化的“伪在线”探索数据。其中关键的一点是：每条轨迹都按 逐步有效性（per-step validity） 逐帧核验，一旦某步动作被判无效，轨迹便在这个“首次失败点”被截断、丢弃其后步骤。有效性判定采用基于真值标签的严格协议——坐标类动作用高斯核度量、文本输入用F1分数、应用启动用相似度阈值、系统类动作用精确匹配，既剪掉低质量偏差，又保留探索多样性。

△ 离线轨迹重构。每一步并行采样N条rollout，将相同索引的候选

→ 原文存档

关联¶

• 相关概念: Harness Engineering