跳转至

让Skill\"有图可依\"：openJiuwen首发多模态Skill范式Skill-Omni

Ch07.053 让Skill\"有图可依\"：openJiuwen首发多模态Skill范式Skill-Omni

📊 Level ⭐⭐ | 8.0KB | entities/让skill有图可依openjiuwen首发多模态skill范式skill-omni.md

让Skill"有图可依"：openJiuwen首发多模态Skill范式Skill-Omni

允中 发自 凹非寺

量子位 | 公众号 QbitAI

Skill让Agent不必每次都从零开始摸索，而是可以复用已有的任务经验，但一个明显的短板始终存在：

今天写给Agent的Skill几乎全是纯文本，修图该修到什么程度、界面上该点哪个按钮，这些"看了才明白"的知识，一直塞不进一份Markdown文档。

针对这一问题，openJiuwen社区正式发布Skill-Omni——业界最早工程化落地的多模态Skill范式。

它让Agent的经验从"读得懂"升级为"看得见"，把网页和视频中的视觉知识，沉淀为Agent可复用的多模态Skill。

给Agent的说明书，第一次有了插图和参考图。

具体来说，用户只需提供一个网页链接或一个B站视频链接，JiuwenSwarm中开箱即用的skill-omni-creation就会自动提取其中的关键截图、界面状态和操作脉络，生成Agent可直接读取复用的多模态Skill。

这也是继SwarmSkill、SwarmFlow之后，openJiuwen在Skill工程化方向上的又一次快速迭代。

要点

  • 这在代码生成、文档处理等任务中足够有用；可一旦Agent开始处理视觉任务、GUI任务，局限立刻显现——有些任务，本来就不是"说清楚"的，而是"看明白"的。
  • 人类也许能领会，但对Agent来说过于模糊：主体在哪里？柔和到什么程度？有没有参考效果？
  • 这些问题仅靠文字很难给出稳定答案。 真正的知识藏在调整前后的视觉差异里：有了前后对比图，Agent才能看到"调整到什么程度才算合理"。
  • 但"设置"可能是齿轮图标，也可能藏在头像菜单下；"高级选项"可能需要滚动页面才能看到；"导出配置"可能是按钮，也可能是下拉菜单里的某个条目，界面里还有多个相似按钮。
  • 还有更被低估的视频教程：大量技能不写在文档里，而藏在软件录屏和操作演示中。
  • 界面长什么样、操作前后有何变化、结果是否符合视觉预期。全部压缩成文字，既费笔墨，又丢失空间关系和视觉细节。

深度分析

多模态Skill的本质：从"指令"到"参照系"的范式升维

传统文本Skill本质上是一份指令清单——告诉Agent在什么条件下执行什么操作。但视觉任务的核心挑战不是"该做什么"，而是"做成什么样才算对"。Skill-Omni将Skill从指令清单升级为参照系：Agent不再仅靠文字推理来验证执行结果，而是直接对比视觉参照图来判断质量。这一转变意味着Agent的决策空间从"文本描述→行为选择"扩展为"视觉证据→行为选择→视觉验证"的闭环。

按需读取：多模态上下文管理的工程范式

多模态Skill面临一个朴素但严峻的工程挑战——图片是上下文的天敌。JiuwenSwarm的工程答案是按需读取机制：环境检测（确认模型是否支持视觉输入）→ 动态注入（引导Agent在需要时调用read_file）→ 按需加载（图片不一次性塞入上下文）。这套机制形成了一种可复用的上下文预算管理模式，对其他多模态Agent系统的设计具有参考意义。

从Markdown到Multimodal：Skill工程化的三个阶段

openJiuwen的Skill演进路径清晰地勾勒出Skill工程化的三个阶段：SwarmSkill（文本Skill的标准化与复用）→ SwarmFlow（Skill的流程化编排与组合）→ Skill-Omni（多模态化）。每个阶段解决一个核心约束——先是可复用性，然后是组合性，最后是表达能力的边界突破。这条路径揭示了一个底层规律：当Agent的感知能力（从纯文本到多模态）扩展时，Skill作为经验载体的形态必须同步进化。

视觉知识工程化：从"人类可读"到"Agent可执行"

网页截图和视频关键帧对人是直观的，对Agent却是非结构化的像素阵列。Skill-Omni的核心工程突破在于：建立了从人类视觉内容到Agent可执行的结构化经验资产的转化管道。这一管道包含解析、去噪、重组、过滤等环节，本质上是将人类视觉知识进行格式塔转换——保留关键视觉信息的结构关系（布局、状态变化、前后对比），同时滤除噪声（广告图、装饰图）。这套转换机制的通用性超越了对Skill-Omni本身的讨论，指向了一个更大的命题：Agent时代的知识工程，需要重新定义"什么是可执行的知识"。

Physical Skill的展望：从视觉到触觉的下一跳

文章末尾提出Physical Skill方向——面向Physical AI场景，用物体抓取热力图沉淀物理交互经验。这意味着Skill工程化的演进不会止步于视觉模态。当Agent从数字世界进入物理世界，Skill需要承载的不仅是"看得见"的视觉经验，还有"拿得稳、做得成"的物理经验（力反馈、扭矩、触觉）。Skill-Omni的视觉知识工程化管道，为Physical Skill提供了可借鉴的方法论：识别关键经验单元 → 建立从原始感知到结构化资产的转化管道 → 设计Agent可执行的调用机制。

实践启示

  1. 视觉Skill应优先于文本Skill被设计：对于GUI自动化、图像编辑等任务，一开始就设计多模态参照比事后补图更有效。在Skill设计阶段即引入"参照图锚点"，能大幅降低Agent执行时的决策不确定性。

  2. 按需加载是处理多模态上下文的通用策略：不是所有Agent场景都需要一次性提供所有视觉信息。环境检测 + 动态注入的按需模式，在视觉丰富度和上下文预算之间取得了实用平衡，适用于上下文管理的通用设计。

  3. 知识工程化需要关注"可执行性"而非"完整性"：将人类教程转化为Agent Skill时，保留所有细节（完整视频、全部截图）反而降低可用性。关键是识别"Agent需要看到什么才能做对"——即关键帧、状态变化点、质量参照标准。

  4. Skill范式演进与Agent感知能力协同进化：当部署的Agent从纯文本模型升级为多模态模型，Skill资产也需要同步升级。这意味着Skill的维护不是一次性的，需要与Agent能力的代际提升保持节奏一致。

  5. 从Physical Skill反推当前设计的可扩展性：如果Skill-Omni的解析—去噪—重组管道需要为触觉/力反馈重新设计，说明当前方案尚有模态局限。在设计Stage 1时就考虑模态无关的抽象层，是面向未来的工程选择。

→ 原文存档

关联