跳转至

Introducing OS Level Actions in Amazon Bedrock AgentCore Browser

📊 Level ⭐ | 7.7KB

-> 原文存档

摘要

AI agents that automate web workflows operate within the browser’s web layer, the DOM that Playwright and the Chrome DevTools Protocol (CDP) expose. AgentCore Browser provides a secure, isolated browser environment for this, and it works well for the vast majority of automation: navigating pages,...

深度分析

OS Level Actions 的发布标志着浏览器自动化能力的最后一次关键补全。在 AgentCore Browser 之前，浏览器自动化经历了三个阶段：DOM 操作（Playwright/CDP）→ 视觉理解（Vision Model）→ OS 层交互（现在）。 核心突破：原生操作系统 UI（对话框、安全提示、证书选择器、右键菜单）是 DOM 层无法触及的"盲区"。OS Level Actions 通过 InvokeBrowser API 将控制力延伸到这个盲区，形成了完整的 Action-Screenshot-Reaction 闭环。 架构设计的关键选择： 1. 无额外设置：所有操作通过现有的 InvokeBrowser API 暴露，这意味着已有 AgentCore Browser 集成的系统可以零成本获得 OS 层能力。 2. 全桌面截图：与 DOM 截图不同，OS 截图捕获整个屏幕，包括原生 UI 元素。这是 Vision Model 能够"看见"对话框的前提。 3. 单 Action 模式：每次调用只执行一个 Action（click/move/type），这符合 Agent 的决策-执行循环设计原则，降低了状态复杂度。 竞争格局：传统 RPA（UiPath、Automation Anywhere）依赖本地安装的 Agent，需要处理复杂的兼容性问题。AgentCore Browser 的云托管 + OS Actions 组合提供了一个纯云端的替代方案。

实践启示

  1. 处理生产环境中的边缘场景：当你的 Agent 遇到 window.print() 触发的系统打印对话框、window.showModalDialog()、或 macOS 隐私对话框时，OS Level Actions 是唯一可靠的自动化手段。
  2. 右击上下文菜单的自动化：需要通过右键菜单执行操作时，使用 mouseClick + button: "RIGHT" 组合。
  3. 快捷键编排：对于需要 Ctrl+A（全选）、Ctrl+C（复制）等组合键的操作，keyShortcut action 支持最多 5 个键的组合。
  4. 截图观察循环：每次 OS Action 后都要截图确认状态变化。这不是"可选的调试步骤"，而是 Agent 决策循环的必要组成部分。
  5. 坐标系统的理解：所有坐标基于 session 的 viewPort 设置。如果 viewport 是 1920×1080，x 有效范围是 0-1919，y 是 0-1079。超出范围的坐标会触发 ValidationException。

相关实体

→ 原文存档