自动化

cmux Computer Use

让 AI 编程代理使用 Mac 原生应用。通过 cmux Computer Use 读取应用界面、截取屏幕、点击控件并输入文字。

支持的代理

原生 Computer Use 工具会自动连接到从 cmux 内启动的 Claude Code 和 Codex 会话。其他代理也能在终端中运行，但尚不支持这种自动连接的 Mac 控制集成。

安装并打开 Mac 版 cmux。在设置 → Computer Use 中启用 Computer Use。
通过权限控件打开系统设置，为 cmux Computer Use 授予辅助功能和屏幕录制权限。如果列表中没有辅助程序，请将其应用图块添加或拖入权限面板。
在 cmux 内新建 Claude Code 或 Codex 会话。明确要求使用 Computer Use，并指定应用和任务。工具会自动连接，无需手动配置 MCP。

本任务使用 $cmux-cua 技能。若技能不可用，请用常用技能安装器安装。若缺少权限，请让我打开 cmux 设置 → Computer Use。操作前检查，每次变更后验证。

任务：[在此描述任务]

辅助功能权限允许辅助程序读取和操作应用界面；屏幕录制权限用于截图。请将两项权限都授予 cmux Computer Use。打开 cmux 或启动代理不会自动授予权限，也不会自动打开设置流程。

Computer Use 权限由独立的辅助程序管理，因此在初始设置期间，你的终端会话可以保持运行。

在 macOS Tahoe 上，还需在设置过程中批准额外的屏幕捕获确认。等 cmux 显示两项权限均已授予后，再重试任务。

使用 cmux Computer Use 打开计算器，点击输入 100 + 105，并向我展示结果。

先查看目标，再操作该快照中的控件，然后重新查看以验证结果。元素索引仅对当前快照有效，导航或布局改变后应重新获取。点击成功的回执本身并不能证明任务已完成。

cmux-cua 是内置 MCP 服务器，向代理提供操作原生应用的结构化工具。下面是工具名称，不是 shell 命令。具体参数取决于代理配置，请以会话中提供的工具定义为准。

Codex 使用应用名称或 bundle ID 调用 get_app_state，获取截图和辅助功能树。使用当前的 element_index 或截图坐标执行操作，再次调用 get_app_state 验证。工具列表：

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code 使用 list_apps 和 list_windows 查找目标，再通过 pid 和 window_id 调用 get_window_state。优先使用元素令牌或最新索引。原生配置还支持 perform_actions，用于合并不会使后续目标失效的操作。

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

菜单栏的 Computer Use 项目显示当前代理。Focus Computer Use 会跟随其操作的应用，Focus Calling Terminal 返回发起操作的终端。返回终端不会停止自动化。请使用菜单中的停止操作来结束当前控制会话。

在设置中关闭 Computer Use 即可停用。若要在新代理会话中排除这些工具，请在启动前设置 CMUX_COMPUTER_USE_MCP_DISABLED=1。

cmux-cua 技能说明了观察与操作流程。技能是可选的，不会授予 macOS 权限。需要持久安装时，请使用代理的技能安装器；cmux 默认不会安装全局技能。

Computer Use 通过截图和辅助功能操作 Mac 原生窗口。对于 cmux 浏览器窗格，请使用 cmux browser 命令处理 DOM 快照、选择器、表单和 JavaScript。浏览器表面引用与原生应用元素索引并不相同。

在 cmux 设置中启用 Computer Use，然后在 cmux 内新建 Claude Code 或 Codex 会话。已有会话可能保留原来的工具配置。检查是否有环境变量或管理策略禁用了 Computer Use。

重新打开设置 → Computer Use，完成两项权限步骤及额外的捕获确认。设置完成后重试。即使辅助程序需要重启，终端会话也可以保持运行。

重新查看应用，从当前状态中选择新的元素。如果其他窗口遮挡了目标，请先显示目标窗口再重新查看。不要复用过期坐标或元素索引。

此页面对您有帮助吗？