cmux Computer Use
讓 AI 程式開發代理使用 Mac 原生應用程式。透過 cmux Computer Use 讀取介面、擷取螢幕、點擊控制項並輸入文字。
支援的代理
原生 Computer Use 工具會自動連接至從 cmux 內啟動的 Claude Code 和 Codex 工作階段。其他代理也能在終端機中執行，但尚未支援這種自動連接的 Mac 控制整合。
開始使用
- 安裝並開啟 Mac 版 cmux。在「設定」→「Computer Use」中啟用 Computer Use。
- 透過權限控制項開啟系統設定，為 cmux Computer Use 授予輔助使用與螢幕錄製權限。如果清單中沒有輔助程式，請將其應用程式圖塊加入或拖入權限面板。
- 在 cmux 內建立新的 Claude Code 或 Codex 工作階段。明確要求使用 Computer Use，並指定應用程式與任務。工具會自動連接，無需手動設定 MCP。
複製 Computer Use 提示詞
這項工作使用 $cmux-cua 技能。若無法使用，請用一般技能安裝程式安裝。若缺少權限，請告訴我開啟 cmux 設定 → Computer Use。操作前檢查，每次變更後驗證。 工作：[在此描述工作]
權限與設定
輔助使用權限讓輔助程式讀取及操作應用程式介面；螢幕錄製權限用於截圖。請將兩項權限都授予 cmux Computer Use。開啟 cmux 或啟動代理不會自動授予權限，也不會自動開啟設定流程。
Computer Use 權限由獨立的輔助程式管理，因此初始設定期間，終端機工作階段可以保持開啟。
在 macOS Tahoe 上，還需在設定過程中核准額外的螢幕擷取確認。等 cmux 顯示兩項權限均已授予後，再重試任務。
用計算機試試看
使用 cmux Computer Use 開啟計算機，點擊輸入 100 + 105，並向我展示結果。先查看目標，再操作該快照中的控制項，然後重新查看以驗證結果。元素索引僅對目前快照有效，導覽或版面配置改變後應重新取得。點擊成功的回覆本身並不能證明任務已完成。
代理工具
cmux-cua 是內建 MCP 伺服器，向代理提供操作原生應用程式的結構化工具。以下是工具名稱，不是 shell 指令。具體參數依代理設定而異，請以工作階段中的工具定義為準。
Codex
Codex 使用應用程式名稱或套件識別碼呼叫 get_app_state，取得截圖與輔助使用樹。使用目前的 element_index 或截圖座標操作，再呼叫 get_app_state 驗證。工具清單：
list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_textClaude Code
Claude Code 使用 list_apps 和 list_windows 尋找目標，再透過 pid 和 window_id 呼叫 get_window_state。優先使用元素權杖或最新索引。原生設定也支援 perform_actions，可合併不會讓後續目標失效的操作。
list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state跟隨並停止 Computer Use
選單列的 Computer Use 項目顯示目前代理。Focus Computer Use 會跟隨其操作的應用程式，Focus Calling Terminal 則返回發起操作的終端機。返回終端機不會停止自動化。請使用選單中的停止操作結束目前控制工作階段。
在設定中關閉 Computer Use 即可停用。若要在新代理工作階段中排除這些工具，請在啟動前設定 CMUX_COMPUTER_USE_MCP_DISABLED=1。
技能
cmux-cua 技能說明觀察與操作流程。技能是選用的，不會授予 macOS 權限。需要持續安裝時，請使用代理的技能安裝程式；cmux 預設不會安裝全域技能。
原生應用程式與瀏覽器自動化
Computer Use 透過截圖與輔助使用操作 Mac 原生視窗。對於 cmux 瀏覽器窗格，請使用 cmux browser 指令處理 DOM 快照、選擇器、表單及 JavaScript。瀏覽器表面參照與原生應用程式元素索引不同。
疑難排解
代理沒有 Computer Use 工具
在 cmux 設定中啟用 Computer Use，然後在 cmux 內建立新的 Claude Code 或 Codex 工作階段。既有工作階段可能保留原本的工具設定。檢查環境變數或管理政策是否停用了 Computer Use。
設定未完成、點擊失敗或截圖空白
重新開啟「設定」→「Computer Use」，完成兩項權限步驟及額外的擷取確認。設定完成後重試。即使輔助程式需要重新啟動，終端機工作階段也可以保持開啟。
選錯視窗或點擊被阻擋
重新查看應用程式，從目前狀態中選擇新的元素。如果其他視窗遮住目標，請先顯示目標視窗再重新查看。不要重複使用過期座標或元素索引。