cmux Computer Use
AIコーディングエージェントがMacのネイティブアプリを操作できます。cmux Computer Useで画面の構造を読み取り、スクリーンショットを撮影し、クリックや文字入力を行います。
対応エージェント
ネイティブのComputer Useツールは、cmux内で起動したClaude CodeとCodexのセッションに自動接続されます。他のエージェントもターミナルで動作しますが、Mac操作の自動連携にはまだ対応していません。
使い始める
- Mac版cmuxをインストールして開きます。「設定」→「Computer Use」でComputer Useを有効にします。
- 権限ボタンからシステム設定を開き、cmux Computer Useにアクセシビリティと画面収録を許可します。一覧にヘルパーがない場合は、アプリのタイルを権限画面に追加またはドラッグしてください。
- cmux内でClaude CodeまたはCodexの新しいセッションを開始します。Computer Useの利用を依頼し、アプリ名と作業を指定してください。ツールは自動接続され、MCPの手動設定は不要です。
Computer Useのプロンプトをコピー
この作業では $cmux-cua スキルを使ってください。利用できなければ通常のスキルインストーラーで導入してください。権限がなければcmuxの設定 → Computer Useを開くよう伝えてください。操作前に確認し、変更のたびに検証してください。 タスク：[ここにタスクを記入]
権限と初期設定
アクセシビリティはアプリ画面の読み取りと操作に、画面収録はスクリーンショットに必要です。両方をcmux Computer Useに許可してください。cmuxやエージェントを起動するだけでは権限は付与されず、設定画面も自動では開きません。
Computer Useの権限は独立したヘルパーが管理するため、初期設定中もターミナルセッションを開いたままにできます。
macOS Tahoeでは、設定中に表示される追加の画面キャプチャ確認も許可してください。cmuxで両方の権限が許可済みになってから作業を再試行します。
計算機で試す
cmux Computer Useで計算機を開き、100 + 105をボタンで入力して、結果を見せてください。最初に対象を確認し、そのスナップショットのコントロールを操作してから、再度確認して結果を検証します。要素インデックスは現在のスナップショット専用です。画面遷移やレイアウト変更後は取得し直してください。クリックの成功通知だけでは作業完了を確認できません。
エージェントツール
cmux-cuaは同梱のMCPサーバーで、ネイティブアプリ操作用の構造化ツールをエージェントに提供します。以下はシェルコマンドではなくツール名です。引数はエージェントのプロファイルによって異なるため、セッションに接続されたスキーマを参照してください。
Codex
Codexはアプリ名またはバンドルIDを指定してget_app_stateを呼び、スクリーンショットとアクセシビリティツリーを取得します。現在のelement_indexまたは画像上の座標で操作し、get_app_stateで再確認します。ツール一覧：
list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_textClaude Code
Claude Codeはlist_appsとlist_windowsで対象を探し、pidとwindow_idを指定してget_window_stateを呼びます。要素トークンまたは最新のインデックスを優先してください。ネイティブプロファイルでは、後続の対象を無効にしない操作をperform_actionsでまとめて実行できます。
list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state操作を追跡・停止する
メニューバーのComputer Use項目に操作中のエージェントが表示されます。「Focus Computer Use」は操作対象アプリを表示し、「Focus Calling Terminal」は呼び出し元に戻ります。ターミナルに戻っても自動操作は止まりません。停止するにはメニューの停止項目を使います。
無効にするには設定でComputer Useをオフにします。新しいエージェントからツールを除外する場合は、起動前にCMUX_COMPUTER_USE_MCP_DISABLED=1を設定してください。
スキル
cmux-cuaスキルは画面確認と操作の手順を説明します。利用は任意で、macOSの権限は付与しません。永続的に導入する場合はエージェントのスキルインストーラーを使ってください。cmuxは既定ではグローバルスキルをインストールしません。
ネイティブアプリとブラウザ自動化
Computer UseはスクリーンショットとアクセシビリティでMacのウィンドウを操作します。cmuxのブラウザペインにはcmux browserコマンドを使い、DOMスナップショット、セレクター、フォーム、JavaScriptを操作します。ブラウザのサーフェス参照とネイティブアプリの要素インデックスは別のものです。
トラブルシューティング
Computer Useツールが見つからない
cmuxの設定でComputer Useを有効にし、cmux内でClaude CodeまたはCodexの新しいセッションを開始します。既存セッションには古いツール設定が残る場合があります。環境変数や管理ポリシーで無効になっていないか確認してください。
設定が未完了、クリックが失敗、または画像が空白
「設定」→「Computer Use」を開き直し、追加のキャプチャ確認を含めて両方の権限設定を完了します。完了後に再試行してください。ヘルパーの再起動が必要でもターミナルセッションは開いたままにできます。
別のウィンドウが選ばれる、またはクリックがブロックされる
アプリを再確認し、現在の状態から要素を選び直します。他のウィンドウに隠れている場合は対象を表示してから再確認してください。古い座標や要素インデックスを再利用しないでください。