Claude CodeとCodexにMacを操作させよう。
AIコーディングエージェントがMacのネイティブアプリを操作できます。cmux Computer Useで画面の構造を読み取り、スクリーンショットを撮影し、クリックや文字入力を行います。

Macのネイティブアプリを操作
- アクセシビリティツリーとスクリーンショットでアプリの画面を確認。
- macOSアプリでクリック、文字入力、スクロール、ドラッグ、キーボードショートカットを実行。
- エージェントのカーソルを見ながら結果を確認し、呼び出し元のターミナルに戻れます。
cmuxで使うコーディングエージェント
Claude Code Codex OpenCode Pi Gemini CLI Kiro Aider Goose Amp Cline Cursor Agentなどのコマンドラインエージェントをcmuxで実行できます。
ネイティブのComputer Useツールは、cmux内で起動したClaude CodeとCodexのセッションに自動接続されます。他のエージェントもターミナルで動作しますが、Mac操作の自動連携にはまだ対応していません。
使い始める
- Mac版cmuxをインストールして開きます。「設定」→「Computer Use」でComputer Useを有効にします。
- 権限ボタンからシステム設定を開き、cmux Computer Useにアクセシビリティと画面収録を許可します。一覧にヘルパーがない場合は、アプリのタイルを権限画面に追加またはドラッグしてください。
- cmux内でClaude CodeまたはCodexの新しいセッションを開始します。Computer Useの利用を依頼し、アプリ名と作業を指定してください。ツールは自動接続され、MCPの手動設定は不要です。
Computer Useのプロンプトをコピー
この作業では $cmux-cua スキルを使ってください。利用できなければ通常のスキルインストーラーで導入してください。権限がなければcmuxの設定 → Computer Useを開くよう伝えてください。操作前に確認し、変更のたびに検証してください。 タスク:[ここにタスクを記入]