cmux Computer Use

Dai agli agenti di programmazione IA accesso alle app native del Mac. Con cmux Computer Use possono leggere interfacce, acquisire screenshot, fare clic e inserire testo.

Agenti supportati

Gli strumenti nativi Computer Use si collegano automaticamente alle sessioni Claude Code e Codex avviate in cmux. Gli altri agenti funzionano nel terminale, ma non ricevono ancora questa integrazione automatica per controllare il Mac.

Per iniziare

1. Installa e apri cmux per Mac. Abilita Computer Use in Impostazioni → Computer Use.
2. Concedi Accessibilità e Registrazione schermo a cmux Computer Use tramite i controlli dei permessi in Impostazioni di Sistema. Se l’assistente non è elencato, aggiungi o trascina il riquadro della sua app nel pannello dei permessi.
3. Avvia una nuova sessione Claude Code o Codex in cmux. Chiedi di usare Computer Use specificando app e attività. Gli strumenti si collegano automaticamente, senza configurazione MCP manuale.

Copia un prompt Computer Use

Usa la competenza $cmux-cua. Se manca, installala con il normale installatore. Se mancano permessi, chiedimi di aprire Impostazioni cmux → Computer Use. Esamina prima di agire e verifica ogni modifica.

Attività: [descrivi qui l’attività]

Permessi e configurazione

Accessibilità consente di leggere e azionare le interfacce; Registrazione schermo consente gli screenshot. Concedi entrambi i permessi a cmux Computer Use. Aprire cmux o avviare un agente non concede accesso né apre automaticamente la configurazione.

Un assistente separato gestisce i permessi di Computer Use, così le sessioni del terminale restano aperte durante la configurazione iniziale.

Su macOS Tahoe, approva anche la conferma aggiuntiva di acquisizione dello schermo. Riprova l’attività quando cmux mostra entrambi i permessi concessi.

Prova con Calcolatrice

Usa cmux Computer Use per aprire Calcolatrice, fare clic su 100 + 105 e mostrarmi il risultato.

Esamina prima il bersaglio, agisci sui controlli dell’istantanea e controlla di nuovo il risultato. Gli indici valgono solo per l’istantanea corrente: aggiornali dopo navigazione o cambiamenti di layout. La conferma di un clic non dimostra che l’attività sia conclusa.

Strumenti per agenti

cmux-cua è il server MCP incluso per il controllo strutturato delle app native. Questi sono nomi di strumenti, non comandi shell. Gli argomenti dipendono dal profilo dell’agente: consulta gli schemi forniti alla sessione.

Codex

Codex chiama get_app_state con un nome app o identificatore bundle per ottenere screenshot e albero di accessibilità. Agisci tramite element_index corrente o coordinate dello screenshot, poi richiama get_app_state. Strumenti disponibili:

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code

Claude Code trova i bersagli con list_apps e list_windows, poi usa get_window_state con pid e window_id. Preferisci token di elementi o indici aggiornati. Il profilo nativo offre anche perform_actions per gruppi di azioni che non invalidano i bersagli successivi.

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

Seguire e fermare Computer Use

Computer Use nella barra dei menu mostra l’agente attivo. Focus Computer Use segue l’app controllata; Focus Calling Terminal torna al terminale di origine senza fermare l’automazione. Usa l’azione di arresto nel menu per terminare la sessione di controllo.

Disattiva Computer Use nelle impostazioni. Per escludere gli strumenti da un nuovo agente, imposta CMUX_COMPUTER_USE_MCP_DISABLED=1 prima di avviarlo.

Competenze

La competenza cmux-cua spiega il flusso di osservazione e azione. È facoltativa e non concede permessi macOS. Per installarla stabilmente, usa l’installatore di competenze dell’agente; cmux non installa competenze globali per impostazione predefinita.

Leggi la competenza cmux-cua

App native e automazione del browser

Computer Use controlla finestre native tramite screenshot e accessibilità. Per i pannelli browser cmux, usa cmux browser per istantanee DOM, selettori, moduli e JavaScript. I riferimenti delle superfici browser sono distinti dagli indici degli elementi delle app native.

Riferimento per l’automazione del browser

Risoluzione dei problemi

L’agente non ha gli strumenti Computer Use

Abilita Computer Use e avvia una nuova sessione Claude Code o Codex in cmux. Le sessioni esistenti possono mantenere gli strumenti originali. Verifica che variabili d’ambiente o criteri gestiti non lo disabilitino.

Configurazione incompleta, clic falliti o screenshot vuoti

Riapri Impostazioni → Computer Use e completa entrambi i permessi, comprese eventuali conferme aggiuntive di acquisizione. Poi riprova. Se l’assistente deve riavviarsi, i terminali possono restare aperti.

Finestra errata o clic bloccato

Esamina nuovamente l’app e scegli un elemento aggiornato. Se un’altra finestra copre il bersaglio, rendilo visibile ed esaminalo prima di riprovare. Non riutilizzare coordinate o indici obsoleti.

Panoramica di cmux Computer Use