cmux Computer Use

Donnez aux agents de programmation IA accès aux apps natives du Mac. Avec cmux Computer Use, ils lisent les interfaces, prennent des captures, cliquent et saisissent du texte.

Agents pris en charge

Les outils natifs Computer Use sont automatiquement reliés aux sessions Claude Code et Codex lancées dans cmux. Les autres agents fonctionnent dans le terminal, mais ne bénéficient pas encore de cette intégration automatique de contrôle du Mac.

Bien démarrer

1. Installez et ouvrez cmux pour Mac. Activez Computer Use dans Réglages → Computer Use.
2. Utilisez les boutons d’autorisation pour accorder à cmux Computer Use l’accès à l’accessibilité et à l’enregistrement de l’écran dans Réglages Système. Si l’assistant manque dans la liste, ajoutez ou glissez sa vignette d’app dans le panneau des autorisations.
3. Démarrez une nouvelle session Claude Code ou Codex dans cmux. Demandez d’utiliser Computer Use et précisez l’app et la tâche. Les outils se connectent automatiquement, sans configuration MCP manuelle.

Copier un prompt Computer Use

Utilise la compétence $cmux-cua. Si elle manque, installe-la avec ton installateur habituel. Si les autorisations manquent, demande-moi d’ouvrir Réglages cmux → Computer Use. Inspecte avant d’agir et vérifie chaque changement.

Tâche : [décris la tâche ici]

Autorisations et configuration

L’accessibilité permet à l’assistant de lire et de manipuler les interfaces. L’enregistrement de l’écran permet les captures. Accordez les deux à cmux Computer Use. Ouvrir cmux ou démarrer un agent n’accorde aucun accès et n’ouvre pas automatiquement la configuration.

Les autorisations de Computer Use sont gérées par un assistant distinct ; vos sessions de terminal restent ouvertes pendant la configuration.

Sur macOS Tahoe, acceptez aussi la confirmation supplémentaire de capture pendant la configuration. Attendez que cmux affiche les deux autorisations accordées avant de relancer la tâche.

Essayer avec Calculatrice

Utilise cmux Computer Use pour ouvrir Calculatrice, cliquer sur 100 + 105 et me montrer le résultat.

Inspectez d’abord la cible, agissez sur les éléments de cet instantané, puis inspectez à nouveau pour vérifier le résultat. Les index d’éléments ne valent que pour l’instantané courant ; actualisez-les après une navigation ou un changement de disposition. Un clic confirmé ne prouve pas à lui seul que la tâche est terminée.

Outils pour agents

cmux-cua est le serveur MCP intégré qui expose des outils structurés pour contrôler les apps natives. Il s’agit de noms d’outils, pas de commandes shell. Les arguments dépendent du profil de l’agent ; consultez les schémas fournis à la session.

Codex

Codex utilise get_app_state avec un nom d’app ou un identifiant de bundle pour obtenir une capture et un arbre d’accessibilité. Agissez via un element_index actuel ou les coordonnées de la capture, puis rappelez get_app_state. Outils disponibles :

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code

Claude Code trouve la cible avec list_apps et list_windows, puis appelle get_window_state avec pid et window_id. Préférez les jetons d’éléments ou des index récents. Le profil natif propose aussi perform_actions pour regrouper des actions qui n’invalident pas les cibles suivantes.

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

Suivre et arrêter Computer Use

L’entrée Computer Use dans la barre des menus indique l’agent actif. Focus Computer Use suit l’app pilotée ; Focus Calling Terminal revient au terminal d’origine. Revenir au terminal n’arrête pas l’automatisation. Utilisez l’action d’arrêt du menu pour terminer la session de contrôle.

Désactivez Computer Use dans les réglages. Pour exclure ces outils d’une nouvelle session d’agent, définissez CMUX_COMPUTER_USE_MCP_DISABLED=1 avant son lancement.

Compétences

La compétence cmux-cua décrit le cycle d’inspection et d’action. Elle est facultative et n’accorde aucune autorisation macOS. Pour une installation persistante, utilisez l’installateur de compétences de votre agent ; cmux n’installe pas de compétences globales par défaut.

Lire la compétence cmux-cua

Apps natives et automatisation du navigateur

Computer Use pilote les fenêtres natives du Mac via les captures et l’accessibilité. Pour les panneaux de navigateur cmux, utilisez cmux browser pour les instantanés DOM, sélecteurs, formulaires et JavaScript. Une référence de surface de navigateur diffère d’un index d’élément d’app native.

Référence de l’automatisation du navigateur

Dépannage

L’agent ne dispose pas des outils Computer Use

Activez Computer Use dans cmux et lancez une nouvelle session Claude Code ou Codex à l’intérieur. Les sessions existantes peuvent conserver leurs anciens outils. Vérifiez qu’aucune variable d’environnement ni politique administrée ne désactive Computer Use.

Configuration incomplète, clics sans effet ou captures vides

Rouvrez Réglages → Computer Use et terminez les deux étapes d’autorisation, y compris toute confirmation de capture supplémentaire. Réessayez ensuite. Si l’assistant doit redémarrer, vos sessions de terminal peuvent rester ouvertes.

Mauvaise fenêtre ciblée ou clic bloqué

Inspectez à nouveau l’app et choisissez un élément de son état actuel. Si une autre fenêtre masque la cible, affichez la fenêtre voulue et inspectez-la avant de réessayer. Ne réutilisez pas d’anciens index ou coordonnées.

Présentation de cmux Computer Use