cmux Computer Use

Da a los agentes de programación con IA acceso a apps nativas del Mac. Con cmux Computer Use pueden leer interfaces, tomar capturas, pulsar controles y escribir texto.

Agentes compatibles

Las herramientas nativas de Computer Use se conectan automáticamente a las sesiones de Claude Code y Codex iniciadas dentro de cmux. Otros agentes funcionan en el terminal, pero aún no reciben esta integración automática para controlar el Mac.

Primeros pasos

1. Instala y abre cmux para Mac. Activa Computer Use en Ajustes → Computer Use.
2. Usa los controles de permisos para conceder Accesibilidad y Grabación de pantalla a cmux Computer Use en Ajustes del Sistema. Si el asistente no aparece en la lista, añade o arrastra su icono de app al panel de permisos.
3. Inicia una nueva sesión de Claude Code o Codex dentro de cmux. Pide que use Computer Use e indica la app y la tarea. Las herramientas se conectan automáticamente, sin configurar MCP a mano.

Copiar un prompt de Computer Use

Usa la habilidad $cmux-cua para esta tarea. Si falta, instálala con tu instalador habitual. Si faltan permisos, pídeme abrir Ajustes de cmux → Computer Use. Inspecciona antes de actuar y verifica cada cambio.

Tarea: [describe aquí la tarea]

Permisos y configuración

Accesibilidad permite leer y manipular las interfaces. Grabación de pantalla permite tomar capturas. Concede ambos permisos a cmux Computer Use. Abrir cmux o iniciar un agente no concede acceso ni abre la configuración automáticamente.

Un asistente independiente gestiona los permisos de Computer Use, por lo que tus sesiones de terminal permanecen abiertas durante la configuración inicial.

En macOS Tahoe, acepta también la confirmación adicional de captura de pantalla durante la configuración. Espera a que cmux muestre ambos permisos concedidos antes de reintentar la tarea.

Pruébalo con Calculadora

Usa cmux Computer Use para abrir Calculadora, pulsar 100 + 105 y mostrarme el resultado.

Inspecciona primero el destino, actúa sobre los controles de esa instantánea y vuelve a inspeccionarlo para verificar el resultado. Los índices de elementos solo valen para la instantánea actual; actualízalos después de navegar o cambiar el diseño. Confirmar un clic no demuestra por sí solo que la tarea haya terminado.

Herramientas para agentes

cmux-cua es el servidor MCP incluido que ofrece herramientas estructuradas para controlar apps nativas. Estos son nombres de herramientas, no comandos de shell. Los argumentos dependen del perfil del agente; consulta los esquemas conectados a la sesión.

Codex

Codex usa get_app_state con el nombre de una app o su identificador de bundle para obtener una captura y un árbol de accesibilidad. Actúa con un element_index actual o coordenadas de la captura y vuelve a llamar a get_app_state. Herramientas disponibles:

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code

Claude Code busca el destino con list_apps y list_windows y llama a get_window_state con pid y window_id. Prefiere tokens de elementos o índices recientes. El perfil nativo también ofrece perform_actions para agrupar acciones que no invaliden destinos posteriores.

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

Seguir y detener Computer Use

Computer Use en la barra de menús muestra el agente activo. Focus Computer Use sigue la app controlada; Focus Calling Terminal vuelve al terminal de origen. Volver al terminal no detiene la automatización. Usa la acción de detener del menú para finalizar la sesión de control.

Desactiva Computer Use en Ajustes. Para excluir las herramientas de un nuevo inicio de agente, define CMUX_COMPUTER_USE_MCP_DISABLED=1 antes de iniciarlo.

Habilidades

La habilidad cmux-cua explica el flujo de inspección y acción. Es opcional y no concede permisos de macOS. Para instalarla de forma persistente, usa el instalador de habilidades de tu agente; cmux no instala habilidades globales por defecto.

Leer la habilidad cmux-cua

Apps nativas y automatización del navegador

Computer Use opera ventanas nativas del Mac mediante capturas y accesibilidad. Para los paneles de navegador de cmux, usa cmux browser para instantáneas DOM, selectores, formularios y JavaScript. Una referencia de superficie del navegador no es un índice de elemento de app nativa.

Referencia de automatización del navegador

Solución de problemas

El agente no tiene herramientas de Computer Use

Activa Computer Use en cmux e inicia una nueva sesión de Claude Code o Codex dentro de cmux. Las sesiones existentes pueden conservar sus herramientas originales. Comprueba que ninguna variable de entorno o política administrada lo desactive.

Configuración incompleta, clics fallidos o capturas en blanco

Vuelve a Ajustes → Computer Use y completa ambos pasos de permisos, incluida cualquier confirmación adicional de captura. Reintenta después. Si el asistente debe reiniciarse, las sesiones de terminal pueden permanecer abiertas.

Ventana incorrecta o clic bloqueado

Inspecciona de nuevo la app y selecciona un elemento de su estado actual. Si otra ventana tapa el destino, muestra la ventana deseada e inspecciónala antes de reintentar. No reutilices coordenadas ni índices obsoletos.

Vista general de cmux Computer Use