cmux Computer Use
Dê aos agentes de programação com IA acesso a apps nativos do Mac. Com cmux Computer Use, eles leem interfaces, capturam telas, clicam em controles e digitam texto.
Agentes compatíveis
As ferramentas nativas do Computer Use se conectam automaticamente às sessões do Claude Code e Codex iniciadas no cmux. Outros agentes funcionam no terminal, mas ainda não recebem essa integração automática de controle do Mac.
Primeiros passos
- Instale e abra o cmux para Mac. Ative Computer Use em Ajustes → Computer Use.
- Use os controles de permissão para conceder Acessibilidade e Gravação de Tela ao cmux Computer Use nos Ajustes do Sistema. Se o auxiliar não aparecer na lista, adicione ou arraste o ícone do app para o painel de permissões.
- Inicie uma nova sessão do Claude Code ou Codex no cmux. Peça para usar Computer Use e indique o app e a tarefa. As ferramentas se conectam automaticamente, sem configuração manual de MCP.
Copiar prompt do Computer Use
Use a habilidade $cmux-cua. Se não estiver disponível, instale-a com o instalador normal. Se faltarem permissões, peça para eu abrir Ajustes do cmux → Computer Use. Inspecione antes e verifique cada alteração. Tarefa: [descreva a tarefa aqui]
Permissões e configuração
Acessibilidade permite ler e operar interfaces; Gravação de Tela permite capturas. Conceda ambas ao cmux Computer Use. Abrir o cmux ou iniciar um agente não concede acesso nem abre a configuração automaticamente.
As permissões do Computer Use são gerenciadas por um auxiliar separado, mantendo suas sessões de terminal abertas durante a configuração inicial.
No macOS Tahoe, aprove também a confirmação adicional de captura de tela. Repita a tarefa quando o cmux indicar que ambas as permissões foram concedidas.
Experimente com a Calculadora
Use cmux Computer Use para abrir a Calculadora, clicar em 100 + 105 e me mostrar o resultado.Inspecione o alvo primeiro, atue nos controles dessa captura e inspecione novamente para conferir o resultado. Os índices de elementos só valem para o estado atual; atualize-os após navegação ou alterações no layout. Uma confirmação de clique não prova que a tarefa terminou.
Ferramentas para agentes
cmux-cua é o servidor MCP incluído que oferece ferramentas estruturadas para controlar apps nativos. Estes são nomes de ferramentas, não comandos de shell. Os argumentos dependem do perfil do agente; consulte os esquemas disponíveis na sessão.
Codex
Codex usa get_app_state com o nome do app ou identificador de bundle para receber uma captura e uma árvore de acessibilidade. Atue usando um element_index atual ou coordenadas da captura e chame get_app_state novamente. Ferramentas:
list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_textClaude Code
Claude Code encontra alvos com list_apps e list_windows e usa get_window_state com pid e window_id. Prefira tokens de elementos ou índices recentes. O perfil nativo também oferece perform_actions para grupos de ações que não invalidem os alvos seguintes.
list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_stateAcompanhar e parar o Computer Use
Computer Use na barra de menus mostra o agente ativo. Focus Computer Use acompanha o app controlado; Focus Calling Terminal volta ao terminal de origem sem parar a automação. Use a ação de parada no menu para encerrar a sessão de controle.
Desative Computer Use nos Ajustes. Para excluir as ferramentas de uma nova sessão de agente, defina CMUX_COMPUTER_USE_MCP_DISABLED=1 antes de iniciá-lo.
Habilidades
A habilidade cmux-cua explica o fluxo de inspeção e ação. É opcional e não concede permissões do macOS. Para instalação persistente, use o instalador de habilidades do agente; o cmux não instala habilidades globais por padrão.
Apps nativos e automação do navegador
Computer Use opera janelas nativas com capturas e acessibilidade. Nos painéis de navegador do cmux, use cmux browser para capturas DOM, seletores, formulários e JavaScript. Referências de superfícies do navegador são diferentes dos índices de elementos de apps nativos.
Referência de automação do navegador
Solução de problemas
O agente não tem ferramentas do Computer Use
Ative Computer Use e inicie uma nova sessão do Claude Code ou Codex no cmux. Sessões existentes podem manter as ferramentas originais. Verifique se variáveis de ambiente ou políticas gerenciadas não o desativaram.
Configuração incompleta, cliques falham ou capturas vazias
Reabra Ajustes → Computer Use e conclua as duas etapas de permissão, incluindo confirmações adicionais de captura. Tente novamente depois. Se o auxiliar precisar reiniciar, os terminais podem permanecer abertos.
Janela errada ou clique bloqueado
Inspecione o app novamente e selecione um elemento atual. Se outra janela cobrir o alvo, revele a janela desejada e inspecione antes de repetir. Não reutilize coordenadas ou índices antigos.