# cmux Computer Use

Dê aos agentes de programação com IA acesso a apps nativos do Mac. Com cmux Computer Use, eles leem interfaces, capturam telas, clicam em controles e digitam texto.

## Agentes compatíveis

As ferramentas nativas do Computer Use se conectam automaticamente às sessões do Claude Code e Codex iniciadas no cmux. Outros agentes funcionam no terminal, mas ainda não recebem essa integração automática de controle do Mac.

## Primeiros passos

1.  Instale e abra o cmux para Mac. Ative Computer Use em Ajustes → Computer Use.
2.  Use os controles de permissão para conceder Acessibilidade e Gravação de Tela ao cmux Computer Use nos Ajustes do Sistema. Se o auxiliar não aparecer na lista, adicione ou arraste o ícone do app para o painel de permissões.
3.  Inicie uma nova sessão do Claude Code ou Codex no cmux. Peça para usar Computer Use e indique o app e a tarefa. As ferramentas se conectam automaticamente, sem configuração manual de MCP.

## Copiar prompt do Computer Use

Use a habilidade $cmux-cua. Se não estiver disponível, instale-a com o instalador normal. Se faltarem permissões, peça para eu abrir Ajustes do cmux → Computer Use. Inspecione antes e verifique cada alteração.

Tarefa: \[descreva a tarefa aqui\]

## Permissões e configuração

Acessibilidade permite ler e operar interfaces; Gravação de Tela permite capturas. Conceda ambas ao cmux Computer Use. Abrir o cmux ou iniciar um agente não concede acesso nem abre a configuração automaticamente.

As permissões do Computer Use são gerenciadas por um auxiliar separado, mantendo suas sessões de terminal abertas durante a configuração inicial.

No macOS Tahoe, aprove também a confirmação adicional de captura de tela. Repita a tarefa quando o cmux indicar que ambas as permissões foram concedidas.

## Experimente com a Calculadora

```
Use cmux Computer Use para abrir a Calculadora, clicar em 100 + 105 e me mostrar o resultado.
```

Inspecione o alvo primeiro, atue nos controles dessa captura e inspecione novamente para conferir o resultado. Os índices de elementos só valem para o estado atual; atualize-os após navegação ou alterações no layout. Uma confirmação de clique não prova que a tarefa terminou.

## Ferramentas para agentes

cmux-cua é o servidor MCP incluído que oferece ferramentas estruturadas para controlar apps nativos. Estes são nomes de ferramentas, não comandos de shell. Os argumentos dependem do perfil do agente; consulte os esquemas disponíveis na sessão.

### Codex

Codex usa get\_app\_state com o nome do app ou identificador de bundle para receber uma captura e uma árvore de acessibilidade. Atue usando um element\_index atual ou coordenadas da captura e chame get\_app\_state novamente. Ferramentas:

```
list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text
```

### Claude Code

Claude Code encontra alvos com list\_apps e list\_windows e usa get\_window\_state com pid e window\_id. Prefira tokens de elementos ou índices recentes. O perfil nativo também oferece perform\_actions para grupos de ações que não invalidem os alvos seguintes.

```
list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state
```

## Acompanhar e parar o Computer Use

Computer Use na barra de menus mostra o agente ativo. Focus Computer Use acompanha o app controlado; Focus Calling Terminal volta ao terminal de origem sem parar a automação. Use a ação de parada no menu para encerrar a sessão de controle.

Desative Computer Use nos Ajustes. Para excluir as ferramentas de uma nova sessão de agente, defina CMUX\_COMPUTER\_USE\_MCP\_DISABLED=1 antes de iniciá-lo.

## Habilidades

A habilidade cmux-cua explica o fluxo de inspeção e ação. É opcional e não concede permissões do macOS. Para instalação persistente, use o instalador de habilidades do agente; o cmux não instala habilidades globais por padrão.

[Leia a habilidade cmux-cua](https://github.com/manaflow-ai/cmux/blob/main/skills/cmux-cua/SKILL.md)

## Apps nativos e automação do navegador

Computer Use opera janelas nativas com capturas e acessibilidade. Nos painéis de navegador do cmux, use cmux browser para capturas DOM, seletores, formulários e JavaScript. Referências de superfícies do navegador são diferentes dos índices de elementos de apps nativos.

[Referência de automação do navegador](https://cmux.com/pt-BR/docs/browser-automation)

## Solução de problemas

### O agente não tem ferramentas do Computer Use

Ative Computer Use e inicie uma nova sessão do Claude Code ou Codex no cmux. Sessões existentes podem manter as ferramentas originais. Verifique se variáveis de ambiente ou políticas gerenciadas não o desativaram.

### Configuração incompleta, cliques falham ou capturas vazias

Reabra Ajustes → Computer Use e conclua as duas etapas de permissão, incluindo confirmações adicionais de captura. Tente novamente depois. Se o auxiliar precisar reiniciar, os terminais podem permanecer abertos.

### Janela errada ou clique bloqueado

Inspecione o app novamente e selecione um elemento atual. Se outra janela cobrir o alvo, revele a janela desejada e inspecione antes de repetir. Não reutilize coordenadas ou índices antigos.

[Visão geral do cmux Computer Use](https://cmux.com/pt-BR/cua)

Canonical: https://cmux.com/pt-BR/docs/computer-use

Documentation index: https://cmux.com/llms.txt