# cmux Computer Use

Omogućite AI agentima za kodiranje pristup izvornim Mac aplikacijama. Uz cmux Computer Use mogu čitati interfejse, snimati ekran, klikati kontrole i unositi tekst.

## Podržani agenti

Izvorni Computer Use alati automatski se povezuju s Claude Code i Codex sesijama pokrenutim unutar cmux-a. Drugi agenti rade u terminalu, ali još ne dobijaju ovu automatsku integraciju za upravljanje Macom.

## Prvi koraci

1.  Instalirajte i otvorite cmux za Mac. Uključite Computer Use u Postavke → Computer Use.
2.  Kroz kontrole dozvola u sistemskim postavkama dodijelite cmux Computer Use pristupačnost i snimanje ekrana. Ako pomoćni program nije na listi, dodajte ili prevucite njegovu ikonu aplikacije u panel dozvola.
3.  Pokrenite novu Claude Code ili Codex sesiju u cmux-u. Zatražite Computer Use i navedite aplikaciju i zadatak. Alati se povezuju automatski, bez ručnog MCP podešavanja.

## Kopiraj Computer Use prompt

Koristi vještinu $cmux-cua. Ako nedostaje, instaliraj je uobičajenim instalaterom. Ako nema dozvola, reci mi da otvorim cmux Postavke → Computer Use. Pregledaj prije rada i provjeri svaku promjenu.

Zadatak: \[opišite zadatak ovdje\]

## Dozvole i postavljanje

Pristupačnost omogućava čitanje i korištenje interfejsa, a snimanje ekrana omogućava snimke. Dodijelite obje dozvole programu cmux Computer Use. Otvaranje cmux-a ili pokretanje agenta ne daje pristup niti automatski otvara postavljanje.

Dozvolama za Computer Use upravlja zaseban pomoćni program, pa terminalske sesije ostaju otvorene tokom početnog postavljanja.

Na macOS Tahoe odobrite i dodatnu potvrdu snimanja ekrana tokom postavljanja. Ponovite zadatak kada cmux prikaže da su obje dozvole dodijeljene.

## Isprobajte s Kalkulatorom

```
Koristi cmux Computer Use da otvoriš Kalkulator, klikneš 100 + 105 i pokažeš mi rezultat.
```

Prvo pregledajte cilj, djelujte na kontrole iz tog snimka stanja, pa ponovo provjerite rezultat. Indeksi elemenata važe samo za trenutno stanje; osvježite ih nakon navigacije ili promjene rasporeda. Potvrda klika sama ne dokazuje završetak zadatka.

## Alati za agente

cmux-cua je ugrađeni MCP server sa strukturiranim alatima za izvorne aplikacije. Ovo su nazivi alata, ne shell komande. Argumenti zavise od profila agenta; koristite šeme povezane sa sesijom.

### Codex

Codex poziva get\_app\_state s nazivom aplikacije ili identifikatorom paketa i dobija snimak ekrana i stablo pristupačnosti. Koristite trenutni element\_index ili koordinate snimka, pa ponovo pozovite get\_app\_state. Alati:

```
list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text
```

### Claude Code

Claude Code nalazi ciljeve preko list\_apps i list\_windows, pa koristi get\_window\_state s pid i window\_id. Dajte prednost tokenima elemenata ili svježim indeksima. Izvorni profil nudi i perform\_actions za grupe radnji koje ne poništavaju kasnije ciljeve.

```
list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state
```

## Pratite i zaustavite Computer Use

Computer Use na traci menija prikazuje aktivnog agenta. Focus Computer Use prati kontrolisanu aplikaciju; Focus Calling Terminal vraća izvorni terminal bez zaustavljanja automatizacije. Za prekid sesije upravljanja koristite radnju zaustavljanja u meniju.

Isključite Computer Use u postavkama. Za izostavljanje alata iz nove sesije agenta, postavite CMUX\_COMPUTER\_USE\_MCP\_DISABLED=1 prije pokretanja.

## Vještine

Vještina cmux-cua objašnjava tok pregleda i radnji. Opcionalna je i ne dodjeljuje macOS dozvole. Za trajnu instalaciju koristite agentov instalater vještina; cmux podrazumijevano ne instalira globalne vještine.

[Pročitajte vještinu cmux-cua](https://github.com/manaflow-ai/cmux/blob/main/skills/cmux-cua/SKILL.md)

## Izvorne aplikacije i automatizacija preglednika

Computer Use upravlja izvornim Mac prozorima putem snimaka ekrana i pristupačnosti. Za cmux panele preglednika koristite cmux browser za DOM snimke, selektore, obrasce i JavaScript. Reference površina preglednika razlikuju se od indeksa elemenata izvornih aplikacija.

[Referenca automatizacije preglednika](https://cmux.com/bs/docs/browser-automation)

## Rješavanje problema

### Agent nema Computer Use alate

Uključite Computer Use i pokrenite novu Claude Code ili Codex sesiju unutar cmux-a. Postojeće sesije mogu zadržati stare alate. Provjerite da funkciju ne isključuju varijable okruženja ili upravljana pravila.

### Nepotpuno postavljanje, neuspješni klikovi ili prazni snimci

Ponovo otvorite Postavke → Computer Use i dovršite obje dozvole, uključujući dodatne potvrde snimanja. Zatim pokušajte ponovo. Terminali mogu ostati otvoreni ako se pomoćni program mora ponovo pokrenuti.

### Pogrešan prozor ili blokiran klik

Ponovo pregledajte aplikaciju i izaberite element iz trenutnog stanja. Ako drugi prozor prekriva cilj, otkrijte željeni prozor i pregledajte ga prije ponavljanja. Ne koristite zastarjele koordinate ili indekse.

[Pregled cmux Computer Use](https://cmux.com/bs/cua)

Canonical: https://cmux.com/bs/docs/computer-use

Documentation index: https://cmux.com/llms.txt