cmux Computer Use

Omogućite AI agentima za kodiranje pristup izvornim Mac aplikacijama. Uz cmux Computer Use mogu čitati interfejse, snimati ekran, klikati kontrole i unositi tekst.

Podržani agenti

Izvorni Computer Use alati automatski se povezuju s Claude Code i Codex sesijama pokrenutim unutar cmux-a. Drugi agenti rade u terminalu, ali još ne dobijaju ovu automatsku integraciju za upravljanje Macom.

Prvi koraci

1. Instalirajte i otvorite cmux za Mac. Uključite Computer Use u Postavke → Computer Use.
2. Kroz kontrole dozvola u sistemskim postavkama dodijelite cmux Computer Use pristupačnost i snimanje ekrana. Ako pomoćni program nije na listi, dodajte ili prevucite njegovu ikonu aplikacije u panel dozvola.
3. Pokrenite novu Claude Code ili Codex sesiju u cmux-u. Zatražite Computer Use i navedite aplikaciju i zadatak. Alati se povezuju automatski, bez ručnog MCP podešavanja.

Kopiraj Computer Use prompt

Koristi vještinu $cmux-cua. Ako nedostaje, instaliraj je uobičajenim instalaterom. Ako nema dozvola, reci mi da otvorim cmux Postavke → Computer Use. Pregledaj prije rada i provjeri svaku promjenu.

Zadatak: [opišite zadatak ovdje]

Dozvole i postavljanje

Pristupačnost omogućava čitanje i korištenje interfejsa, a snimanje ekrana omogućava snimke. Dodijelite obje dozvole programu cmux Computer Use. Otvaranje cmux-a ili pokretanje agenta ne daje pristup niti automatski otvara postavljanje.

Dozvolama za Computer Use upravlja zaseban pomoćni program, pa terminalske sesije ostaju otvorene tokom početnog postavljanja.

Na macOS Tahoe odobrite i dodatnu potvrdu snimanja ekrana tokom postavljanja. Ponovite zadatak kada cmux prikaže da su obje dozvole dodijeljene.

Isprobajte s Kalkulatorom

Koristi cmux Computer Use da otvoriš Kalkulator, klikneš 100 + 105 i pokažeš mi rezultat.

Prvo pregledajte cilj, djelujte na kontrole iz tog snimka stanja, pa ponovo provjerite rezultat. Indeksi elemenata važe samo za trenutno stanje; osvježite ih nakon navigacije ili promjene rasporeda. Potvrda klika sama ne dokazuje završetak zadatka.

Alati za agente

cmux-cua je ugrađeni MCP server sa strukturiranim alatima za izvorne aplikacije. Ovo su nazivi alata, ne shell komande. Argumenti zavise od profila agenta; koristite šeme povezane sa sesijom.

Codex

Codex poziva get_app_state s nazivom aplikacije ili identifikatorom paketa i dobija snimak ekrana i stablo pristupačnosti. Koristite trenutni element_index ili koordinate snimka, pa ponovo pozovite get_app_state. Alati:

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code

Claude Code nalazi ciljeve preko list_apps i list_windows, pa koristi get_window_state s pid i window_id. Dajte prednost tokenima elemenata ili svježim indeksima. Izvorni profil nudi i perform_actions za grupe radnji koje ne poništavaju kasnije ciljeve.

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

Pratite i zaustavite Computer Use

Computer Use na traci menija prikazuje aktivnog agenta. Focus Computer Use prati kontrolisanu aplikaciju; Focus Calling Terminal vraća izvorni terminal bez zaustavljanja automatizacije. Za prekid sesije upravljanja koristite radnju zaustavljanja u meniju.

Isključite Computer Use u postavkama. Za izostavljanje alata iz nove sesije agenta, postavite CMUX_COMPUTER_USE_MCP_DISABLED=1 prije pokretanja.

Vještine

Vještina cmux-cua objašnjava tok pregleda i radnji. Opcionalna je i ne dodjeljuje macOS dozvole. Za trajnu instalaciju koristite agentov instalater vještina; cmux podrazumijevano ne instalira globalne vještine.

Pročitajte vještinu cmux-cua

Izvorne aplikacije i automatizacija preglednika

Computer Use upravlja izvornim Mac prozorima putem snimaka ekrana i pristupačnosti. Za cmux panele preglednika koristite cmux browser za DOM snimke, selektore, obrasce i JavaScript. Reference površina preglednika razlikuju se od indeksa elemenata izvornih aplikacija.

Referenca automatizacije preglednika

Rješavanje problema

Agent nema Computer Use alate

Uključite Computer Use i pokrenite novu Claude Code ili Codex sesiju unutar cmux-a. Postojeće sesije mogu zadržati stare alate. Provjerite da funkciju ne isključuju varijable okruženja ili upravljana pravila.

Nepotpuno postavljanje, neuspješni klikovi ili prazni snimci

Ponovo otvorite Postavke → Computer Use i dovršite obje dozvole, uključujući dodatne potvrde snimanja. Zatim pokušajte ponovo. Terminali mogu ostati otvoreni ako se pomoćni program mora ponovo pokrenuti.

Pogrešan prozor ili blokiran klik

Ponovo pregledajte aplikaciju i izaberite element iz trenutnog stanja. Ako drugi prozor prekriva cilj, otkrijte željeni prozor i pregledajte ga prije ponavljanja. Ne koristite zastarjele koordinate ili indekse.

Pregled cmux Computer Use