# cmux Computer Use

Gib KI-Coding-Agenten Zugriff auf native Mac-Apps. Mit cmux Computer Use können sie Oberflächen lesen, Screenshots aufnehmen, Steuerelemente anklicken und Text eingeben.

## Unterstützte Agenten

Native Computer-Use-Werkzeuge werden automatisch an Claude-Code- und Codex-Sitzungen angebunden, die in cmux gestartet werden. Andere Agenten laufen im Terminal, erhalten diese automatische Mac-Steuerung aber noch nicht.

## Erste Schritte

1.  Installiere und öffne cmux für Mac. Aktiviere Computer Use unter Einstellungen → Computer Use.
2.  Erteile cmux Computer Use über die Berechtigungsschaltflächen in den Systemeinstellungen Zugriff auf Bedienungshilfen und Bildschirmaufnahme. Fehlt der Helfer in der Liste, füge seine App-Kachel hinzu oder ziehe sie in den Berechtigungsbereich.
3.  Starte eine neue Claude-Code- oder Codex-Sitzung in cmux. Bitte ausdrücklich um Computer Use und nenne App und Aufgabe. Die Werkzeuge werden automatisch verbunden; eine manuelle MCP-Konfiguration ist nicht nötig.

## Computer-Use-Prompt kopieren

Verwende für diese Aufgabe den Skill $cmux-cua. Falls er fehlt, installiere ihn mit deinem normalen Skill-Installer. Bei fehlenden Berechtigungen bitte mich, cmux Einstellungen → Computer Use zu öffnen. Prüfe vor jeder Aktion und verifiziere jede Änderung.

Aufgabe: \[Aufgabe hier beschreiben\]

## Berechtigungen und Einrichtung

Bedienungshilfen erlauben das Lesen und Bedienen von App-Oberflächen. Bildschirmaufnahme ermöglicht Screenshots. Erteile beide Rechte cmux Computer Use. Das Öffnen von cmux oder Starten eines Agenten erteilt keine Rechte und öffnet die Einrichtung nicht automatisch.

Ein separater Helfer verwaltet die Computer-Use-Berechtigungen. Deine Terminalsitzungen bleiben während der Einrichtung geöffnet.

Bestätige unter macOS Tahoe auch die zusätzliche Bildschirmaufnahme-Abfrage während der Einrichtung. Wiederhole die Aufgabe erst, wenn cmux beide Berechtigungen als erteilt anzeigt.

## Mit dem Rechner ausprobieren

```
Öffne mit cmux Computer Use den Rechner, klicke 100 + 105 und zeige mir das Ergebnis.
```

Untersuche zuerst das Ziel, bediene Elemente dieses Schnappschusses und prüfe danach den neuen Zustand. Elementindizes gelten nur für den aktuellen Schnappschuss; erneuere sie nach Navigation oder Layoutänderungen. Eine erfolgreiche Klickbestätigung beweist noch keinen Aufgabenabschluss.

## Agentenwerkzeuge

cmux-cua ist der mitgelieferte MCP-Server für strukturierte native App-Steuerung. Dies sind Werkzeugnamen, keine Shell-Befehle. Die Argumente hängen vom Agentenprofil ab; nutze die an die Sitzung angehängten Schemata.

### Codex

Codex ruft get\_app\_state mit einem App-Namen oder einer Bundle-ID auf und erhält Screenshot und Bedienungshilfen-Baum. Handle über einen aktuellen element\_index oder Screenshot-Koordinaten und rufe get\_app\_state erneut auf. Die Werkzeuge:

```
list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text
```

### Claude Code

Claude Code findet Ziele mit list\_apps und list\_windows und nutzt get\_window\_state mit pid und window\_id. Bevorzuge Elementtokens oder aktuelle Indizes. Das native Profil unterstützt perform\_actions für Aktionsgruppen, die spätere Ziele nicht ungültig machen.

```
list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state
```

## Computer Use verfolgen und stoppen

Der Computer-Use-Menüleisteneintrag zeigt den aktiven Agenten. Focus Computer Use folgt der gesteuerten App; Focus Calling Terminal kehrt zum aufrufenden Terminal zurück. Dadurch wird die Automatisierung nicht gestoppt. Beende die steuernde Sitzung über die Stopp-Aktion im Menü.

Deaktiviere Computer Use in den Einstellungen. Um die Werkzeuge bei einem neuen Agentenstart auszuschließen, setze vorher CMUX\_COMPUTER\_USE\_MCP\_DISABLED=1.

## Skills

Der Skill cmux-cua erklärt den Ablauf aus Prüfen und Handeln. Er ist optional und erteilt keine macOS-Berechtigungen. Für eine dauerhafte Installation nutze den Skill-Installer deines Agenten; cmux installiert standardmäßig keine globalen Skills.

[Den Skill cmux-cua lesen](https://github.com/manaflow-ai/cmux/blob/main/skills/cmux-cua/SKILL.md)

## Native Apps und Browser-Automatisierung

Computer Use steuert native Mac-Fenster über Screenshots und Bedienungshilfen. Für cmux-Browserbereiche verwende cmux browser für DOM-Schnappschüsse, Selektoren, Formulare und JavaScript. Eine Browser-Surface-Referenz ist kein nativer App-Elementindex.

[Referenz zur Browser-Automatisierung](https://cmux.com/de/docs/browser-automation)

## Fehlerbehebung

### Der Agent hat keine Computer-Use-Werkzeuge

Aktiviere Computer Use in cmux und starte darin eine neue Claude-Code- oder Codex-Sitzung. Bestehende Sitzungen behalten möglicherweise ihre ursprünglichen Werkzeuge. Prüfe, ob eine Umgebungsvariable oder Verwaltungsrichtlinie Computer Use deaktiviert.

### Einrichtung unvollständig, Klicks erfolglos oder Screenshots leer

Öffne Einstellungen → Computer Use erneut und schließe beide Berechtigungsschritte samt zusätzlicher Aufnahmebestätigung ab. Versuche es danach erneut. Muss der Helfer neu starten, können deine Terminalsitzungen geöffnet bleiben.

### Falsches Fenster oder blockierter Klick

Untersuche die App erneut und wähle ein aktuelles Element. Verdeckt ein anderes Fenster das Ziel, mache das gewünschte Fenster sichtbar und prüfe es vor dem nächsten Versuch. Verwende keine veralteten Koordinaten oder Elementindizes.

[Übersicht zu cmux Computer Use](https://cmux.com/de/cua)

Canonical: https://cmux.com/de/docs/computer-use

Documentation index: https://cmux.com/llms.txt