cmux Computer Use

Yapay zekâ kodlama ajanlarına yerel Mac uygulamalarına erişim verin. cmux Computer Use ile arayüzleri okuyabilir, ekran görüntüsü alabilir, denetimlere tıklayabilir ve metin yazabilirler.

Desteklenen ajanlar

Yerel Computer Use araçları, cmux içinde başlatılan Claude Code ve Codex oturumlarına otomatik bağlanır. Diğer ajanlar terminalde çalışabilir, ancak bu otomatik Mac kontrolü entegrasyonunu henüz almaz.

Başlangıç

1. Mac için cmux’u yükleyip açın. Ayarlar → Computer Use altında Computer Use’u etkinleştirin.
2. İzin denetimlerini kullanarak Sistem Ayarları’nda cmux Computer Use’a Erişilebilirlik ve Ekran Kaydı izinlerini verin. Yardımcı listede yoksa uygulama kutucuğunu izin paneline ekleyin veya sürükleyin.
3. cmux içinde yeni bir Claude Code veya Codex oturumu başlatın. Computer Use kullanmasını isteyip uygulamayı ve görevi belirtin. Araçlar otomatik bağlanır; elle MCP yapılandırması gerekmez.

Computer Use istemini kopyala

Bu görevde $cmux-cua becerisini kullan. Yoksa normal yükleyiciyle kur. İzin yoksa cmux Ayarları → Computer Use’u açmamı iste. Önce incele ve her değişikliği doğrula.

Görev: [görevi buraya yaz]

İzinler ve kurulum

Erişilebilirlik, arayüzleri okumayı ve kullanmayı; Ekran Kaydı, ekran görüntüsü almayı sağlar. İkisini de cmux Computer Use’a verin. cmux’u açmak veya bir ajan başlatmak izin vermez ve kurulumu otomatik açmaz.

Computer Use izinlerini ayrı bir yardımcı uygulama yönetir; ilk kurulum sırasında terminal oturumlarınız açık kalır.

macOS Tahoe’da kurulum sırasındaki ek ekran yakalama onayını da kabul edin. Görevi yeniden denemeden önce cmux’un iki izni de verilmiş göstermesini bekleyin.

Hesap Makinesi ile deneyin

cmux Computer Use ile Hesap Makinesi’ni aç, 100 + 105 işlemini tıklayarak gir ve sonucu göster.

Önce hedefi inceleyin, o anlık görüntüdeki denetimlerle işlem yapın, sonra sonucu tekrar inceleyin. Öğe indeksleri yalnızca güncel görüntüye aittir; gezinme veya düzen değişikliklerinden sonra yenileyin. Tıklama onayı tek başına görevin bittiğini kanıtlamaz.

Ajan araçları

cmux-cua, yerel uygulama kontrolü için yapılandırılmış araçlar sunan yerleşik MCP sunucusudur. Bunlar kabuk komutları değil araç adlarıdır. Argümanlar ajan profiline bağlıdır; oturumdaki şemaları kullanın.

Codex

Codex, uygulama adı veya paket kimliğiyle get_app_state çağırarak ekran görüntüsü ve erişilebilirlik ağacı alır. Güncel element_index veya görüntü koordinatlarıyla işlem yapın, sonra get_app_state çağrısını yineleyin. Araçlar:

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code

Claude Code, list_apps ve list_windows ile hedef bulur; pid ve window_id ile get_window_state kullanır. Öğe belirteçlerini veya yeni indeksleri tercih edin. Yerel profil, sonraki hedefleri geçersiz kılmayan işlem grupları için perform_actions da sunar.

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

Computer Use’u izleme ve durdurma

Menü çubuğundaki Computer Use etkin ajanı gösterir. Focus Computer Use kontrol edilen uygulamayı izler; Focus Calling Terminal kaynak terminale döner. Terminale dönmek otomasyonu durdurmaz. Kontrol oturumunu sonlandırmak için menüdeki durdurma eylemini kullanın.

Ayarlar’dan Computer Use’u kapatın. Yeni bir ajan oturumundan araçları çıkarmak için başlamadan önce CMUX_COMPUTER_USE_MCP_DISABLED=1 ayarlayın.

Beceriler

cmux-cua becerisi inceleme ve işlem akışını açıklar. İsteğe bağlıdır ve macOS izni vermez. Kalıcı kurulum için ajanın beceri yükleyicisini kullanın; cmux varsayılan olarak genel beceriler yüklemez.

cmux-cua becerisini okuyun

Yerel uygulamalar ve tarayıcı otomasyonu

Computer Use, yerel Mac pencerelerini ekran görüntüleri ve erişilebilirlikle yönetir. cmux tarayıcı bölmelerinde DOM görüntüleri, seçiciler, formlar ve JavaScript için cmux browser kullanın. Tarayıcı yüzey referansı ile yerel uygulama öğe indeksi farklıdır.

Tarayıcı otomasyonu başvurusu

Sorun giderme

Ajanda Computer Use araçları yok

Computer Use’u etkinleştirip cmux içinde yeni bir Claude Code veya Codex oturumu başlatın. Mevcut oturumlar eski araç yapılandırmasını tutabilir. Ortam değişkenleri veya yönetim ilkeleriyle devre dışı bırakılmadığını kontrol edin.

Kurulum eksik, tıklamalar başarısız veya görüntüler boş

Ayarlar → Computer Use’u yeniden açıp ek yakalama onayları dahil iki izin adımını tamamlayın. Sonra tekrar deneyin. Yardımcı yeniden başlatılacaksa terminaller açık kalabilir.

Yanlış pencere veya engellenen tıklama

Uygulamayı tekrar inceleyip güncel durumdan bir öğe seçin. Başka pencere hedefi kapatıyorsa hedef pencereyi gösterip yeniden inceleyin. Eski koordinatları veya öğe indekslerini tekrar kullanmayın.

cmux Computer Use genel bakışı