자동화

cmux Computer Use

AI 코딩 에이전트에 Mac 네이티브 앱 접근 기능을 제공하세요. cmux Computer Use로 앱 인터페이스를 읽고, 스크린샷을 찍고, 컨트롤을 클릭하고, 텍스트를 입력할 수 있습니다.

지원되는 에이전트

네이티브 Computer Use 도구는 cmux 안에서 시작한 Claude Code와 Codex 세션에 자동 연결됩니다. 다른 에이전트도 터미널에서 실행할 수 있지만 이 자동 Mac 제어 통합은 아직 제공되지 않습니다.

시작하기

Mac용 cmux를 설치하고 여세요. 설정 → Computer Use에서 Computer Use를 활성화하세요.
권한 버튼을 통해 시스템 설정에서 cmux Computer Use에 손쉬운 사용 및 화면 기록 권한을 부여하세요. 도우미가 목록에 없으면 앱 타일을 권한 패널에 추가하거나 드래그하세요.
cmux 안에서 새 Claude Code 또는 Codex 세션을 시작하세요. Computer Use 사용을 요청하고 앱과 작업을 지정하세요. 도구는 자동 연결되며 MCP를 수동 설정할 필요가 없습니다.

Computer Use 프롬프트 복사

이 작업에는 $cmux-cua 스킬을 사용하세요. 없으면 평소 스킬 설치 도구로 설치하세요. 권한이 없으면 cmux 설정 → Computer Use를 열라고 알려 주세요. 먼저 확인하고 변경 후마다 검증하세요.

작업: [여기에 작업 설명]

권한과 설정

손쉬운 사용 권한은 앱 인터페이스 읽기와 조작을, 화면 기록 권한은 스크린샷 캡처를 허용합니다. 두 권한 모두 cmux Computer Use에 부여하세요. cmux나 에이전트를 시작하는 것만으로 권한이 부여되거나 설정이 자동으로 열리지 않습니다.

Computer Use 권한은 별도 도우미가 관리하므로 초기 설정 중에도 터미널 세션이 열린 상태로 유지됩니다.

macOS Tahoe에서는 설정 중 추가 화면 캡처 확인도 승인하세요. cmux에서 두 권한이 모두 허용된 것으로 표시된 뒤 작업을 다시 시도하세요.

계산기로 시험하기

cmux Computer Use로 계산기를 열고 100 + 105를 클릭해 입력한 다음 결과를 보여줘.

먼저 대상을 확인하고 해당 스냅샷의 컨트롤을 조작한 뒤 다시 확인해 결과를 검증하세요. 요소 인덱스는 현재 스냅샷에만 유효합니다. 탐색이나 레이아웃 변경 후에는 갱신하세요. 클릭 성공 응답만으로 작업 완료를 입증할 수는 없습니다.

에이전트 도구

cmux-cua는 네이티브 앱 제어용 구조화된 도구를 제공하는 내장 MCP 서버입니다. 아래는 셸 명령이 아닌 도구 이름입니다. 인수는 에이전트 프로필에 따라 다르므로 세션에 연결된 스키마를 확인하세요.

Codex

Codex는 앱 이름이나 번들 식별자로 get_app_state를 호출해 스크린샷과 손쉬운 사용 트리를 받습니다. 현재 element_index 또는 스크린샷 좌표로 동작한 뒤 get_app_state를 다시 호출하세요. 도구 목록:

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code

Claude Code는 list_apps와 list_windows로 대상을 찾고 pid 및 window_id로 get_window_state를 호출합니다. 요소 토큰이나 최신 인덱스를 우선 사용하세요. 네이티브 프로필은 이후 대상을 무효화하지 않는 동작 그룹에 perform_actions도 지원합니다.

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

Computer Use 따라가기 및 중지

메뉴 막대의 Computer Use 항목에 활성 에이전트가 표시됩니다. Focus Computer Use는 조작 중인 앱을 따라가고 Focus Calling Terminal은 원래 터미널로 돌아갑니다. 터미널로 돌아가도 자동화는 멈추지 않습니다. 제어 세션을 끝내려면 메뉴의 중지 동작을 사용하세요.

설정에서 Computer Use를 끄세요. 새 에이전트 세션에서 도구를 제외하려면 실행 전에 CMUX_COMPUTER_USE_MCP_DISABLED=1을 설정하세요.

스킬

cmux-cua 스킬은 관찰과 동작의 흐름을 설명합니다. 선택 사항이며 macOS 권한을 부여하지 않습니다. 영구 설치는 에이전트의 스킬 설치 도구를 사용하세요. cmux는 기본적으로 전역 스킬을 설치하지 않습니다.

cmux-cua 스킬 읽기

네이티브 앱과 브라우저 자동화

Computer Use는 스크린샷과 손쉬운 사용으로 Mac 네이티브 창을 조작합니다. cmux 브라우저 패널에서는 DOM 스냅샷, 선택자, 폼 및 JavaScript에 cmux browser 명령을 사용하세요. 브라우저 표면 참조와 네이티브 앱 요소 인덱스는 다릅니다.

브라우저 자동화 참고 문서

문제 해결

에이전트에 Computer Use 도구가 없음

cmux 설정에서 Computer Use를 활성화하고 cmux 안에서 새 Claude Code 또는 Codex 세션을 시작하세요. 기존 세션은 원래 도구 설정을 유지할 수 있습니다. 환경 변수나 관리 정책으로 비활성화되지 않았는지 확인하세요.

설정 미완료, 클릭 실패 또는 빈 스크린샷

설정 → Computer Use를 다시 열어 추가 캡처 확인을 포함한 두 권한 단계를 완료하세요. 완료 후 재시도하세요. 도우미를 재시작해야 해도 터미널 세션은 열어 둘 수 있습니다.

잘못된 창이 선택되거나 클릭이 차단됨

앱을 다시 확인하고 현재 상태에서 새 요소를 선택하세요. 다른 창이 대상을 가리면 원하는 창을 드러낸 뒤 다시 확인하세요. 오래된 좌표나 요소 인덱스를 재사용하지 마세요.

cmux Computer Use 개요

이 페이지가 도움이 되었나요?

이슈 등록