# cmux Computer Use

ให้เอเจนต์เขียนโค้ด AI ใช้แอปเนทีฟบน Mac ด้วย cmux Computer Use เพื่ออ่านหน้าจอแอป ถ่ายภาพหน้าจอ คลิกปุ่ม และพิมพ์ข้อความ

## เอเจนต์ที่รองรับ

เครื่องมือ Computer Use สำหรับแอปเนทีฟจะเชื่อมต่ออัตโนมัติกับเซสชัน Claude Code และ Codex ที่เริ่มใน cmux เอเจนต์อื่นทำงานในเทอร์มินัลได้ แต่ยังไม่ได้รับการเชื่อมต่อควบคุม Mac แบบอัตโนมัตินี้

## เริ่มต้นใช้งาน

1.  ติดตั้งและเปิด cmux สำหรับ Mac เปิด Computer Use ในการตั้งค่า → Computer Use
2.  ใช้ปุ่มสิทธิ์เพื่ออนุญาตการช่วยการเข้าถึงและการบันทึกหน้าจอให้ cmux Computer Use ในการตั้งค่าระบบ หากไม่พบโปรแกรมช่วยในรายการ ให้เพิ่มหรือลากไอคอนแอปไปยังแผงสิทธิ์
3.  เริ่มเซสชัน Claude Code หรือ Codex ใหม่ใน cmux ขอให้ใช้ Computer Use พร้อมระบุแอปและงาน เครื่องมือจะเชื่อมต่ออัตโนมัติโดยไม่ต้องตั้งค่า MCP เอง

## คัดลอกพรอมต์ Computer Use

ใช้สกิล $cmux-cua หากไม่มีให้ติดตั้งด้วยตัวติดตั้งสกิลตามปกติ หากขาดสิทธิ์ให้บอกฉันเปิดการตั้งค่า cmux → Computer Use ตรวจสอบก่อนทำและยืนยันหลังทุกการเปลี่ยนแปลง

งาน: \[อธิบายงานที่นี่\]

## สิทธิ์และการตั้งค่า

การช่วยการเข้าถึงอนุญาตให้อ่านและโต้ตอบกับหน้าจอแอป ส่วนการบันทึกหน้าจอใช้ถ่ายภาพหน้าจอ ให้สิทธิ์ทั้งสองแก่ cmux Computer Use การเปิด cmux หรือเริ่มเอเจนต์ไม่ใช่การให้สิทธิ์และจะไม่เปิดหน้าตั้งค่าโดยอัตโนมัติ

สิทธิ์ของ Computer Use จัดการโดยโปรแกรมช่วยแยกต่างหาก เซสชันเทอร์มินัลจึงเปิดค้างไว้ได้ระหว่างการตั้งค่าเริ่มต้น

บน macOS Tahoe ต้องยืนยันการจับภาพหน้าจอเพิ่มเติมระหว่างตั้งค่าด้วย รอจน cmux แสดงว่าได้รับสิทธิ์ทั้งสองก่อนลองงานอีกครั้ง

## ลองใช้กับเครื่องคิดเลข

```
ใช้ cmux Computer Use เปิดเครื่องคิดเลข คลิก 100 + 105 แล้วแสดงผลลัพธ์ให้ฉันดู
```

ตรวจสอบเป้าหมายก่อน ใช้ตัวควบคุมจากภาพสถานะปัจจุบัน แล้วตรวจสอบผลอีกครั้ง ดัชนีองค์ประกอบใช้ได้กับภาพสถานะนั้นเท่านั้น ต้องอ่านใหม่หลังเปลี่ยนหน้าหรือเค้าโครง การตอบรับว่าคลิกสำเร็จอย่างเดียวไม่ได้ยืนยันว่างานเสร็จแล้ว

## เครื่องมือเอเจนต์

cmux-cua คือเซิร์ฟเวอร์ MCP ที่มาพร้อมแอปและให้เครื่องมือแบบมีโครงสร้างสำหรับควบคุมแอปเนทีฟ รายการนี้เป็นชื่อเครื่องมือ ไม่ใช่คำสั่งเชลล์ อาร์กิวเมนต์ขึ้นอยู่กับโปรไฟล์เอเจนต์ ให้ใช้สคีมาที่มีในเซสชัน

### Codex

Codex เรียก get\_app\_state ด้วยชื่อแอปหรือรหัสบันเดิลเพื่อรับภาพหน้าจอและโครงสร้างการช่วยการเข้าถึง ใช้ element\_index ปัจจุบันหรือพิกัดในภาพ แล้วเรียก get\_app\_state อีกครั้ง เครื่องมือที่มี:

```
list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text
```

### Claude Code

Claude Code ใช้ list\_apps และ list\_windows หาเป้าหมาย แล้วใช้ get\_window\_state กับ pid และ window\_id ควรใช้โทเคนองค์ประกอบหรือดัชนีล่าสุด โปรไฟล์เนทีฟยังมี perform\_actions สำหรับกลุ่มการกระทำที่ไม่ทำให้เป้าหมายถัดไปใช้ไม่ได้

```
list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state
```

## ติดตามและหยุด Computer Use

Computer Use บนแถบเมนูแสดงเอเจนต์ที่ทำงานอยู่ Focus Computer Use ติดตามแอปที่ควบคุม ส่วน Focus Calling Terminal กลับไปเทอร์มินัลต้นทางโดยไม่หยุดงานอัตโนมัติ ใช้คำสั่งหยุดในเมนูเพื่อจบเซสชันควบคุม

ปิด Computer Use ในการตั้งค่า หากต้องการไม่ให้เอเจนต์ใหม่มีเครื่องมือเหล่านี้ ให้ตั้ง CMUX\_COMPUTER\_USE\_MCP\_DISABLED=1 ก่อนเริ่มเอเจนต์

## สกิล

สกิล cmux-cua อธิบายขั้นตอนตรวจสอบและลงมือทำ เป็นตัวเลือกเสริมและไม่ให้สิทธิ์ macOS หากต้องการติดตั้งถาวร ให้ใช้ตัวติดตั้งสกิลของเอเจนต์ cmux จะไม่ติดตั้งสกิลส่วนกลางตามค่าเริ่มต้น

[อ่านสกิล cmux-cua](https://github.com/manaflow-ai/cmux/blob/main/skills/cmux-cua/SKILL.md)

## แอปเนทีฟและระบบอัตโนมัติในเบราว์เซอร์

Computer Use ควบคุมหน้าต่าง Mac ผ่านภาพหน้าจอและการช่วยการเข้าถึง สำหรับแผงเบราว์เซอร์ cmux ให้ใช้ cmux browser กับภาพสถานะ DOM ตัวเลือกองค์ประกอบ แบบฟอร์ม และ JavaScript การอ้างอิงพื้นผิวเบราว์เซอร์ต่างจากดัชนีองค์ประกอบแอปเนทีฟ

[คู่มือคำสั่งเบราว์เซอร์อัตโนมัติ](https://cmux.com/th/docs/browser-automation)

## การแก้ปัญหา

### เอเจนต์ไม่มีเครื่องมือ Computer Use

เปิด Computer Use แล้วเริ่มเซสชัน Claude Code หรือ Codex ใหม่ใน cmux เซสชันเดิมอาจยังใช้ชุดเครื่องมือเก่า ตรวจสอบว่าตัวแปรสภาพแวดล้อมหรือนโยบายที่จัดการไม่ได้ปิดฟังก์ชันนี้

### ตั้งค่าไม่ครบ คลิกไม่สำเร็จ หรือภาพหน้าจอว่าง

เปิดการตั้งค่า → Computer Use อีกครั้ง ทำขั้นตอนสิทธิ์ทั้งสองและการยืนยันจับภาพเพิ่มเติมให้ครบ แล้วลองใหม่ หากต้องเริ่มโปรแกรมช่วยใหม่ เทอร์มินัลยังเปิดไว้ได้

### เลือกหน้าต่างผิดหรือคลิกถูกบล็อก

ตรวจสอบแอปอีกครั้งและเลือกองค์ประกอบจากสถานะปัจจุบัน หากหน้าต่างอื่นบังเป้าหมาย ให้แสดงหน้าต่างที่ต้องการแล้วตรวจสอบก่อนลองใหม่ อย่าใช้พิกัดหรือดัชนีเก่าซ้ำ

[ภาพรวม cmux Computer Use](https://cmux.com/th/cua)

Canonical: https://cmux.com/th/docs/computer-use

Documentation index: https://cmux.com/llms.txt