cmux Computer Use

ให้เอเจนต์เขียนโค้ด AI ใช้แอปเนทีฟบน Mac ด้วย cmux Computer Use เพื่ออ่านหน้าจอแอป ถ่ายภาพหน้าจอ คลิกปุ่ม และพิมพ์ข้อความ

เอเจนต์ที่รองรับ

เครื่องมือ Computer Use สำหรับแอปเนทีฟจะเชื่อมต่ออัตโนมัติกับเซสชัน Claude Code และ Codex ที่เริ่มใน cmux เอเจนต์อื่นทำงานในเทอร์มินัลได้ แต่ยังไม่ได้รับการเชื่อมต่อควบคุม Mac แบบอัตโนมัตินี้

เริ่มต้นใช้งาน

1. ติดตั้งและเปิด cmux สำหรับ Mac เปิด Computer Use ในการตั้งค่า → Computer Use
2. ใช้ปุ่มสิทธิ์เพื่ออนุญาตการช่วยการเข้าถึงและการบันทึกหน้าจอให้ cmux Computer Use ในการตั้งค่าระบบ หากไม่พบโปรแกรมช่วยในรายการ ให้เพิ่มหรือลากไอคอนแอปไปยังแผงสิทธิ์
3. เริ่มเซสชัน Claude Code หรือ Codex ใหม่ใน cmux ขอให้ใช้ Computer Use พร้อมระบุแอปและงาน เครื่องมือจะเชื่อมต่ออัตโนมัติโดยไม่ต้องตั้งค่า MCP เอง

คัดลอกพรอมต์ Computer Use

ใช้สกิล $cmux-cua หากไม่มีให้ติดตั้งด้วยตัวติดตั้งสกิลตามปกติ หากขาดสิทธิ์ให้บอกฉันเปิดการตั้งค่า cmux → Computer Use ตรวจสอบก่อนทำและยืนยันหลังทุกการเปลี่ยนแปลง

งาน: [อธิบายงานที่นี่]

สิทธิ์และการตั้งค่า

การช่วยการเข้าถึงอนุญาตให้อ่านและโต้ตอบกับหน้าจอแอป ส่วนการบันทึกหน้าจอใช้ถ่ายภาพหน้าจอ ให้สิทธิ์ทั้งสองแก่ cmux Computer Use การเปิด cmux หรือเริ่มเอเจนต์ไม่ใช่การให้สิทธิ์และจะไม่เปิดหน้าตั้งค่าโดยอัตโนมัติ

สิทธิ์ของ Computer Use จัดการโดยโปรแกรมช่วยแยกต่างหาก เซสชันเทอร์มินัลจึงเปิดค้างไว้ได้ระหว่างการตั้งค่าเริ่มต้น

บน macOS Tahoe ต้องยืนยันการจับภาพหน้าจอเพิ่มเติมระหว่างตั้งค่าด้วย รอจน cmux แสดงว่าได้รับสิทธิ์ทั้งสองก่อนลองงานอีกครั้ง

ลองใช้กับเครื่องคิดเลข

ใช้ cmux Computer Use เปิดเครื่องคิดเลข คลิก 100 + 105 แล้วแสดงผลลัพธ์ให้ฉันดู

ตรวจสอบเป้าหมายก่อน ใช้ตัวควบคุมจากภาพสถานะปัจจุบัน แล้วตรวจสอบผลอีกครั้ง ดัชนีองค์ประกอบใช้ได้กับภาพสถานะนั้นเท่านั้น ต้องอ่านใหม่หลังเปลี่ยนหน้าหรือเค้าโครง การตอบรับว่าคลิกสำเร็จอย่างเดียวไม่ได้ยืนยันว่างานเสร็จแล้ว

เครื่องมือเอเจนต์

cmux-cua คือเซิร์ฟเวอร์ MCP ที่มาพร้อมแอปและให้เครื่องมือแบบมีโครงสร้างสำหรับควบคุมแอปเนทีฟ รายการนี้เป็นชื่อเครื่องมือ ไม่ใช่คำสั่งเชลล์ อาร์กิวเมนต์ขึ้นอยู่กับโปรไฟล์เอเจนต์ ให้ใช้สคีมาที่มีในเซสชัน

Codex

Codex เรียก get_app_state ด้วยชื่อแอปหรือรหัสบันเดิลเพื่อรับภาพหน้าจอและโครงสร้างการช่วยการเข้าถึง ใช้ element_index ปัจจุบันหรือพิกัดในภาพ แล้วเรียก get_app_state อีกครั้ง เครื่องมือที่มี:

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code

Claude Code ใช้ list_apps และ list_windows หาเป้าหมาย แล้วใช้ get_window_state กับ pid และ window_id ควรใช้โทเคนองค์ประกอบหรือดัชนีล่าสุด โปรไฟล์เนทีฟยังมี perform_actions สำหรับกลุ่มการกระทำที่ไม่ทำให้เป้าหมายถัดไปใช้ไม่ได้

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

ติดตามและหยุด Computer Use

Computer Use บนแถบเมนูแสดงเอเจนต์ที่ทำงานอยู่ Focus Computer Use ติดตามแอปที่ควบคุม ส่วน Focus Calling Terminal กลับไปเทอร์มินัลต้นทางโดยไม่หยุดงานอัตโนมัติ ใช้คำสั่งหยุดในเมนูเพื่อจบเซสชันควบคุม

ปิด Computer Use ในการตั้งค่า หากต้องการไม่ให้เอเจนต์ใหม่มีเครื่องมือเหล่านี้ ให้ตั้ง CMUX_COMPUTER_USE_MCP_DISABLED=1 ก่อนเริ่มเอเจนต์

สกิล

สกิล cmux-cua อธิบายขั้นตอนตรวจสอบและลงมือทำ เป็นตัวเลือกเสริมและไม่ให้สิทธิ์ macOS หากต้องการติดตั้งถาวร ให้ใช้ตัวติดตั้งสกิลของเอเจนต์ cmux จะไม่ติดตั้งสกิลส่วนกลางตามค่าเริ่มต้น

อ่านสกิล cmux-cua

แอปเนทีฟและระบบอัตโนมัติในเบราว์เซอร์

Computer Use ควบคุมหน้าต่าง Mac ผ่านภาพหน้าจอและการช่วยการเข้าถึง สำหรับแผงเบราว์เซอร์ cmux ให้ใช้ cmux browser กับภาพสถานะ DOM ตัวเลือกองค์ประกอบ แบบฟอร์ม และ JavaScript การอ้างอิงพื้นผิวเบราว์เซอร์ต่างจากดัชนีองค์ประกอบแอปเนทีฟ

คู่มือคำสั่งเบราว์เซอร์อัตโนมัติ

การแก้ปัญหา

เอเจนต์ไม่มีเครื่องมือ Computer Use

เปิด Computer Use แล้วเริ่มเซสชัน Claude Code หรือ Codex ใหม่ใน cmux เซสชันเดิมอาจยังใช้ชุดเครื่องมือเก่า ตรวจสอบว่าตัวแปรสภาพแวดล้อมหรือนโยบายที่จัดการไม่ได้ปิดฟังก์ชันนี้

ตั้งค่าไม่ครบ คลิกไม่สำเร็จ หรือภาพหน้าจอว่าง

เปิดการตั้งค่า → Computer Use อีกครั้ง ทำขั้นตอนสิทธิ์ทั้งสองและการยืนยันจับภาพเพิ่มเติมให้ครบ แล้วลองใหม่ หากต้องเริ่มโปรแกรมช่วยใหม่ เทอร์มินัลยังเปิดไว้ได้

เลือกหน้าต่างผิดหรือคลิกถูกบล็อก

ตรวจสอบแอปอีกครั้งและเลือกองค์ประกอบจากสถานะปัจจุบัน หากหน้าต่างอื่นบังเป้าหมาย ให้แสดงหน้าต่างที่ต้องการแล้วตรวจสอบก่อนลองใหม่ อย่าใช้พิกัดหรือดัชนีเก่าซ้ำ

ภาพรวม cmux Computer Use