โมเดล Computer Use ของเราเป็นโมเดลเฉพาะทางที่สร้างขึ้นจากความสามารถของ Gemini 2.5 Pro เพื่อขับเคลื่อนเอเจนต์ที่สามารถโต้ตอบกับอินเทอร์เฟซผู้ใช้ โดยให้ใช้งานในรูปแบบพรีวิวผ่าน Gemini API ใน Google AI Studio และ Vertex AI
เมื่อต้นปีนี้ เรา ได้กล่าวถึง ว่าเรากำลังนำความสามารถในการควบคุมคอมพิวเตอร์มาให้นักพัฒนาผ่าน Gemini API วันนี้ เรากำลังปล่อย โมเดล Gemini 2.5 Computer Use ซึ่งเป็นโมเดลเฉพาะทางใหม่ของเราที่สร้างขึ้นจากความสามารถในการเข้าใจภาพและเหตุผลของ Gemini 2.5 Pro ที่ขับเคลื่อนเอเจนต์ที่สามารถโต้ตอบกับอินเทอร์เฟซผู้ใช้ (UI) ได้ มีประสิทธิภาพดีกว่าตัวเลือกชั้นนำในหลายเกณฑ์มาตรฐานการควบคุมเว็บและมือถือ โดยมีความหน่วงต่ำกว่า นักพัฒนาสามารถเข้าถึงความสามารถเหล่านี้ผ่าน Gemini API ใน Google AI Studio และ Vertex AI
ในขณะที่โมเดล AI สามารถเชื่อมต่อกับซอฟต์แวร์ผ่าน API ที่มีโครงสร้าง แต่ภารกิจดิจิทัลจำนวนมากยังคงต้องการการโต้ตอบโดยตรงกับอินเทอร์เฟซผู้ใช้แบบกราฟิก เช่น การกรอกและส่งแบบฟอร์ม เพื่อทำงานเหล่านี้ให้สำเร็จ เอเจนต์ต้องนำทางเว็บเพจและแอปพลิเคชันเหมือนกับที่มนุษย์ทำ: โดยการคลิก พิมพ์ และเลื่อน ความสามารถในการกรอกแบบฟอร์มโดยตรง จัดการองค์ประกอบแบบโต้ตอบ เช่น เมนูแบบเลื่อนลงและตัวกรอง และทำงานหลังการเข้าสู่ระบบ ถือเป็นก้าวสำคัญถัดไปในการสร้างเอเจนต์ที่ทรงพลังและใช้งานทั่วไป
วิธีการทำงาน
ความสามารถหลักของโมเดลถูกเปิดเผยผ่านเครื่องมือ computer_use ใหม่ใน Gemini API และควรทำงานภายในลูป อินพุตของเครื่องมือคือคำขอของผู้ใช้ ภาพหน้าจอของสภาพแวดล้อม และประวัติการกระทำล่าสุด อินพุตยังสามารถระบุว่าจะยกเว้นฟังก์ชันจาก รายการฟังก์ชัน UI ที่รองรับทั้งหมด หรือระบุฟังก์ชันที่กำหนดเองเพิ่มเติมที่จะรวมเข้าไป
ขั้นตอนการทำงานของโมเดล Gemini 2.5 Computer Use
จากนั้นโมเดลจะวิเคราะห์อินพุตเหล่านี้และสร้างการตอบสนอง ซึ่งโดยทั่วไปคือการเรียกใช้ฟังก์ชันที่แทนการกระทำ UI หนึ่งอย่าง เช่น การคลิกหรือการพิมพ์ การตอบสนองนี้อาจมีคำขอให้ผู้ใช้ยืนยัน ซึ่งจำเป็นสำหรับการกระทำบางอย่าง เช่น การซื้อสินค้า จากนั้นโค้ดฝั่งไคลเอ็นต์จะดำเนินการตามการกระทำที่ได้รับ
หลังจากดำเนินการแล้ว ภาพหน้าจอใหม่ของ GUI และ URL ปัจจุบันจะถูกส่งกลับไปยังโมเดล Computer Use เป็นการตอบสนองของฟังก์ชันเพื่อเริ่มลูปใหม่ กระบวนการวนซ้ำนี้จะดำเนินต่อไปจนกว่างานจะเสร็จสมบูรณ์ เกิดข้อผิดพลาด หรือการโต้ตอบถูกยกเลิกโดยการตอบสนองด้านความปลอดภัยหรือการตัดสินใจของผู้ใช้
โมเดล Gemini 2.5 Computer Use ได้รับการปรับให้เหมาะสมสำหรับเว็บเบราว์เซอร์เป็นหลัก แต่ยังแสดงให้เห็นถึงศักยภาพที่แข็งแกร่งสำหรับงานควบคุม UI บนมือถือ ยังไม่ได้รับการปรับให้เหมาะสมสำหรับการควบคุมในระดับระบบปฏิบัติการเดสก์ท็อป
ดูตัวอย่างบางส่วนด้านล่างเพื่อเห็นการทำงานของโมเดล (แสดงที่นี่ที่ความเร็ว 3 เท่า)
พรอมต์:
“จาก
ให้ดึงรายละเอียดทั้งหมดของสัตว์เลี้ยงใดๆ ที่มีถิ่นที่อยู่ในแคลิฟอร์เนีย และเพิ่มพวกเขาเป็นแขกใน CRM สปาของฉันที่
จากนั้น จัดการนัดหมายติดตามผลกับผู้เชี่ยวชาญ Anima Lavar ในวันที่ 10 ตุลาคม หลังจากเวลา 8.00 น. เป็นต้นไป เหตุผลในการนัดหมายคือการรักษาตามที่ร้องขอ”
พรอมต์: “
ชมรมศิลปะของฉันระดมความคิดเกี่ยวกับงานก่อนงานแสดงสินค้าของเรา กระดานยุ่งเหยิงและฉันต้องการความช่วยเหลือจากคุณในการจัดระเบียบงานเป็นหมวดหมู่ที่ฉันสร้างขึ้น ไปที่
และตรวจสอบให้แน่ใจว่าโน้ตอยู่ในส่วนที่ถูกต้องอย่างชัดเจน ถ้าไม่ ให้ลากไปที่นั่น”
0:34
ประสิทธิภาพ
โมเดล Gemini 2.5 Computer Use แสดงประสิทธิภาพที่แข็งแกร่งในเกณฑ์มาตรฐานการควบคุมเว็บและมือถือหลายรายการ ตารางด้านล่างรวมผลลัพธ์จากตัวเลขที่รายงานด้วยตนเอง การประเมินโดย Browserbase และการประเมินที่เราดำเนินการเอง รายละเอียดการประเมินมีอยู่ใน Gemini 2.5 Computer Use System Card และใน บล็อกโพสต์ของ Browserbase เว้นแต่จะระบุไว้เป็นอย่างอื่น คะแนนที่แสดงเป็นของเครื่องมือ computer use ที่เปิดผ่าน API
Gemini 2.5 Computer Use มีประสิทธิภาพดีกว่าตัวเลือกชั้นนำในหลายเกณฑ์มาตรฐาน
Gemini 2.5 Computer Use ให้ความแม่นยำสูงในขณะที่รักษาความหน่วงต่ำ
แนวทางด้านความปลอดภัย
เราเชื่อว่าวิธีเดียวที่จะสร้างเอเจนต์ที่เป็นประโยชน์ต่อทุกคนคือการมีความรับผิดชอบตั้งแต่เริ่มต้น เอเจนต์ AI ที่ควบคุมคอมพิวเตอร์นำมาซึ่งความเสี่ยงเฉพาะตัว รวมถึงการใช้ในทางที่ผิดโดยเจตนาจากผู้ใช้ พฤติกรรมที่ไม่ได้คาดคิดของโมเดล และการฉีดพรอมต์และการหลอกลวงในสภาพแวดล้อมเว็บ ดังนั้นจึงเป็นสิ่งสำคัญที่จะใช้มาตรการป้องกันด้านความปลอดภัยอย่างระมัดระวัง
เราได้ฝึกฝนคุณสมบัติด้านความปลอดภัยลงในโมเดลโดยตรงเพื่อจัดการกับความเสี่ยงหลักสามประการนี้ (อธิบายไว้ใน Gemini 2.5 Computer Use System Card
นอกจากนี้ เรายังมีระบบควบคุมความปลอดภัยให้นักพัฒนา ซึ่งช่วยให้นักพัฒนาสามารถป้องกันไม่ให้โมเดลดำเนินการที่อาจมีความเสี่ยงสูงหรือเป็นอันตรายโดยอัตโนมัติ ตัวอย่างของการกระทำเหล่านี้รวมถึงการทำลายความสมบูรณ์ของระบบ การประนีประนอมความปลอดภัย การข้าม CAPTCHA หรือการควบคุมอุปกรณ์ทางการแพทย์ ระบบควบคุมประกอบด้วย:
- บริการความปลอดภัยแบบทีละขั้นตอน: บริการความปลอดภัยภายนอกโมเดลในเวลาอนุมานที่ประเมินแต่ละการกระทำที่โมเดลเสนอก่อนดำเนินการ
- คำแนะนำระบบ: นักพัฒนาสามารถระบุเพิ่มเติมว่าเอเจนต์จะปฏิเสธหรือขอให้ผู้ใช้ยืนยันก่อนดำเนินการที่มีความเสี่ยงสูงบางประเภท (ตัวอย่างใน เอกสารประกอบ
คำแนะนำเพิ่มเติมสำหรับนักพัฒนาเกี่ยวกับมาตรการด้านความปลอดภัยและแนวทางปฏิบัติที่ดีที่สุดสามารถพบได้ใน เอกสารประกอบ ของเรา แม้ว่ามาตรการเหล่านี้ได้รับการออกแบบมาเพื่อลดความเสี่ยง เราขอให้นักพัฒนาทุกคนทดสอบระบบของตนอย่างละเอียดก่อนเปิดตัว
ผู้ทดสอบในช่วงแรกใช้งานอย่างไร
ทีม Google ได้นำโมเดลไปใช้ในระบบผลิตสำหรับกรณีการใช้งานรวมถึงการทดสอบ UI ซึ่งสามารถทำให้การพัฒนาซอฟต์แวร์เร็วขึ้นอย่างมาก โมเดลเวอร์ชันต่างๆ ยังขับเคลื่อน Project Mariner, Firebase Testing Agent และความสามารถแบบเอเจนต์บางอย่างใน AI Mode in Search
ผู้ใช้จากโปรแกรมการเข้าถึงก่อนใครของเรายังได้ทดสอบโมเดลเพื่อขับเคลื่อนผู้ช่วยส่วนตัว ระบบอัตโนมัติของเวิร์กโฟลว์ และการทดสอบ UI และได้เห็นผลลัพธ์ที่แข็งแกร่ง ในคำพูดของพวกเขา:
“เวิร์กโฟลว์ของเราหลายอย่างต้องการการโต้ตอบกับอินเทอร์เฟซที่ออกแบบมาสำหรับมนุษย์ ซึ่งความเร็วเป็นสิ่งสำคัญมาก Gemini 2.5 Computer Use นำหน้าคู่แข่งอย่างมาก
มักจะเร็วกว่าและดีกว่าถึง 50%
เมื่อเทียบกับโซลูชันที่ดีที่สุดรองลงมาที่เราได้พิจารณา”
-
ซึ่งเป็นผู้ช่วย AI เชิงรุกใน iMessage, WhatsApp และ SMS พร้อมเวิร์กโฟลว์ของบุคคลที่สามและแบบเอเจนต์หลายรายการ
“เอเจนต์ของเราทำงานอัตโนมัติเต็มรูปแบบ ทำงานที่ความผิดพลาดเล็กน้อยในการรวบรวมและแยกวิเคราะห์ข้อมูลเป็นสิ่งที่ยอมรับไม่ได้ Gemini 2.5 Computer Use มีประสิทธิภาพดีกว่าโมเดลอื่นๆ ในการแยกวิเคราะห์บริบทในกรณีที่ซับซ้อนได้อย่างน่าเชื่อถือ
เพิ่มประสิทธิภาพสูงถึง 18%
ในการประเมินที่ยากที่สุดของเรา” —
ซึ่งเป็นเอเจนต์ AI แบบดรอปอิน
“เมื่อสคริปต์ทั่วไปพบความล้มเหลว โมเดลจะประเมินสถานะหน้าจอปัจจุบันและระบุการกระทำที่จำเป็นเพื่อให้เวิร์กโฟลว์สำเร็จโดยอัตโนมัติ การนำไปใช้นี้ตอนนี้
สามารถกู้คืนการทำงานที่ล้มเหลวได้สำเร็จมากกว่า 60%
(ซึ่งเคยใช้เวลาหลายวันในการแก้ไข)” —
ทีมแพลตฟอร์มการชำระเงินของ Google ซึ่งนำโมเดล Computer Use มาใช้เป็นกลไกสำรองเพื่อจัดการกับการทดสอบ UI แบบ end-to-end ที่เปราะบางซึ่งมีส่วนทำให้เกิดความล้มเหลวในการทดสอบทั้งหมด 25%
วิธีเริ่มต้นใช้งาน
เริ่มตั้งแต่วันนี้ โมเดลพร้อมใช้งานในรูปแบบพรีวิวสาธารณะ สามารถเข้าถึงได้ผ่าน Gemini API บน Google AI Studio และ Vertex AI
- ลองใช้ตอนนี้: ในสภาพแวดล้อมสาธิตที่โฮสต์โดย Browserbase
- เริ่มสร้าง: ศึกษา เอกสารอ้างอิง และ เอกสารประกอบ ของเรา (ดู เอกสาร Vertex AI สำหรับการใช้งานองค์กร) เพื่อเรียนรู้วิธีสร้างลูปเอเจนต์ของคุณเองในเครื่องด้วย Playwright หรือใน VM บนคลาวด์ด้วย Browserbase
- เข้าร่วมชุมชน: เราตื่นเต้นที่จะได้เห็นสิ่งที่คุณสร้าง แบ่งปันข้อเสนอแนะและช่วยชี้แนะแผนงานของเราใน ฟอรัมนักพัฒนา ของเรา
