สร้าง Voice Agent ที่ทรงพลังยิ่งขึ้นด้วย Gemini Live API

เราได้ปรับปรุงการเรียกฟังก์ชัน (function calling) อย่างมีนัยสำคัญ และเพิ่มความสามารถด้านเสียงเชิงรุกใน Live API เพื่อจัดการกับการขัดจังหวะ การหยุดชั่วคราว และการสนทนาข้างเคียงได้อย่างเป็นธรรมชาติ

Ivan Solovyev

, ผู้จัดการผลิตภัณฑ์, Google DeepMind

Valeria Wu

, ผู้จัดการผลิตภัณฑ์, Google DeepMind

Mingqiu Wang

, วิศวกร, Google DeepMind

วันนี้เรารู้สึกตื่นเต้นที่จะประกาศการอัปเดตครั้งสำคัญสำหรับ Live API ใน Gemini API ซึ่งมาพร้อมกับโมเดลเสียงแบบเนทีฟใหม่ ที่พร้อมให้ทดลองใช้งานแล้ว ตอนนี้ การอัปเดตนี้ถูกออกแบบมาเพื่อช่วยให้คุณสร้างเอเจนต์เสียงที่เชื่อถือได้ ตอบสนอง และฟังดูเป็นธรรมชาติมากยิ่งขึ้น

สำหรับการเปิดตัวโมเดลนี้ เราได้มุ่งเน้นไปที่สองด้านหลัก:

การเรียกฟังก์ชันที่แข็งแกร่งยิ่งขึ้น: ทำให้เอเจนต์ของคุณเชื่อมต่อกับข้อมูลภายนอกและบริการต่างๆ ได้อย่างน่าเชื่อถือมากขึ้น
การสนทนาที่เป็นธรรมชาติยิ่งขึ้น: ทำให้มั่นใจว่าการโต้ตอบมีความเป็นธรรมชาติมากขึ้น ด้วยความเข้าใจบริบทและการกลับมาสนทนาต่อได้อย่างราบรื่นเมื่อถูกขัดจังหวะหรือหยุดชั่วคราว

การเพิ่มความน่าเชื่อถือครั้งสำคัญ

ประสบการณ์เอเจนต์เสียงที่ทรงพลังและน่าสนใจที่สุดจะเกิดขึ้นได้เมื่อพวกเขาสามารถเชื่อมต่อกับข้อมูลภายนอกและบริการได้อย่างน่าเชื่อถือ ช่วยให้ผู้ใช้เข้าถึงข้อมูลแบบเรียลไทม์ จองนัดหมาย หรือทำธุรกรรมต่างๆ ให้สำเร็จ นี่คือจุดที่การเรียกฟังก์ชันเข้ามามีบทบาท เนื่องจากลักษณะเรียลไทม์ของการโต้ตอบด้วยเสียง จึงไม่มีเวลาให้ลองใหม่หากคำขอล้มเหลว ทำให้ความน่าเชื่อถือของการเรียกฟังก์ชันมีความสำคัญอย่างยิ่ง

เพื่อให้เห็นว่าความน่าเชื่อถือที่ดีขึ้นนี้เป็นอย่างไรในทางปฏิบัติ ต่อไปนี้เป็นตัวอย่างการทำงานแบบรวดเร็ว:

การเรียกฟังก์ชันที่เชื่อถือได้มากขึ้น

โมเดลใหม่นี้สามารถระบุฟังก์ชันที่ถูกต้องในการเรียกได้ดีขึ้นอย่างเห็นได้ชัด รู้ว่าเมื่อใดไม่ควรเรียกฟังก์ชัน และยึดตาม schema ของเครื่องมือที่ให้ไว้อย่างสม่ำเสมอ เกณฑ์มาตรฐานภายในของเราแสดงให้เห็นถึงการปรับปรุงที่ชัดเจนในความแม่นยำของการเรียกฟังก์ชัน (เช่น โมเดลระบุและเรียกฟังก์ชันได้ถูกต้อง รวมถึงในสถานการณ์ที่ซับซ้อนที่มีฟังก์ชันที่ใช้งานอยู่ 10 ฟังก์ชันขึ้นไป) เมื่อเทียบกับเวอร์ชันก่อนหน้า ความสำเร็จในการเรียกฟังก์ชันเพิ่มขึ้น 2 เท่า ในการทดสอบแบบเรียกครั้งเดียว และ 1.5 เท่า ในการทดสอบที่มีการเรียก 5 ถึง 10 ครั้ง การเพิ่มความน่าเชื่อถือนี้คือก้าวสำคัญสำหรับแอปพลิเคชันเสียง และเรายังคงปรับปรุงความน่าเชื่อถืออย่างต่อเนื่อง โดยเฉพาะสำหรับสถานการณ์แบบหลายรอบ ตามคำติชมของนักพัฒนา

ทดสอบการปรับปรุงการเรียกฟังก์ชันของโมเดลได้กับ แอปนี้ ใน Google AI Studio

ผลลัพธ์จากการทดสอบบน Google AI Studio และ Vertex AI

การสนทนาที่เป็นธรรมชาติยิ่งขึ้น

นอกจากนี้เรายังได้เพิ่มความสามารถด้านเสียงเชิงรุกมากขึ้นเพื่อให้การโต้ตอบรู้สึกเป็นธรรมชาติมากขึ้น โมเดลตอนนี้จะไม่สนใจเสียงพูดที่ไม่เกี่ยวข้องกับการสนทนาที่กำลังดำเนินอยู่ และยังเข้าใจการหยุดชั่วคราวและการถูกขัดจังหวะจากผู้ใช้ได้ดีขึ้นอย่างเห็นได้ชัด

ลองนึกภาพว่าคุณกำลังคุยกับเอเจนต์เสียง และมีคนเดินเข้ามาในห้องเพื่อถามคำถามสั้นๆ โมเดลสามารถหยุดการสนทนาชั่วคราวได้อย่างราบรื่น โดยไม่สนใจเสียงพูดข้างเคียง และกลับมาสนทนาต่อได้ทันทีเมื่อคุณพร้อม

การจดจำการสนทนาที่เป็นพื้นหลังได้ดีขึ้น

ในทำนองเดียวกัน โมเดลสามารถเข้าใจจังหวะการสนทนาได้ดีขึ้น รับรู้บริบทของคำพูดของคุณ และปรับตามการหยุดของคุณ ไม่ว่าคุณจะใช้เวลาครู่หนึ่งในการเรียบเรียงความคิดที่ซับซ้อน หรือแค่พูดแบบสบายๆ ในการประเมินภายในของเรา จำนวนครั้งที่โมเดลขัดจังหวะผู้ใช้เมื่อพวกเขาไม่ได้พูดลดลงอย่างมากเมื่อเทียบกับโมเดลก่อนหน้า การปรับปรุงเหล่านี้เกิดขึ้นโดยอัตโนมัติ โดยไม่ต้องตั้งค่าเพิ่มเติม ทำให้การสนทนาลื่นไหลมากขึ้น

การจัดการกับการหยุดชั่วคราวตามธรรมชาติในการสนทนาอย่างราบรื่น

การอัปเดตนี้ยังนำมาซึ่งการปรับปรุงที่สำคัญในความแม่นยำในการตรวจจับการขัดจังหวะ โดยลดจำนวนครั้งที่โมเดลไม่รู้จักเมื่อผู้ใช้ขัดจังหวะได้อย่างเห็นได้ชัด

0:32

การตรวจจับการขัดจังหวะที่ดีขึ้นอย่างมีนัยสำคัญ

การตอบสนองที่ชาญฉลาดยิ่งขึ้นด้วยความสามารถในการ "คิด"

ตามหลังการเปิดตัวนี้ สัปดาห์หน้าเราจะเปิดตัวการสนับสนุนความสามารถในการ "คิด" ซึ่งคล้ายกับที่มีใน Gemini 2.5 Flash และ Pro เราตระหนักดีว่าไม่ใช่ทุกคำถามที่จะสามารถหรือควรได้รับการตอบทันที สำหรับคำถามที่ซับซ้อนซึ่งจำเป็นต้องใช้เหตุผลเชิงลึกมากขึ้น คุณจะสามารถตั้งค่า "งบประมาณการคิด" (thinking budget) เพื่อให้โมเดลใช้เวลาสักครู่ในการประมวลผลคำขออย่างละเอียดมากขึ้น ในระหว่างกระบวนการคิด โมเดลจะส่งสรุปข้อความของสิ่งที่มันคิดกลับมา

Live API ในโลกแห่งความเป็นจริง

เราได้ทำงานอย่างใกล้ชิดกับพาร์ทเนอร์ที่เข้าถึงได้ก่อนใครของเราเพื่อทดสอบและปรับปรุงความสามารถของ API และเกือบทั้งหมดรายงานผลลัพธ์เชิงบวกจากการทดสอบโมเดลล่าสุด

ตัวอย่างเช่น Ava ระบบปฏิบัติการครอบครัวที่ขับเคลื่อนด้วย AI ใช้ Live API เพื่อทำหน้าที่เป็น "COO ของครัวเรือน" Ava ประมวลผลข้อมูลอินพุตในโลกแห่งความจริงที่ยุ่งเหยิง เช่น อีเมลจากโรงเรียน PDF และบันทึกเสียง แล้วแปลงเป็นกิจกรรมต่างๆ เช่น ปฏิทินกิจกรรม

"ความสามารถในการมีการแชทด้วยเสียงแบบ two-way ที่เป็นธรรมชาติเป็นข้อกำหนดที่ขาดไม่ได้" Joe Alicata ผู้ร่วมก่อตั้งและ CTO ของ Ava กล่าว "การปรับปรุงความแม่นยำของการเรียกฟังก์ชันของโมเดลล่าสุดเป็นตัวเปลี่ยนเกม เราพบว่าความแม่นยำในครั้งแรกบนข้อมูลอินพุตที่มีเสียงรบกวนสูงขึ้น และลดการแก้ไข prompt แบบเปราะบางลง ซึ่งทำให้ทีมเล็กๆ ของเราสามารถส่งมอบผลิตภัณฑ์ multimodal ที่เชื่อถือได้และมีเอเจนซี่ได้รวดเร็วยิ่งขึ้น"

เริ่มต้นใช้งานวันนี้

คุณสามารถเริ่มสร้างด้วย Live API ได้ทันที:

python

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """คุณคือผู้ช่วย AI ที่เป็นมิตรและช่วยเหลือดี
10น้ำเสียงเริ่มต้นของคุณคือช่วยเหลือดี มีส่วนร่วม และชัดเจน พร้อมด้วยความเฉลียวฉลาดที่มองโลกในแง่ดี
11คาดการณ์ความต้องการของผู้ใช้โดยการถามคำถามที่ไม่ชัดเจน และสรุปคำตอบของคุณด้วยคำถามติดตามผลที่มีส่วนร่วมเสมอเพื่อให้การสนทนาดำเนินต่อไป"""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # รับข้อมูลเสียง เช่น จากไมโครโฟน
22        audio_bytes = record_audio()
23
24        # ส่งข้อมูลเสียง
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # รับการตอบกลับ
30        async for response in session.receive():
31            if response.data is not None:
32                # เล่นเสียง...
33
34if __name__ == "__main__":
35    asyncio.run(main())

ไปที่ เอกสาร Live API เพื่อเรียนรู้เพิ่มเติม และค้นหาตัวอย่างโค้ดแบบ end-to-end ได้ใน cookbooks

เราเชื่อว่าการอัปเดตเหล่านี้จะปลดล็อกความเป็นไปได้ใหม่ๆ ในการสร้างประสบการณ์เสียงที่ทรงพลังและใช้งานง่าย และเราจะมีอะไรอีกมากมายที่จะแบ่งปันเกี่ยวกับ Live API ในเร็วๆ นี้ ขอให้สนุกกับการสร้าง!