Xây dựng các tác nhân giọng nói mạnh mẽ hơn với Gemini Live API

Chúng tôi đã cải thiện đáng kể khả năng gọi hàm (function calling) và nâng cao khả năng âm thanh chủ động trong Live API để xử lý các gián đoạn, tạm dừng và cuộc trò chuyện bên lề một cách mượt mà.

Ivan Solovyev

, Quản lý Sản phẩm, Google DeepMind

Valeria Wu

, Quản lý Sản phẩm, Google DeepMind

Mingqiu Wang

, Kỹ sư, Google DeepMind

Hôm nay, chúng tôi vui mừng thông báo một bản cập nhật quan trọng cho Live API trong Gemini API, với một mô hình âm thanh gốc mới, hiện có sẵn ở chế độ xem trước. Bản cập nhật này được thiết kế để giúp bạn xây dựng các tác nhân giọng nói đáng tin cậy, phản hồi nhanh và nghe tự nhiên hơn.

Đối với bản phát hành mô hình này, chúng tôi đã tập trung vào hai lĩnh vực chính:

• Gọi hàm mạnh mẽ hơn: Giúp tác nhân của bạn kết nối với dữ liệu và dịch vụ bên ngoài một cách đáng tin cậy hơn.
• Cuộc trò chuyện tự nhiên hơn: Đảm bảo các tương tác trở nên trực quan hơn với khả năng hiểu ngữ cảnh tốt hơn và tiếp tục cuộc trò chuyện một cách tự nhiên trong trường hợp bị gián đoạn hoặc tạm dừng.

Cải Thiện Lớn Về Độ Tin Cậy

Những trải nghiệm tác nhân giọng nói mạnh mẽ và thú vị nhất được mở khóa khi chúng có thể kết nối đáng tin cậy với dữ liệu và dịch vụ bên ngoài—cho phép người dùng truy cập thông tin thời gian thực, đặt lịch hẹn hoặc hoàn tất giao dịch. Đây là lúc gọi hàm (function calling) phát huy tác dụng. Với tính chất thời gian thực của tương tác giọng nói, không có thời gian để thử lại một yêu cầu thất bại, do đó độ tin cậy của gọi hàm là cực kỳ quan trọng.

Để thấy độ tin cậy được cải thiện này trong thực tế, đây là bản demo nhanh về nó:

Gọi hàm đáng tin cậy hơn

Mô hình mới tốt hơn đáng kể trong việc xác định đúng chức năng cần gọi, biết khi nào không nên gọi một chức năng và tuân thủ nhất quán lược đồ công cụ được cung cấp. Các điểm chuẩn nội bộ của chúng tôi cho thấy sự cải thiện đáng kể về độ chính xác gọi hàm (ví dụ: mô hình xác định và gọi đúng một chức năng, bao gồm cả trong các tình huống phức tạp với 10 chức năng hoạt động trở lên). So với phiên bản trước, tỷ lệ thành công gọi hàm tăng 2x trong các bài kiểm tra một lần gọi và 1.5x trong các bài kiểm tra có từ 5 đến 10 lần gọi. Sự cải thiện về độ tin cậy này là một bước tiến lớn cho các ứng dụng giọng nói và chúng tôi đang tiếp tục cải thiện độ tin cậy, đặc biệt là cho các tình huống nhiều lượt, dựa trên phản hồi của nhà phát triển.

Hãy kiểm tra các cải tiến gọi hàm của mô hình với ứng dụng này trong Google AI Studio.

Kết quả dựa trên các bài kiểm tra chạy trên Google AI Studio và Vertex AI

Cuộc Trò Chuyện Tự Nhiên Hơn

Chúng tôi cũng đã bổ sung thêm các khả năng âm thanh chủ động để làm cho các tương tác trở nên tự nhiên hơn. Mô hình hiện có thể bỏ qua những cuộc nói chuyện không liên quan đến cuộc trò chuyện đang diễn ra và cũng hiểu rõ hơn đáng kể các khoảng dừng tự nhiên và sự gián đoạn của người dùng.

Hãy tưởng tượng bạn đang nói chuyện với một tác nhân giọng nói và ai đó bước vào phòng để hỏi bạn một câu nhanh. Mô hình bây giờ có thể tạm dừng cuộc trò chuyện một cách mượt mà, đồng thời bỏ qua những cuộc nói chuyện bên lề, và tiếp tục liền mạch khi bạn sẵn sàng tiếp tục.

Nhận diện tốt hơn các cuộc trò chuyện nền

Tương tự, mô hình hiện hiểu rõ hơn nhịp điệu hội thoại, nhận biết ngữ cảnh lời nói của bạn và thích ứng với các khoảng dừng của bạn—cho dù bạn đang dành một chút thời gian để diễn đạt một suy nghĩ phức tạp hay chỉ nói chuyện bình thường. Trong các đánh giá nội bộ của chúng tôi, số lần mô hình ngắt lời người dùng không đúng khi họ không nói đã giảm đáng kể so với mô hình trước. Những cải tiến này diễn ra tự động, không cần thiết lập thêm, làm cho cuộc trò chuyện trở nên linh hoạt hơn nhiều.

Xử lý mượt mà các khoảng dừng tự nhiên trong cuộc trò chuyện

Bản cập nhật này cũng mang lại những cải tiến đáng kể về độ chính xác phát hiện gián đoạn, giảm đáng kể số lần mô hình không nhận ra khi người dùng ngắt lời.

0:32

Phát hiện gián đoạn được cải thiện đáng kể

Phản Hồi Thông Minh Hơn Với Khả Năng "Suy Nghĩ"

Tiếp nối bản phát hành này, tuần tới chúng tôi sẽ triển khai hỗ trợ cho khả năng "suy nghĩ", tương tự như trong Gemini 2.5 Flash và Pro. Chúng tôi nhận thấy rằng không phải tất cả các câu hỏi đều có thể hoặc nên được trả lời ngay lập tức. Đối với các truy vấn phức tạp yêu cầu suy luận sâu hơn, bạn sẽ có thể đặt một "ngân sách suy nghĩ", cho phép mô hình dành vài khoảnh khắc để xử lý yêu cầu một cách kỹ lưỡng hơn. Là một phần của quá trình suy nghĩ, mô hình sẽ gửi lại một bản tóm tắt văn bản về suy nghĩ của nó.

Live API Trong Thực Tế

Chúng tôi đã hợp tác chặt chẽ với các đối tác truy cập sớm để thử nghiệm và cải thiện khả năng của API và hầu hết đều báo cáo kết quả tích cực từ việc thử nghiệm mô hình mới nhất.

Ví dụ, Ava, một hệ điều hành gia đình hỗ trợ AI, sử dụng Live API để hoạt động như một "COO gia đình". Ava xử lý các đầu vào thực tế lộn xộn như email trường học, PDF và ghi chú thoại, biến chúng thành các hành động như sự kiện lịch.

"Khả năng có cuộc trò chuyện thoại hai chiều tự nhiên là một yêu cầu khó," Joe Alicata, Đồng sáng lập và CTO của Ava, cho biết. "Những cải tiến của mô hình mới nhất về độ chính xác gọi hàm là một bước ngoặt. Chúng tôi thấy độ chính xác lần đầu cao hơn trên các đầu vào nhiễu và ít phải dùng các giải pháp tạm thời cho prompt hơn, điều này cho phép đội ngũ nhỏ của chúng tôi giao hàng một sản phẩm đa phương thức, đáng tin cậy và có tính tác nhân nhanh hơn nhiều."

Bắt Đầu Ngay Hôm Nay

Bạn có thể bắt đầu xây dựng với Live API ngay bây giờ:

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """Bạn là một trợ lý AI hữu ích và thân thiện.
10Giọng điệu mặc định của bạn là hữu ích, lôi cuốn, và rõ ràng, với một chút hóm hỉnh lạc quan.
11Hãy đoán trước nhu cầu của người dùng bằng cách làm rõ các câu hỏi mơ hồ và luôn kết thúc phản hồi của bạn bằng một câu hỏi tiếp theo hấp dẫn để duy trì cuộc trò chuyện."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Lấy dữ liệu âm thanh, ví dụ từ micro
22        audio_bytes = record_audio()
23
24        # Gửi âm thanh
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Nhận phản hồi
30        async for response in session.receive():
31            if response.data is not None:
32                # Phát âm thanh...
33
34if __name__ == "__main__":
35    asyncio.run(main())

Hãy truy cập tài liệu Live API để tìm hiểu thêm và xem các mẫu mã hoàn chỉnh trong cookbook.

Chúng tôi tin rằng những bản cập nhật này sẽ mở ra những khả năng mới để tạo ra các trải nghiệm giọng nói mạnh mẽ và trực quan, và chúng tôi sẽ sớm chia sẻ nhiều hơn nữa về Live API. Chúc bạn xây dựng vui vẻ!