Gemini Live API로 더 강력한 음성 에이전트 구축하기

Live API 의 기능 호출과 사전 대응 오디오 기능이 크게 개선되어 중단, 일시 정지, 옆에서 나는 소리 등도 자연스럽게 처리할 수 있게 되었습니다.

Ivan Solovyev

, Product Manager, Google DeepMind

Valeria Wu

, Product Manager, Google DeepMind

Mingqiu Wang

, Engineer, Google DeepMind

오늘, Gemini API 의 Live API 에 새로운 네이티브 오디오 모델이 포함된 중요한 업데이트를 발표하게 되어 기쁩니다. 이번 업데이트는 현재 프리뷰로 제공되며, 더욱 안정적이고 반응성이 뛰어나며 자연스러운 음성 에이전트를 구축할 수 있도록 설계되었습니다.

이번 모델 출시에서는 두 가지 핵심 영역에 집중했습니다.

• 더욱 강력해진 기능 호출: 에이전트가 외부 데이터 및 서비스에 더 안정적으로 연결할 수 있도록 합니다.
• 더욱 자연스러운 대화: 맥락을 더 잘 이해하고, 중단이나 일시 정지 시 대화를 자연스럽게 재개하여 상호작용이 더 직관적으로 느껴지도록 합니다.

신뢰성 대폭 향상

가장 강력하고 흥미로운 음성 에이전트 경험은 외부 데이터 및 서비스에 안정적으로 연결되어 사용자가 실시간 정보에 액세스하고, 약속을 예약하거나, 거래를 완료할 수 있을 때 실현됩니다. 바로 이 지점에서 기능 호출이 중요한 역할을 합니다. 음성 상호 작용의 실시간 특성상 실패한 요청을 재시도할 시간이 없기 때문에, 기능 호출의 신뢰성은 절대적으로 중요합니다.

이렇게 향상된 신뢰성이 실제로 어떻게 작동하는지 확인하려면, 다음의 간단한 데모를 확인해보세요.

더욱 안정적인 기능 호출

새로운 모델은 올바른 함수를 식별하고, 함수를 호출하지 말아야 할 시점을 인지하며, 제공된 도구 스키마를 일관되게 준수하는 능력이 크게 향상되었습니다. 내부 벤치마크에 따르면 기능 호출 정확도(예: 모델이 10개 이상의 활성 함수가 있는 복잡한 시나리오를 포함하여 함수를 올바르게 식별하고 호출하는 경우)가 극적으로 개선되었습니다. 이전 버전과 비교하여 단일 호출 테스트에서는 기능 호출 성공률이 2배, 5~10회 호출 테스트에서는 1.5배 증가했습니다. 이러한 신뢰성 향상은 음성 애플리케이션에 있어 큰 진전이며, 특히 개발자 피드백을 기반으로 다중 턴 시나리오에 대한 신뢰성을 지속적으로 개선해 나가고 있습니다.

Google AI Studio 에서 이 앱을 통해 모델의 기능 호출 개선 사항을 테스트해보세요.

Google AI Studio 및 Vertex AI 에서 실행된 테스트 결과 기반

더욱 자연스러운 대화

또한 상호작용을 더 자연스럽게 만들기 위해 더 적극적인 오디오 기능을 추가했습니다. 이제 모델은 활성 대화와 관련 없는 잡담을 무시하며, 사용자의 자연스러운 멈춤이나 중단을 훨씬 더 잘 이해합니다.

음성 에이전트와 대화하는 도중 누군가 방에 들어와서 잠시 질문을 한다고 상상해보세요. 이제 모델은 옆에서 나는 잡담은 무시하면서 대화를 자연스럽게 일시 중지했다가, 다시 준비가 되면 끊김 없이 이어나갈 수 있습니다.

배경 대화 인식 개선

마찬가지로, 모델은 이제 대화의 리듬을 더 잘 이해하고, 말의 맥락을 인식하며, 복잡한 생각을 표현하기 위해 잠시 멈추는 경우든 편하게 말하는 경우든 사용자의 멈춤에 적응합니다. 내부 평가에서 모델이 사용자가 말하지 않는데 잘못 중단하는 횟수가 이전 모델에 비해 크게 감소했습니다. 이러한 개선 사항은 추가 설정 없이 자동으로 이루어져 대화가 훨씬 더 유연해집니다.

대화 중 자연스러운 멈춤을 우아하게 처리

이번 업데이트는 또한 중단 감지 정확도를 크게 개선하여, 모델이 사용자의 중단을 인식하지 못하는 횟수를 눈에 띄게 줄였습니다.

0:32

중단 감지 기능 대폭 개선

"사고" 기능을 통한 더 스마트한 응답

이번 출시의 후속 조치로, 다음 주에는 Gemini 2.5 Flash 및 Pro 와 유사한 "사고" 기능 지원을 출시할 예정입니다. 모든 질문에 즉시 답변할 수 있거나 그래야 하는 것은 아니라는 점을 인지하고 있습니다. 더 깊은 추론이 필요한 복잡한 쿼리의 경우, "사고 예산"을 설정하여 모델이 요청을 더 철저히 처리하는 데 잠시 시간을 할애할 수 있습니다. 사고 과정의 일부로 모델은 사고 내용에 대한 텍스트 요약을 다시 보냅니다.

실제 환경에서의 Live API

얼리 액세스 파트너들과 긴밀히 협력하여 API 기능을 테스트하고 개선해 왔으며, 거의 모든 파트너가 최신 모델 테스트에서 긍정적인 결과를 보고했습니다.

예를 들어, AI 기반 가족 운영 체제인 Ava 는 Live API 를 "가정의 COO" 역할로 사용합니다. Ava 는 학교 이메일, PDF, 음성 메모와 같은 복잡한 실제 입력을 처리하여 일정 이벤트와 같은 실행 가능한 항목으로 변환합니다.

Ava 의 공동 창업자이자 CTO 인 Joe Alicata 는 "자연스러운 양방향 음성 채팅 기능은 필수 요구 사항이었습니다."라고 말합니다. "최신 모델의 기능 호출 정확도 향상은 판도를 바꾸는 수준이었습니다. 잡음이 많은 입력에 대한 첫 번째 통과 정확도가 높아지고 취약한 프롬프트 해킹이 줄어들어, 소규모 팀이 훨씬 더 빠르게 안정적이고 에이전트적인 멀티모달 제품을 출시할 수 있었습니다."

지금 바로 시작하세요

지금 바로 Live API 로 구축을 시작할 수 있습니다.

1import asyncio
2from google import genai
3from google.genai import types
4
5client = genai.Client()
6
7model = "gemini-2.5-flash-native-audio-preview-09-2025"
8
9system_instruction = """You are a helpful and friendly AI assistant.
10Your default tone is helpful, engaging, and clear, with a touch of optimistic wit.
11Anticipate user needs by clarifying ambiguous questions and always conclude your responses with an engaging follow-up question to keep the conversation flowing."""
12
13config = {
14    "response_modalities": ["AUDIO"],
15    "system_instruction": system_instruction,
16}
17
18async def main():
19    async with client.aio.live.connect(model=model, config=config) as session:
20
21        # Get audio data, e.g., from microphone
22        audio_bytes = record_audio()
23
24        # Send audio
25        await session.send_realtime_input(
26            audio=types.Blob(data=audio_bytes, mime_type="audio/pcm;rate=16000")
27        )
28
29        # Receive responses
30        async for response in session.receive():
31            if response.data is not None:
32                # Play audio...
33
34if __name__ == "__main__":
35    asyncio.run(main())

Live API 문서를 방문하여 자세한 내용을 확인하고, 쿡북에서 종단 간 코드 샘플을 찾아보세요.

이번 업데이트가 강력하고 직관적인 음성 경험을 창출할 새로운 가능성을 열어줄 것이라고 믿으며, 곧 Live API 에 대해 더 많은 내용을 공유할 예정입니다. 즐겁게 만들어보세요!