Kimi K3 가 어제 출시되었습니다: 2.8 조 개의 파라미터, 1M 컨텍스트, 백만 입력 토큰 당 $3.
대부분의 사람들은 벤치마크를 스크린샷으로 저장하고, 실제 작업을 하나도 라우팅하지 않을 것입니다.
내부 내용: K3 가 실제로 당신의 스택을 능가하는 부분, 아무도 언급하지 않는 출시 주의 함정, 그리고 정확한 라우팅 설정.
제대로 활용하면, 가장 무거운 장문 컨텍스트 작업이 프론티어 가격의 1/3 로 떨어집니다.
전체 설정은 다음과 같습니다 👇
본격적으로 들어가기 전에, 저는 AI 및 바이브 코딩에 대한 일일 노트를 제 Telegram 채널에서 공유합니다: https://t.me/zodchixquant 🧠
실제로 일어난 일, 간단히 말하면
Moonshot AI 가 7월 16일에 새로운 플래그십 모델을 출시했습니다. 공식 출시에서 확인된 간단한 사실은 다음과 같습니다:
- 모델: Mixture-of-Experts, 토큰당 896개 전문가 중 16개만 활성화되는 약 2.8 조 개의 총 파라미터. 세계 최초의 오픈 3T급 모델로 마케팅되고 있습니다.
- 컨텍스트: 1M 토큰, 그리고 일부 경쟁사와 달리 전체 윈도우에서 가격이 일정합니다. 긴 프롬프트에 대한 프리미엄 계층이 없습니다.
- 입력: 텍스트, 이미지, 비디오를 기본적으로 지원합니다. 사고(Thinking)는 항상 활성화되어 있습니다.
- 사용처: Kimi 앱 (무료 등급 포함), kimi.com, Kimi Code, 그리고 모델 ID kimi-k3 로 api.moonshot.ai/v1 API. OpenAI 호환되므로 기존 SDK 가 작동합니다.
- 오픈 가중치: 7월 27일까지 약속되었으며, 기술 보고서와 vLLM 구현이 함께 제공됩니다.
두 가지 변형이 출시되었습니다: 채팅 및 에이전트 작업용 K3 Max, 대규모 병렬 처리용 K3 Swarm Max.
실제로 중요한 가격 계산
- 백만 토큰당 $3 입력 / $15 출력. 이는 8월 31일 도입 기간이 끝난 후의 Sonnet 5 가격과 정확히 일치하며, 훨씬 더 높은 가중치 클래스에서 활동하는 모델입니다.
- 캐시 히트 시 백만 토큰당 $0.30. 반복되는 컨텍스트는 10 배 저렴합니다. 동일한 코드베이스를 다시 읽는 에이전트 루프의 경우, 이것이 전체 요금표에서 가장 큰 숨겨진 레버리지입니다.
- 1M 컨텍스트에서 일정. 800K 토큰 프롬프트도 8K 프롬프트와 동일한 요금이 부과됩니다. 다른 곳의 장문 컨텍스트 프리미엄 계층과 비교해 보세요.
- 출시 보너스: API 충전 시 8월 11일까지 10-30% 추가 크레딧을 제공합니다. 진지하게 테스트할 계획이라면, 이 기간 내에 충전하세요.
정직한 비교: K3는 입력 비용이 Fable 5 ($10/$50)보다 3.3 배 저렴하고, 오늘날 Sonnet 5 의 미래 가격과 일치하며, 1M 윈도우와 네이티브 비전을 갖추고 있습니다.
K3가 당신의 스택에 적합한 위치 (그렇지 않은 위치)
과장이 아닌 신뢰를 쌓는 세부 사항은 다음과 같습니다: Moonshot 자체 기술 블로그에서는 K3가 전반적으로 Claude Fable 5 및 GPT-5.6 Sol보다 뒤처진다고 인정합니다. 그들은 자사 제품군에서 프론티어 수준의 결과를 주장하고 있지만(Terminal Bench 2.1: 88.3, SWE Marathon: 42.0, 둘 다 자체 보고), 새로운 왕인 척하지는 않습니다.
그 정직함은 깔끔한 라우팅 규칙을 제공합니다:
1## 모델 라우팅 (CLAUDE.md / 팀 문서)23- 장문 컨텍스트 읽기, 저장소 전체 분석, 문서 종합 → Kimi K34 (1M 윈도우, 일정 요금, 캐시 히트 시 $0.30)5- 프론트엔드 및 UI 중심 코딩 → Kimi K3, 그런 다음 시각적으로 확인6- 반복 컨텍스트가 있는 에이전트 루프 → 캐시 히트를 통한 Kimi K37- 가장 어려운 다단계 추론, 보안 민감 작업 → Fable 5 / Opus 4.8 유지8- 빠른 수정 및 일상 작업 → Sonnet 5 (8월 31일까지 저렴)
패턴: K3는 볼륨 머신이지, 최고 지능 머신이 아닙니다. 명성이 아닌 토큰 가중치에 따라 라우팅하세요.
출시 주의 함정
과대광고 게시물이 생략하는 네 가지 사항, 모두 공식 문서와 Moonshot의 자체 블로그에서 가져온 것입니다:
- reasoning_effort는 출시 시에만 max-only입니다. 낮음 및 높음 모드는 "향후 업데이트"에서 제공됩니다. 그때까지 모든 요청은 $15/M 로 전체 생각 출력을 소모하므로, 짧은 작업은 조용히 비용이 많이 듭니다. 빠른 수정을 다른 곳에 유지해야 하는 또 다른 이유입니다.
- 현재 모든 벤치마크는 자체 보고된 것입니다. 독립적인 평가는 오늘부터야 시작되었습니다. 제3자가 확인할 때까지 모든 차트를 주장으로 간주하세요.
- 보존된 사고 기록 모드. K3는 턴 간에 추론 기록이 컨텍스트에 유지될 것으로 예상하고 훈련되었습니다. 파이프라인에서 이를 제거하면 품질이 저하될 수 있습니다. 프로덕션 전에 프레임워크의 처리를 확인하세요.
- 가중치가 아직 Hugging Face에 없습니다. 7월 27일은 약속일 뿐, 다운로드 링크가 아닙니다. 현실적으로, 2.8T 모델을 자체 호스팅하는 것은 가속기 랙이 없는 사람에게는 비용 절감 수단이 아닙니다.
시작 구성 (복사하세요)
OpenAI 호환 클라이언트를 가리키세요:
1from openai import OpenAI23client = OpenAI(4 api_key=MOONSHOT_API_KEY,5 base_url="https://api.moonshot.ai/v1",6)78response = client.chat.completions.create(9 model="kimi-k3",10 messages=[11 {"role": "system", "content": STABLE_PROJECT_CONTEXT},12 {"role": "user", "content": task},13 ],14)
캐시 히트 트릭으로 비용을 10 배 절감하세요: 큰 안정적인 컨텍스트(코드베이스 덤프, 프로젝트 문서)를 요청 간에 동일한 접두사로 유지하세요. 동일한 접두사는 캐시에 적중하여 $0.30/M 으로 청구되며, $3 대신입니다.
안정적인 부분이 먼저 오고 절대 변경되지 않도록, 변수 작업이 마지막에 오도록 프롬프트를 재구성하세요.
일반적인 실수
- 채팅 질문으로 테스트하기. 1M 윈도우를 가진 2.8T MoE 는 "함수 작성해 줘" 같은 것에서는 아무것도 보여주지 않습니다. 전체 저장소나 연구 코퍼스를 넣어 주세요. 그것이 이 모델이 만들어진 작업 클래스입니다.
- 캐시 가격 무시하기. 단순 프롬프팅은 매번 $3/M 을 지불합니다. 구조화된 접두사는 반복 시 $0.30 을 지불합니다. 동일한 모델, 에이전트 작업 부하에서 10 배 차이.
- 벤치마크를 사실로 인용하기. 자체 보고된 것이며 공급업체 자체도 Fable 5 에 뒤처진다고 말합니다. 출시 스레드에서 "Opus를 이겼다"는 말을 반복하면 커뮤니티 노트에 찍히는 방법입니다.
- 하룻밤 사이에 모든 트래픽을 이동하기. 먼저 하나의 작업 부하 클래스를 라우팅하세요. 장문 컨텍스트 읽기가 확실한 선택이며, 일주일 동안 품질을 비교한 다음 확장하세요.
- 노력(Effort) 함정을 잊기. Max-only 추론은 K3가 사소한 작업에 대해 전체 출력 가격으로 과도하게 생각한다는 것을 의미합니다. 무거운 기계이므로 무거운 작업에 사용하세요.
15분 계획
- API 키를 받고 보너스 기간 내에 충전하세요 (3분)
- 위의 OpenAI 호환 구성을 스택에 연결하세요 (4분)
- 캐시 히트를 위해 하나의 무거운 프롬프트를 재구성하세요: 안정적인 접두사, 작업 마지막 (4분)
- 가장 큰 장문 컨텍스트 작업을 K3와 현재 모델에서 실행하세요 (3분)
- 출력과 비용을 비교한 다음, K3가 가치가 있다면 라우팅 블록을 추가하세요 (1분)
새로운 플래그십, 정직한 공급업체, 공격적인 가격. 다른 사람들이 아직 벤치마크 차트로 논쟁하는 동안, 지금이 당신의 스택에 어디에 적합한지 파악할 기회입니다.
읽어 주셔서 감사합니다!
