GLM 5.2 가 최근 AI 타임라인의 대부분을 차지하며, 대부분의 대화는 Opus 와의 비교에 집중되어 있습니다. 그것이 헤드라인입니다. 하지만 실제 작업 현장은 좀 더 조용한 이야기를 들려줍니다: 제가 함께 작업하는 빌더들은 계속해서 MiniMax M3 를 대규모로 운영하고 있습니다. 그 이유는 M3 가 훨씬 저렴한 비용으로 비슷한 수준의 장기 작업 능력을 제공하기 때문입니다. 실제로 MiniMax M3 는 Open Router 에서 GLM 5.2 보다 토큰 사용량이 50% 이상 더 많습니다.
출처: Open Router 순위
장기 실행 에이전트의 주요 제약 조건은 지능이 아니라, 커지는 컨텍스트에 대한 주의(attention) 비용이었습니다. @MiniMax_AI M3 는 이러한 제약을 제거하기 위해 설계되었습니다. 50만 개 토큰 컨텍스트 윈도우는 오픈 웨이트 모델에서 사용 가능한 것 중 가장 긴 것 중 하나이지만, 실제로 중요한 능력은 컨텍스트가 계속 커지는 동안 몇 시간 동안 단일 작업에 집중할 수 있는 능력입니다. M3 는 기본 이미지 및 비디오 이해 기능을 갖춘 멀티모달이므로, 동일한 에이전트가 한 번의 실행으로 텍스트, 코드, 시각적 입력 전반에서 작업할 수 있습니다.
Fireworks 의 출시 게시글은 인프라 측면에서 같은 요점을 강조합니다. M3 를 Fireworks 에서 최초로 최첨단 코딩, 기본 이미지 및 비디오 이해, 그리고 50만 개 토큰 컨텍스트 윈도우를 하나의 시스템에 결합한 오픈 웨이트 모델로 설명합니다. 이 글에서 중요한 실용적인 주장은 Fireworks 가 해당 출시 게시글에서 보고한 내용입니다. M3 는 M2.7 대비 최대 15배 빠른 장기 컨텍스트 디코딩 속도를 달성하고, 장기 컨텍스트에서 토큰당 연산 비용은 1/20로 감소하며, Fireworks 는 논문 재현 및 CUDA 커널 최적화 작업에서 12~24시간 자율 실행을 인용합니다.
장기 작업은 컨텍스트가 계속해서 증가하기 때문에 까다롭습니다. 몇 시간 동안 에이전트가 실행되면 코드, 로그, 도구 출력, 중간 추론 과정이 축적되며, 표준적인 밀집 어텐션(dense attention)을 사용하면 새로운 토큰이 사실상 모든 내용을 다시 읽게 됩니다. 비용은 길이의 제곱에 비례하여 증가하므로, 에이전트가 오래 작동할수록 각 단계의 비용이 더 비싸집니다. 이것이 대부분의 장기 실행 에이전트가 일찍 중단되는 실질적인 이유입니다.
이러한 상황을 바꾸는 메커니즘은 MiniMax 희소 어텐션(MSA)이며, 이는 MiniMax 의 최근 보고서인 MiniMax 희소 어텐션에 문서화되어 있습니다. MSA 는 각 단계에서 모델이 읽는 내용을 변경합니다. 어텐션을 수행하기 전에, 가벼운 사전 필터링 단계를 실행합니다: 인덱스 브랜치(Index Branch)가 컨텍스트를 블록 단위로 점수를 매기고, 현재 토큰과 가장 관련 있는 블록을 선택하면, 모델은 해당 블록에만 집중합니다. 전체 라이브러리를 읽는 대신 인덱스를 읽기 때문에, 컨텍스트가 수십만 개의 토큰으로 늘어나도 각 단계의 비용이 거의 일정하게 유지됩니다.
MiniMax 희소 어텐션: 가벼운 인덱스 브랜치가 키-값 블록의 점수를 매기고 쿼리 그룹당 상위 k 개를 선택하며, 메인 브랜치는 해당 블록에만 집중합니다. 출처: MiniMax 희소 어텐션 논문.
M3 로 구축하는 경우 이것이 의미하는 바는 다음과 같습니다:
- 모든 길이에서 예측 가능한 비용. 논문은 Bk = 128 및 k = 16으로 설정하여, 각 쿼리 및 GQA 그룹이 16개의 블록, 즉 2,048개의 키-값 토큰을 선택합니다. 확장된 실행에도 인덱싱 오버헤드는 있지만, 주요 어텐션 예산은 고정되어 있습니다.
- 저렴한 장기 컨텍스트. 논문의 모델 구성에서, 동일한 헤드 설정 하에 극한 시퀀스 길이에서 밀집 GQA 대비 토큰당 어텐션 FLOPs 가 28.4배 감소한다고 보고합니다.
- 프로덕션에서 빠른 속도. H800 에서 긴 시퀀스 길이에 대해 14.2배 프리필(prefill) 및 7.6배 디코딩 벽시계 속도 향상을 보고합니다. 별도의 top-k 벤치마크에 따르면 MiniMax 의 특화 커널이 모든 테스트 설정에서 torch.topk 및 TileLang 보다 가장 빠릅니다.
- 최소한의 품질 비용. 109B MoE 실험에서 논문은 토큰당 6B 활성 파라미터를 보고하며, MSA-CPT 가 장기 컨텍스트 확장 후에도 전체 어텐션 기준선에 가깝게 유지된다고 말합니다. 각 쿼리가 2,048개의 토큰에 집중하는 동안 MMLU, GSM8K, HumanEval, RULER, HELMET 및 기타 여러 벤치마크를 평가합니다.
시퀀스 길이가 증가함에 따라 MSA 의 토큰당 어텐션 FLOPs 및 지연 시간은 거의 일정하게 유지되는 반면, 밀집 GQA(그룹화된 쿼리 어텐션)는 급격히 증가합니다: 극한 시퀀스 길이에서 28.4배 적은 연산, 14.2배 빠른 프리필, 7.6배 빠른 디코딩. 출처: MiniMax 희소 어텐션 논문.
이것이 가능하게 하는 것
흥미로운 점은 단순히 M3 가 더 많은 토큰을 보유할 수 있다는 것이 아닙니다. 장기 컨텍스트가 시간이 지남에 따라 상태를 유지해야 하는 반복 시스템 내에 위치할 수 있을 정도로 저렴하고 빨라진다는 점입니다.
- 자기 개선 에이전트. 이것이 제가 가장 주목하는 첫 번째 응용 분야입니다. 자기 개선 에이전트는 다음 변경 사항을 제안하는 동안 현재 코드, 이전 실패한 편집 내용, 평가 로그, 벤치마크 결과 및 자체 가설을 계속 확인해야 합니다. 희소 어텐션이 평가 문제를 해결하지는 않지만, 제안, 검증 및 수정의 장기 실행 루프가 컨텍스트 비용으로 인해 중단될 가능성을 훨씬 낮춰줍니다.
- 저장소 규모 엔지니어링. Fireworks 는 전체 저장소 코드 이해와 강력한 에이전트 코딩을 강조합니다. 실제 엔지니어링 작업은 깔끔한 프롬프트에 맞춰지기 어렵기 때문에 이는 중요합니다. 코드베이스 전반의 디버깅, 회귀 추적, 다중 파일 변경 모두 에이전트가 저장소, 테스트 출력 및 편집 내역을 하나의 세션에서 유지할 수 있을 때 큰 이점을 얻습니다.
- 과학 및 시스템 연구. Fireworks 는 논문 재현 및 CUDA 커널 최적화에 대한 장기 자율 실행을 언급합니다. 이러한 예시가 유용한 이유는 작업이 단일 답변이 아니기 때문입니다. 연속성이 핵심 제품 기능인 일련의 실험, 로그, 실패, 수정 및 측정의 연속입니다.
- 멀티모달 장기 컨텍스트 워크플로우. M3 는 기본적으로 멀티모달이며, 텍스트 전용에 비전이 추가된 형태가 아닙니다. 장기 컨텍스트와 기본 이미지 및 비디오 이해 기능을 결합하여, 단일 실행으로 텍스트, 코드, 스크린샷, 다이어그램 및 비디오 프레임을 함께 추론할 수 있습니다. 이는 목업이나 스크린샷에서 코드 생성, 비디오 분석, 멀티모달 문서 검토, 그리고 긴 세션 동안 코드 및 도구 추적과 함께 시각적 컨텍스트를 유지하는 에이전트의 가능성을 열어줍니다.
이것이 이 모델이 빌더들에게 흥미로운 이유입니다. 장기 컨텍스트를 문서 읽기 기능에서 메모리, 반복 및 검증이 필요한 에이전트를 위한 실행 기반으로 전환합니다.
이것이 지금 등장하는 이유를 주목할 가치가 있습니다. MiniMax 는 M2 세대 동안 희소 어텐션을 도입했지만 인프라가 아직 성숙하지 않아 보류했습니다. M3 의 경우, 커널에 초점을 맞췄습니다. MSA 는 컨텍스트를 블록으로 분할하고, 각 블록을 연속 메모리 접근으로 한 번 읽고, 관련 블록에만 집중하여 품질을 유지하면서 다른 오픈 희소 어텐션 방법보다 몇 배 더 빠르게 실행할 수 있습니다.
이는 제가 집중해 온 컨텍스트 엔지니어링 작업과 직접적으로 연결됩니다. 수년 동안 저는 개발자들에게 컨텍스트 윈도우에 무엇을 넣을지 선별하도록 권장해 왔습니다. MSA 는 모델이 윈도우 내에서 주의를 기울일 내용을 선별하는 방법을 학습하는 것이며, 동일한 원리가 아키텍처의 한 계층 아래로 이동한 것입니다.
개발자와 연구자에게 이것은 짧은 데모와 의존할 수 있는 도구의 차이입니다. 즉, 에이전트가 한 번에 전체 저장소를 읽고, 단일 지속 세션에서 전체 코드베이스를 디버깅하거나, 컨텍스트를 잃지 않고 몇 시간 동안의 실험, 로그 및 수정을 통해 연구 작업을 수행할 수 있음을 의미합니다. MiniMax 자체의 장기 실행에서 가장 강력한 결과는 대부분의 모델이 정체되고 멈출 시간이 훨씬 지난 후인 다중 시간 세션 후반에 나타나는 경우가 많았습니다. 저렴한 장기 컨텍스트는 에이전트에게 그러한 지속성을 부여하는 요소입니다.
이것이 제가 가장 매력적으로 생각하는 부분입니다. 제가 구축하는 에이전트는 일반적으로 모델이 약해서가 아니라 긴 작업을 지속할 수 없기 때문에 실패하며, 안정적인 장기 컨텍스트는 마침내 이 문제를 해결하는 기초 인프라입니다.
MiniMax M3 시작하기
기술 팀의 경우 @FireworksAI_HQ 포인트가 실용적입니다. M3 의 희소 어텐션 설계는 서빙 계층이 장기 컨텍스트에서 지연 시간, 처리량 및 비용을 안정적으로 유지할 수 있을 때만 유용해집니다. Fireworks 는 MiniMax 의 자사 API 추론을 지원하고, MiniMax 모델 시리즈에서 가장 빠른 엔드포인트를 제공하며, 서버리스 및 온디맨드 배포 옵션으로 M3 의 가격을 입력 토큰 100만 개당 $0.60부터 책정한다고 밝혔습니다. 이 비용으로 M3 는 비슷한 사용량 기준 GLM 5.2 보다 약 75% 저렴하여, 더 큰 컨텍스트 윈도우 자체보다는 장기 실행 에이전트가 프로덕션에서 경제적으로 운영될 수 있는지 여부에 대한 이야기가 됩니다.
이 가격 책정은 M3 를 단순한 새로운 최첨단 모델이 아닌 M2.7 에서의 업그레이드 경로로 재구성하기 때문에 유용합니다. Fireworks 는 오픈 웨이트 출시 가격이 표준 서버리스 사용 시 M2.7 과 동등한 수준으로 낮아졌다고 밝혀, 팀들이 이전 세대보다 더 많은 비용을 지불하지 않고 M3 의 장기 컨텍스트와 기본 멀티모달 이해 기능을 얻을 수 있습니다.
M3 를 테스트하려면 다른 Fireworks 모델에 사용하는 것과 동일한 Fireworks 채팅 완료 엔드포인트를 사용하세요. 모델 ID 는 accounts/fireworks/models/minimax-m3 이며, 모델이 멀티모달이므로 단일 요청에 동일한 메시지 내에 텍스트와 이미지 URL 을 포함할 수 있습니다.
1import json2import requests34url = "https://api.fireworks.ai/inference/v1/chat/completions"56payload = {7 "model": "accounts/fireworks/models/minimax-m3",8 "max_tokens": 32768,9 "temperature": 0.6,10 "top_p": 1,11 "top_k": 40,12 "messages": [13 {14 "role": "user",15 "content": [16 {"type": "text", "text": "이 이미지에 대해 설명해 주시겠어요?"},17 {18 "type": "image_url",19 "image_url": {20 "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?auto=format&fit=crop&w=1770&q=80"21 },22 },23 ],24 }25 ],26}2728headers = {29 "Accept": "application/json",30 "Content-Type": "application/json",31 "Authorization": "Bearer <FIREWORKS_API_KEY>",32}3334response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=120)35response.raise_for_status()36print(response.json())
더 어려운 에이전트 또는 추론 작업의 경우 페이로드에 "thinking": {"type": "enabled"}를 추가하세요. 프로덕션 워크로드의 경우 Fireworks 는 서버리스를 평가를 위한 가장 빠른 경로로, 온디맨드 배포를 예측 가능한 처리량을 위한 옵션으로 제시합니다.
여기서 시도해보세요: Fireworks AI
