MiniMax M3: Cách Sparse Attention giúp các tác nhân AI dài hạn trở nên thực tiễn

GLM 5.2 gần đây đã chiếm lĩnh phần lớn các cuộc thảo luận về AI, và hầu hết các cuộc trò chuyện đều xoay quanh việc nó so sánh thế nào với Opus. Đó là câu chuyện chính. Nhưng thực tế sử dụng lại kể một câu chuyện ít ồn ào hơn: những người xây dựng mà tôi làm việc cùng vẫn đang chạy MiniMax M3 ở quy mô lớn, bởi vì nó mang lại khả năng xử lý tác vụ dài hạn tương đương với một chi phí thấp hơn nhiều. Trên thực tế, MiniMax M3 vẫn dẫn đầu GLM 5.2 về lượng token sử dụng trên Open Router với tỷ lệ hơn 50%.

Nguồn: Bảng xếp hạng Open Router

Rào cản chính đối với các tác tử (agent) dài hạn không phải là trí thông minh; mà là chi phí của sự chú ý (attention) trên một ngữ cảnh ngày càng lớn. @MiniMax_AI M3 được xây dựng để loại bỏ rào cản đó. Cửa sổ ngữ cảnh 500K token của nó là một trong những cửa sổ dài nhất hiện có trên một mô hình trọng số mở, nhưng khả năng quan trọng là khả năng tập trung vào một tác vụ duy nhất trong nhiều giờ trong khi ngữ cảnh tiếp tục phát triển. M3 là đa phương thức với khả năng hiểu hình ảnh và video gốc, vì vậy cùng một tác tử có thể làm việc trên văn bản, mã nguồn và đầu vào hình ảnh trong một lần chạy.

Bài đăng ra mắt của Fireworks cũng đưa ra quan điểm tương tự từ phía cơ sở hạ tầng. Nó coi M3 là mô hình trọng số mở đầu tiên trên Fireworks kết hợp khả năng lập trình tiên tiến, hiểu hình ảnh và video gốc, và cửa sổ ngữ cảnh 500K token trong một hệ thống duy nhất. Những tuyên bố thực tế quan trọng cho bài viết này là những gì Fireworks báo cáo trong bài đăng ra mắt đó. M3 đạt tốc độ giải mã ngữ cảnh dài nhanh hơn tới 15 lần so với M2.7, chi phí tính toán trên mỗi token giảm xuống còn 1/20 ở ngữ cảnh dài, và Fireworks trích dẫn các lần chạy tự động từ 12 đến 24 giờ cho các tác vụ tái tạo bài báo và tối ưu hóa nhân CUDA.

Các tác vụ dài hạn rất khó khăn vì ngữ cảnh không ngừng phát triển. Một lần chạy tác tử kéo dài nhiều giờ sẽ tích lũy mã nguồn, nhật ký, đầu ra công cụ và suy luận trung gian, và với cơ chế chú ý dày đặc (dense attention) tiêu chuẩn, mỗi token mới về cơ bản sẽ đọc lại tất cả những thứ đó. Chi phí tăng theo bình phương độ dài, vì vậy tác tử làm việc càng lâu, mỗi bước càng trở nên đắt đỏ. Đó là lý do thực tế khiến hầu hết các tác tử chạy dài bị cắt ngắn.

Cơ chế thay đổi điều này là MiniMax Sparse Attention (MSA), được ghi lại trong báo cáo gần đây của MiniMax, MiniMax Sparse Attention. MSA thay đổi những gì mô hình đọc ở mỗi bước. Trước khi thực hiện chú ý, nó chạy một bước lọc sơ bộ nhẹ: một Nhánh Chỉ mục (Index Branch) chấm điểm ngữ cảnh theo từng khối, chọn các khối có liên quan nhất đến token hiện tại, và mô hình chỉ chú ý đến những khối đó. Nó đọc chỉ mục thay vì toàn bộ thư viện, điều này giữ cho chi phí của mỗi bước gần như không đổi ngay cả khi ngữ cảnh phát triển lên đến hàng trăm nghìn token.

MiniMax Sparse Attention: một Nhánh Chỉ mục nhẹ chấm điểm các khối key-value và chọn top-k cho mỗi nhóm truy vấn, và nhánh chính chỉ chú ý đến các khối đó. Nguồn: Bài báo MiniMax Sparse Attention.

Điều này có nghĩa là gì nếu bạn đang xây dựng với M3:

• Chi phí có thể dự đoán được ở bất kỳ độ dài nào. Bài báo đặt Bk = 128 và k = 16, vì vậy mỗi nhóm truy vấn và GQA chọn 16 khối, tương đương 2.048 token key-value. Một lần chạy kéo dài vẫn có chi phí lập chỉ mục, nhưng ngân sách chú ý chính vẫn cố định.
• Ngữ cảnh dài giá rẻ. Trong cấu hình mô hình của bài báo, họ báo cáo mức giảm 28,4 lần FLOPs chú ý trên mỗi token ở độ dài trình tự cực đại so với GQA dày đặc trong cùng thiết lập đầu.
• Nhanh trong sản xuất. Trên H800 ở độ dài trình tự dài, họ báo cáo tốc độ tường tăng gấp 14,2 lần cho prefill và 7,6 lần cho giải mã. Điểm chuẩn top-k riêng biệt cho thấy nhân chuyên dụng của MiniMax là nhanh nhất so với torch.topk và TileLang trong tất cả các cài đặt đã thử nghiệm.
• Chi phí chất lượng tối thiểu. Trong các thí nghiệm MoE 109B, bài báo báo cáo 6B tham số hoạt động trên mỗi token và nói rằng MSA-CPT vẫn gần với đường cơ sở chú ý đầy đủ sau khi mở rộng ngữ cảnh dài. Nó đánh giá MMLU, GSM8K, HumanEval, RULER, HELMET và nhiều điểm chuẩn khác trong khi mỗi truy vấn chú ý đến 2.048 token.

FLOPs chú ý trên mỗi token và độ trễ gần như không đổi đối với MSA khi độ dài trình tự tăng lên, trong khi GQA dày đặc (grouped-query attention) tăng mạnh: giảm 28,4 lần tính toán, prefill nhanh hơn 14,2 lần và giải mã nhanh hơn 7,6 lần ở độ dài trình tự cực đại. Nguồn: Bài báo MiniMax Sparse Attention.

Điều Này Mở Ra Những Gì

Phần thú vị không chỉ là M3 có thể chứa nhiều token hơn. Đó là ngữ cảnh dài trở nên đủ rẻ và đủ nhanh để nằm trong các hệ thống lặp cần duy trì trạng thái theo thời gian.

• Các tác tử tự cải thiện. Đây là ứng dụng đầu tiên tôi sẽ theo dõi. Một tác tử tự cải thiện cần giữ mã nguồn hiện tại, các lần chỉnh sửa thất bại trước đó, nhật ký đánh giá, kết quả điểm chuẩn và các giả thuyết của chính nó trong tầm nhìn trong khi nó đề xuất thay đổi tiếp theo. Sparse attention không giải quyết vấn đề đánh giá, nhưng nó làm cho vòng lặp đề xuất, xác thực và sửa đổi chạy dài ít có khả năng bị sụp đổ dưới chi phí ngữ cảnh hơn nhiều.
• Kỹ thuật ở quy mô kho lưu trữ. Fireworks nhấn mạnh khả năng hiểu mã nguồn toàn bộ kho lưu trữ và khả năng lập trình tác tử mạnh mẽ. Điều đó quan trọng vì công việc kỹ thuật thực tế hiếm khi nằm gọn trong một lời nhắc gọn gàng. Gỡ lỗi trên toàn bộ cơ sở mã, theo dõi hồi quy và thực hiện các thay đổi trên nhiều tệp đều được hưởng lợi từ một tác tử có thể giữ kho lưu trữ, đầu ra kiểm thử và lịch sử chỉnh sửa tồn tại trong một phiên làm việc.
• Nghiên cứu khoa học và hệ thống. Fireworks chỉ ra các lần chạy tự động dài hạn để tái tạo bài báo và tối ưu hóa nhân CUDA. Đây là những ví dụ hữu ích vì công việc không phải là một câu trả lời duy nhất. Đó là một chuỗi các thí nghiệm, nhật ký, thất bại, sửa chữa và đo lường, nơi tính liên tục là tính năng sản phẩm.
• Quy trình làm việc đa phương thức ngữ cảnh dài. M3 có khả năng đa phương thức gốc, không chỉ là văn bản với thị giác được gắn thêm. Nó kết hợp ngữ cảnh dài với khả năng hiểu hình ảnh và video gốc, vì vậy một lần chạy duy nhất có thể suy luận trên văn bản, mã nguồn, ảnh chụp màn hình, sơ đồ và khung hình video cùng nhau. Điều này mở ra khả năng chuyển đổi hình ảnh thành mã từ bản phác thảo hoặc ảnh chụp màn hình, phân tích video, xem xét tài liệu đa phương thức và các tác tử giữ ngữ cảnh trực quan tồn tại cùng với mã nguồn và dấu vết công cụ của chúng trong một phiên làm việc dài.

Đây là lý do tại sao mô hình này thú vị đối với những người xây dựng. Nó chuyển ngữ cảnh dài từ một tính năng đọc tài liệu thành một nền tảng thực thi cho các tác tử cần bộ nhớ, sự lặp lại và xác minh.

Đáng chú ý là tại sao điều này lại xuất hiện ngay bây giờ. MiniMax đã giới thiệu sparse attention trong thế hệ M2 và tạm gác nó lại vì cơ sở hạ tầng chưa đủ trưởng thành. Đối với M3, trọng tâm là các nhân. MSA phân vùng ngữ cảnh thành các khối, đọc mỗi khối một lần với quyền truy cập bộ nhớ liền kề và chỉ chú ý đến các khối có liên quan, điều này cho phép nó chạy nhanh hơn nhiều lần so với các phương pháp sparse attention mở khác trong khi vẫn giữ chất lượng.

Điều này kết nối trực tiếp với công việc kỹ thuật ngữ cảnh mà tôi đã tập trung vào. Trong nhiều năm, tôi đã khuyến khích các nhà phát triển quản lý những gì đi vào cửa sổ ngữ cảnh. MSA là mô hình học cách quản lý những gì nó chú ý đến trong cửa sổ; cùng một nguyên tắc di chuyển xuống một lớp trong kiến trúc.

Đối với các nhà phát triển và nhà nghiên cứu, đây là sự khác biệt giữa một bản demo ngắn và một công cụ bạn có thể phụ thuộc vào. Nó có nghĩa là một tác tử đọc toàn bộ kho lưu trữ trong một lần, gỡ lỗi trên toàn bộ cơ sở mã trong một phiên làm việc liên tục duy nhất, hoặc thực hiện một nhiệm vụ nghiên cứu qua nhiều giờ thí nghiệm, nhật ký và sửa đổi mà không mất ngữ cảnh. Trong các lần chạy dài hạn của chính MiniMax, kết quả mạnh nhất thường xuất hiện sâu trong một phiên làm việc kéo dài nhiều giờ, rất lâu sau khi hầu hết các mô hình sẽ đạt đến cao nguyên và dừng lại. Ngữ cảnh dài giá cả phải chăng là thứ mang lại cho một tác tử sự kiên trì đó.

Đây là phần tôi thấy hấp dẫn nhất. Các tác tử tôi xây dựng thường thất bại không phải vì mô hình yếu mà vì chúng không thể duy trì một tác vụ dài, và một ngữ cảnh dài đáng tin cậy là cơ sở hạ tầng nền tảng cuối cùng giải quyết vấn đề này.

Bắt Đầu Với MiniMax M3 Ở Đâu

Đối với một nhóm kỹ thuật, quan điểm của @FireworksAI_HQ là mang tính vận hành. Thiết kế sparse-attention của M3 chỉ trở nên hữu ích nếu lớp phục vụ có thể giữ cho độ trễ, thông lượng và chi phí ổn định ở ngữ cảnh dài. Fireworks cho biết nó cung cấp năng lượng cho API suy luận bên thứ nhất của MiniMax, cung cấp điểm cuối nhanh nhất trong dòng mô hình MiniMax và định giá M3 từ $0,60 cho mỗi 1M token đầu vào với các tùy chọn triển khai serverless và on-demand. Với mức giá đó, M3 có chi phí thấp hơn khoảng 75% so với GLM 5.2 cho mức sử dụng tương đương, điều này làm cho câu chuyện không còn là về một cửa sổ ngữ cảnh lớn hơn nữa mà là về việc liệu các tác tử dài hạn có thể chạy kinh tế trong sản xuất hay không.

Mức giá này hữu ích vì nó định hình lại M3 như một lộ trình nâng cấp từ M2.7, không chỉ là một mô hình tiên tiến mới. Fireworks cho biết giá khởi chạy trọng số mở đã giảm xuống ngang bằng với M2.7 cho mức sử dụng serverless tiêu chuẩn, vì vậy các nhóm có được ngữ cảnh dài và khả năng hiểu đa phương thức gốc của M3 mà không phải trả thêm phí so với thế hệ trước.

Để kiểm tra M3, hãy sử dụng cùng một điểm cuối chat completions của Fireworks mà bạn sẽ sử dụng cho các mô hình Fireworks khác. ID mô hình là accounts/fireworks/models/minimax-m3, và vì mô hình là đa phương thức, một yêu cầu duy nhất có thể bao gồm văn bản cộng với URL hình ảnh trong cùng một tin nhắn.

1import json
2import requests
3
4url = "https://api.fireworks.ai/inference/v1/chat/completions"
5
6payload = {
7    "model": "accounts/fireworks/models/minimax-m3",
8    "max_tokens": 32768,
9    "temperature": 0.6,
10    "top_p": 1,
11    "top_k": 40,
12    "messages": [
13        {
14            "role": "user",
15            "content": [
16                {"type": "text", "text": "Bạn có thể mô tả hình ảnh này không?"},
17                {
18                    "type": "image_url",
19                    "image_url": {
20                        "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?auto=format&fit=crop&w=1770&q=80"
21                    },
22                },
23            ],
24        }
25    ],
26}
27
28headers = {
29    "Accept": "application/json",
30    "Content-Type": "application/json",
31    "Authorization": "Bearer <FIREWORKS_API_KEY>",
32}
33
34response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=120)
35response.raise_for_status()
36print(response.json())

Đối với các tác vụ tác tử hoặc suy luận khó hơn, hãy thêm "thinking": {"type": "enabled"} vào payload. Đối với khối lượng công việc sản xuất, Fireworks định vị serverless là con đường nhanh nhất để đánh giá và triển khai on-demand là tùy chọn cho thông lượng có thể dự đoán được.

Hãy dùng thử tại đây:Fireworks AI