GLM 5.2 son zamanlarda AI gündemine damgasını vurdu ve çoğu konuşma, Opus'a karşı nasıl bir performans sergilediği etrafında döndü. Manşet bu. İş yükü ise daha sessiz bir hikaye anlatıyor: Birlikte çalıştığım geliştiriciler, MiniMax M3'ü ölçekte kullanmaya devam ediyor, çünkü benzer uzun vadeli yetenekleri çok daha düşük bir maliyetle sunuyor. Aslında MiniMax M3, Open Router'da token kullanımında GLM 5.2'yi hala %50'den fazla geride bırakıyor.
Kaynak: Open Router Sıralamaları
Uzun vadeli ajanların önündeki ana kısıtlama zeka değildi; büyüyen bir bağlam üzerinde dikkatin maliyetiydi. @MiniMax_AI M3 bu kısıtlamayı kaldırmak için inşa edildi. 500K token bağlam penceresi, açık ağırlıklı bir modelde mevcut olan en uzun pencerelerden biridir, ancak önemli olan yetenek, bağlam büyümeye devam ederken saatlerce tek bir görevde kalabilme yeteneğidir. M3, yerel görüntü ve video anlayışı ile çok modludur, böylece aynı ajan tek bir çalışmada metin, kod ve görsel girdiler arasında çalışabilir.
Fireworks'ün lansman yazısı aynı noktayı altyapı tarafından vurguluyor. M3'ü, Fireworks'ta öncü kodlama, yerel görüntü ve video anlayışı ve 500K token bağlam penceresini tek bir sistemde birleştiren ilk açık ağırlıklı model olarak tanımlıyor. Bu yazı için önemli olan pratik iddialar, Fireworks'ün o lansman yazısında bildirdikleridir. M3, M2.7'ye kıyasla 15 kata kadar daha hızlı uzun bağlam kod çözme hızına ulaşıyor, uzun bağlamda token başına hesaplama 1/20'ye düşüyor ve Fireworks, kağıt yeniden üretimi ve CUDA çekirdek optimizasyonu görevlerinde 12 ila 24 saatlik otonom çalışmalardan bahsediyor.
Uzun vadeli görevler zorludur çünkü bağlam asla büyümeyi durdurmaz. Bir ajanın saatlerce süren çalışması kod, günlükler, araç çıktıları ve ara muhakeme biriktirir ve standart yoğun dikkat ile her yeni token etkili bir şekilde hepsini yeniden okur. Maliyet, uzunluğun karesiyle büyür, bu nedenle bir ajan ne kadar uzun çalışırsa, her adım o kadar pahalı hale gelir. Çoğu uzun süreli ajanın kısa kesilmesinin pratik nedeni budur.
Bunu değiştiren mekanizma, MiniMax'ın son raporunda belgelenen MiniMax Sparse Attention (MSA)'dir, MiniMax Sparse Attention. MSA, modelin her adımda ne okuduğunu değiştirir. Dikkat etmeden önce, hafif bir ön filtreleme geçişi yapar: bir Dizin Dalı, bağlamı bloklar halinde puanlar, geçerli token ile en alakalı blokları seçer ve model yalnızca bu bloklara dikkat eder. Tüm kütüphaneyi değil, indeksi okur, bu da bağlam yüz binlerce token'a ulaştığında bile her adımın maliyetini kabaca sabit tutar.
MiniMax Sparse Attention: hafif bir Dizin Dalı, anahtar-değer bloklarını puanlar ve sorgu grubu başına en iyi k'yi seçer; ana dal yalnızca bu bloklara dikkat eder. Kaynak: MiniMax Sparse Attention makalesi.
M3 ile inşa ediyorsanız bunun anlamı:
- Her uzunlukta öngörülebilir maliyet. Makale Bk = 128 ve k = 16 olarak belirler, bu nedenle her sorgu ve GQA grubu 16 blok veya 2.048 anahtar-değer token seçer. Uzatılmış bir çalışma hala indeksleme yükü taşır, ancak ana dikkat bütçesi sabit kalır.
- Ucuz uzun bağlam. Makalenin model yapılandırmasında, aynı başlık düzeni altında yoğun GQA'ya kıyasla aşırı dizi uzunluklarında token başına dikkat FLOP'larında 28.4 kat azalma bildiriyorlar.
- Üretimde hızlı. Uzun dizi uzunluklarında H800'de, 14.2 kat ön doldurma ve 7.6 kat kod çözme duvar saati hızlanması bildiriyorlar. Ayrı top-k kıyaslaması, MiniMax'ın özel çekirdeğinin test edilen tüm ortamlarda torch.topk ve TileLang'e karşı en hızlı olduğunu söylüyor.
- Minimum kalite maliyeti. 109B MoE deneylerinde, makale token başına 6B aktif parametre bildiriyor ve MSA-CPT'nin uzun bağlam genişletmesinden sonra tam dikkat taban çizgisine yakın kaldığını söylüyor. Her sorgu 2.048 token'a dikkat ederken MMLU, GSM8K, HumanEval, RULER, HELMET ve diğer birçok kıyaslamayı değerlendiriyor.
Token başına dikkat FLOP'ları ve gecikme, dizi uzunluğu arttıkça MSA için neredeyse sabit kalırken, yoğun GQA (gruplanmış sorgu dikkati) keskin bir şekilde yükselir: aşırı dizi uzunluklarında 28.4 kat daha az hesaplama, 14.2 kat daha hızlı ön doldurma ve 7.6 kat daha hızlı kod çözme. Kaynak: MiniMax Sparse Attention makalesi.
Bu Ne Sağlıyor
İlginç olan kısım sadece M3'ün daha fazla token tutabilmesi değil. Uzun bağlamın, zaman içinde durum tutması gereken yinelemeli sistemlerin içinde yer alabilecek kadar ucuz ve hızlı hale gelmesidir.
- Kendini geliştiren ajanlar. Bu izleyeceğim ilk uygulama. Kendini geliştiren bir ajanın, bir sonraki değişikliği önerirken mevcut kodu, önceki başarısız düzenlemeleri, değerlendirme günlüklerini, kıyaslama sonuçlarını ve kendi hipotezlerini görünürde tutması gerekir. Seyrek dikkat değerlendirmeyi çözmez, ancak uzun süren önerme, doğrulama ve revize döngüsünün bağlam maliyeti altında çökme olasılığını büyük ölçüde azaltır.
- Depo ölçeğinde mühendislik. Fireworks, tam depo kod anlayışını ve güçlü ajan kodlamasını vurguluyor. Bu önemlidir çünkü gerçek mühendislik çalışması nadiren düzgün bir istem içine sığar. Bir kod tabanında hata ayıklama, gerilemeleri izleme ve çoklu dosya değişiklikleri yapma, depoyu, test çıktısını ve düzenleme geçmişini tek bir oturumda canlı tutabilen bir ajandan faydalanır.
- Bilimsel ve sistem araştırmaları. Fireworks, kağıt yeniden üretimi ve CUDA çekirdek optimizasyonu üzerinde uzun otonom çalışmalara işaret ediyor. Bunlar yararlı örneklerdir çünkü çalışma tek bir cevap değildir. Sürekliliğin ürün özelliği olduğu bir dizi deney, günlük, başarısızlık, düzeltme ve ölçümdür.
- Çok modlu uzun bağlam iş akışları. M3, sadece metin değil, yerel olarak çok modludur; görüntüler ve videolar sonradan eklenmemiştir. Uzun bağlamı yerel görüntü ve video anlayışıyla birleştirir, böylece tek bir çalışma metin, kod, ekran görüntüleri, diyagramlar ve video kareleri arasında birlikte akıl yürütebilir. Bu, bir mokap veya ekran görüntüsünden görselden koda, video analizi, çok modlu belge incelemesi ve uzun bir oturum boyunca kod ve araç izlerinin yanında görsel bağlamı canlı tutan ajanların önünü açar.
Modelin geliştiriciler için ilginç olmasının nedeni budur. Uzun bağlamı, belge okuma özelliğinden, hafıza, yineleme ve doğrulamaya ihtiyaç duyan ajanlar için bir yürütme alt katmanına dönüştürür.
Bunun neden şimdi geldiğini belirtmekte fayda var. MiniMax, seyrek dikkati M2 neslinde tanıttı ve altyapı henüz olgunlaşmadığı için bir kenara bıraktı. M3 için odak noktası çekirdeklerdi. MSA, bağlamı bloklara ayırır, her bloğu bitişik bellek erişimiyle bir kez okur ve yalnızca ilgili bloklara dikkat eder, bu da kaliteyi korurken diğer açık seyrek dikkat yöntemlerinden birkaç kat daha hızlı çalışmasını sağlar.
Bu, odaklandığım bağlam mühendisliği çalışmasıyla doğrudan bağlantılıdır. Yıllardır geliştiricileri bağlam penceresine neyin girdiğini düzenlemeye teşvik ettim. MSA, modelin pencere içinde neye dikkat edeceğini düzenlemeyi öğrenmesidir; aynı ilke bir katman aşağıya, mimariye iner.
Geliştiriciler ve araştırmacılar için bu, kısa bir demo ile güvenebileceğiniz bir araç arasındaki farktır. Bu, tek seferde tüm bir depoyu okuyan, tek bir kesintisiz oturumda tam bir kod tabanında hata ayıklayan veya saatlerce süren deneyler, günlükler ve revizyonlar boyunca bağlamı kaybetmeden bir araştırma görevini yürüten bir ajan anlamına gelir. MiniMax'ın kendi uzun vadeli çalışmalarında, en güçlü sonuç genellikle çoğu modelin platoya ulaşıp durmasından çok sonra, çok saatlik bir oturumun derinliklerinde ortaya çıktı. Uygun fiyatlı uzun bağlam, bir ajana bu tür bir kalıcılık kazandıran şeydir.
Bu en çok etkileyici bulduğum kısım. Geliştirdiğim ajanlar genellikle model zayıf olduğu için değil, uzun bir görevi sürdüremedikleri için başarısız oluyor ve güvenilir bir uzun bağlam, nihayet bunu ele alan temel altyapıdır.
MiniMax M3'e Başlarken
Teknik bir ekip için, @FireworksAI_HQ noktası operasyoneldir. M3'ün seyrek dikkat tasarımı, yalnızca sunum katmanı uzun bağlamda gecikme, verim ve maliyeti sabit tutabiliyorsa kullanışlı hale gelir. Fireworks, MiniMax'ın birinci taraf API çıkarımını desteklediğini, MiniMax model serisindeki en hızlı uç noktayı sunduğunu ve M3'ü sunucusuz ve talep üzerine dağıtım seçenekleriyle 1 milyon giriş token başına $0.60'tan fiyatlandırdığını söylüyor. Bu oranla M3, karşılaştırılabilir kullanım için GLM 5.2'den kabaca %75 daha düşük bir maliyete sahip, bu da hikayeyi daha büyük bir bağlam penceresinden çok, uzun vadeli ajanların üretimde ekonomik olarak çalışıp çalışamayacağına çeviriyor.
Fiyatlandırma kullanışlıdır çünkü M3'ü sadece yeni bir sınır modeli olarak değil, M2.7'den bir yükseltme yolu olarak yeniden çerçeveler. Fireworks, açık ağırlıklı lansman fiyatlandırmasının standart sunucusuz kullanım için M2.7 ile eşit seviyeye düştüğünü söylüyor, böylece ekipler bir önceki nesle göre prim ödemeden M3'ün uzun bağlamını ve yerel çok modlu anlayışını elde ediyor.
M3'ü test etmek için, diğer Fireworks modelleri için kullanacağınız aynı Fireworks sohbet tamamlama uç noktasını kullanın. Model kimliği accounts/fireworks/models/minimax-m3'tür ve model çok modlu olduğu için tek bir istek aynı mesajda metin ve resim URL'leri içerebilir.
1import json2import requests34url = "https://api.fireworks.ai/inference/v1/chat/completions"56payload = {7 "model": "accounts/fireworks/models/minimax-m3",8 "max_tokens": 32768,9 "temperature": 0.6,10 "top_p": 1,11 "top_k": 40,12 "messages": [13 {14 "role": "user",15 "content": [16 {"type": "text", "text": "Bu görseli tanımlayabilir misin?"},17 {18 "type": "image_url",19 "image_url": {20 "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?auto=format&fit=crop&w=1770&q=80"21 },22 },23 ],24 }25 ],26}2728headers = {29 "Accept": "application/json",30 "Content-Type": "application/json",31 "Authorization": "Bearer <FIREWORKS_API_KEY>",32}3334response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=120)35response.raise_for_status()36print(response.json())
Daha zorlu ajan veya muhakeme görevleri için yüke "thinking": {"type": "enabled"} ekleyin. Üretim iş yükleri için Fireworks, sunucusuzu değerlendirmeye giden en hızlı yol ve talep üzerine dağıtımları öngörülebilir verimlilik seçeneği olarak konumlandırıyor.
Buradan deneyin:Fireworks AI
