ماذا يحدث عندما يبدأ الذكاء الاصطناعي في تطوير نفسه؟

تظهر Astra مدى التقدم الذي أحرزه الذكاء الاصطناعي. ما الذي يدفعه إلى أبعد من ذلك؟

يعتمد التقدم المستمر لأكثر النماذج قدرة اليوم على قرارات أكثر ذكاءً قبل التدريب، واستراتيجيات أفضل أثناء التدريب، وبنية تحتية أكثر كفاءة تدعم كليهما - وهو عمل لا يزال يقوده باحثون بشريون إلى حد كبير. عندما يتمكن الذكاء الاصطناعي من متابعة هذه التحسينات بشكل متكرر، تتغير وتيرة التقدم بشكل جوهري: كل تقدم تم التحقق منه يعزز الدورة التالية.

لهذا السبب بنينا نظام أبحاث الذكاء الاصطناعي الآلي من Apex Intelligence لاكتشاف والتحقق من صحة التحسينات عبر حزم تدريب الذكاء الاصطناعي.

في تقييمه الأول، حقق نظامنا ثلاثة أرقام قياسية رسمية جديدة (SOTA) على SLDBench SimpleTES، وGPUMode TriMul (H100)، وMLS-Bench Fused Causal Attention Kernel، حيث تفوقت نتيجته في TriMul على TTT-Discover من فريق يضم باحثين من Stanford وNVIDIA ومؤسسات أخرى. على NanoChat Autoresearch، تفوقت نتيجته B200 على النتائج المنشورة من كل من Recursive SuperIntelligence وTencent Hunyuan's Hyra، مما وضعه بالقرب من SOTA العام لتدريب نماذج اللغة بميزانية ثابتة.

يوضح هذا أن نموذج البحث المتكرر الآلي من Apex يعمل على مستوى - وفي بعض الحالات يتجاوز - أفضل الهندسة البشرية وأحدث الأنظمة الآلية في التنبؤ بتوسيع نطاق النماذج، وتدريب نماذج اللغة بميزانية ثابتة، وأداء نواة GPU.

داخل كل معيار، تعمل دورة البحث بشكل مستقل: يحدد النظام ما يجب تحسينه، ويختبر أفكاره، ويتحقق من النتائج، ويتعلم من الأدلة. تخلق هذه النتائج على مستوى الحدود المتقدمة نقاط انطلاق أقوى للدورات التي تليها - وهذه هي الطريقة التي يصبح بها التحسين متكررًا.

التقييم الأول: SLDBench (بروتوكول SimpleTES ذو المهام الأربع)

قبل أن يبدأ تشغيل تدريب كبير، يجب على الباحثين التنبؤ بالأداء على نطاقات لا يمكنهم تحمل تكلفة اختبارها مباشرة. توجه قوانين التوسع القرارات المتعلقة بحجم النموذج، وتكوين البيانات، ومعدل التعلم، وحجم الدفعة، والحوسبة؛ أي قانون يناسب التجارب الصغيرة ولكن استقراءه ضعيف يمكن أن يضلل ميزانية التدريب بأكملها.

يحول SLDBench هذا الغموض إلى مهمة اكتشاف قابلة للقياس مبنية من أكثر من 5000 تجربة تدريب LLM منشورة. يجب على كل نظام إنتاج قانون رمزي وإجراءات تركيب تعمم على أنظمة التوسع المحجوزة. باتباع تقييم المهام الأربع المستخدم من قبل SimpleTES، يتم اختبار نظام الذكاء الاصطناعي لدينا على التوسع المتوازي، وتوسع مزيج المجالات، والتوسع المشترك لمعدل التعلم/حجم الدفعة، وتوسع الحوسبة على شكل حرف U.

تحت المقيمين العموميين الثابتين، يحسن نظامنا المرجع العام السابق في كل مهمة، رافعًا متوسط المهام الأربع من 0.8613 إلى 0.8846 (+2.71٪) . يأتي أكبر مكسب في توسع الحوسبة على شكل حرف U، حيث ترتفع النتيجة من 0.4975 إلى 0.5761 (+15.80٪) . يتحسن التوسع المشترك لمعدل التعلم/حجم الدفعة من 0.9506 إلى 0.9650 (+1.51٪) ، مع مكاسب إضافية في التوسع المتوازي وتوسع مزيج المجالات. تقيس هذه الدرجات الأداء على الأنظمة المحجوزة، مما يكافئ القوانين التي تظل دقيقة بعد التجارب المستخدمة لتركيبها.

الشكل 1: يعمل نظام أبحاث الذكاء الاصطناعي لدينا على تحسين المرجع العام السابق عبر جميع مهام SLDBench الأربع المختارة، رافعًا متوسط الدرجة المحجوزة من 0.8613 إلى 0.8846. أكبر مكسب هو في توسع الحوسبة على شكل حرف U. الأعلى أفضل.

يظهر التقدم الأكثر وضوحًا على مستوى الطريقة في توسع الحوسبة على شكل حرف U. يمثل نظام الذكاء الاصطناعي لدينا المنحنى كمجموع لاتجاه توسع مستمر وتأثير نطاق محلي يظهر على مدى نطاق حوسبة محدود ثم يتلاشى. يمنع هذا الهيكل انعكاسًا مؤقتًا في البيانات المرصودة من أن يتم إسقاطه إلى أجل غير مسمى.

يصبح التمييز حاسمًا عندما يحجب المقيم المرحلة النهائية للمنحنى. يمكن للمعادلات المرنة إعادة إنتاج الانحناء الملحوظ مع الاستقراء في الاتجاه الخاطئ؛ يؤدي النمذجة الصريحة لبداية ومدة واضمحلال المكون العابر إلى تنبؤات أكثر دقة بعد نقطة التحول.

النتيجة ذات دلالة تقنية لأن التحليل يحسن الدقة المحجوزة مع بقائه قابلاً للتفسير والاختبار. يقترح فرضية قابلة لإعادة الاستخدام لاكتشاف قانون التوسع: قد يعكس الانعكاس الظاهري نطاقًا مؤقتًا يعلو اتجاه توسع طويل الأجل.

التقييم الثاني: NanoChat Autoresearch

يجبر التدريب بميزانية ثابتة كل فكرة على كسب مكانها: يجب أن تأتي التحسينات من استخدام نفس الوقت والأجهزة بشكل أكثر فعالية. هذا يجعل NanoChat Autoresearch اختبارًا مباشرًا لما إذا كان نظام الذكاء الاصطناعي يمكنه تحويل التجريب السريع إلى تنفيذ تدريب نموذج أقوى.

تم إصدار NanoChat Autoresearch بواسطة Andrej Karpathy في مارس 2026، ويعطي الوكيل GPU واحد وحرية تعديل بنية النموذج، والمحسن، والمعلمات الفائقة، ورمز التدريب. تتلقى كل تجربة نفس الميزانية البالغة خمس دقائق ويتم تسجيلها بواسطة بتات التحقق لكل بايت (val_bpb؛ الأقل أفضل). توسع الإعداد منذ ذلك الحين إلى autoresearch@home، حيث يشارك المشاركون البشريون ووكلاء الذكاء الاصطناعي التجارب ويتنافسون ضد أقوى الحلول العامة.

تحت الإعداد الثابت B200 الفردي لمدة 300 ثانية، يصل نظام الذكاء الاصطناعي لدينا إلى 0.892426 val_bpb، مما يضعه بالقرب من الحدود العامة. هذا يتجاوز أفضل تشغيل فردي منشور لـ Recursive SuperIntelligence في يونيو 2026 البالغ 0.903891 ومتوسط 10 بذور البالغ 0.9108745، بالإضافة إلى نتيجة Hyra من Tencent Hunyuan في يوليو 2026 البالغة 0.901543. يقترب من قائد لوحة المتصدرين العامة اعتبارًا من سبتمبر 2026، ScienceGuru من AutoTrust AI، عند 0.889522.

الشكل 2: مقارنة BPB للتحقق في إطار ميزانية التدريب الثابتة B200 الفردية لمدة 300 ثانية. الأقل أفضل.

يأتي التحسين الحاسم من حمل الندرة n-gram خلال حساب التدريب. يوضح تنفيذ ScienceGuru قيمة ذكريات n-gram الكبيرة، ومع ذلك فإن كل دفعة تصل فقط إلى جزء صغير من صفوفها. يحدد نظام الذكاء الاصطناعي لدينا تكاليف التدرج الكثيفة التي تبقى في مسار التدريب ويستبدلها بتمرير خلفي مضغوط يقوم بتحديث الصفوف المستخدمة فقط من قبل الدفعة الحالية.

يقلل هذا التغيير ذروة ذاكرة التدريب من حوالي 177.7 جيجابايت إلى 140.6 جيجابايت - بانخفاض 20.9٪ - مع الحفاظ على جودة قريبة من SOTA. ضمن نفس الميزانية البالغة 300 ثانية، يصل نظام الذكاء الاصطناعي لدينا إلى 0.892426 val_bpb أثناء معالجة حوالي 4.5٪ رموز أقل من تنفيذ ScienceGuru، مما يظهر أن الجودة القريبة من SOTA لا تعتمد على إنتاجية رمز أعلى.

يمد نظام الذكاء الاصطناعي لدينا نفس المبدأ عبر مسار الوصول إلى الذاكرة بالكامل. يدمج عمليتي بحث في جدول n-gram، والتسلسل، واكتشاف الصف النشط، وتسجيل الصف في نواة Triton واحدة. يعيد التمرير الخلفي استخدام تعيين الصف إلى الفتحة الناتج مباشرة، مما يلغي عمل الفهرسة المكرر ويحافظ على الندرة من البحث من خلال تحديث التدرج.

هذه نتيجة أنظمة قوية لأن النموذج المتناثر لم يعد يدفع تكاليف الأنظمة الكثيفة. قد ينتقل نفس المبدأ إلى أعباء عمل أخرى مبنية حول جداول التضمين أو الذاكرة الكبيرة عندما تلمس كل دفعة فقط مجموعة فرعية صغيرة من الصفوف.

التقييم الثالث: GPUMode TriMul H100

بمجرد تحسين نواة GPU بشكل كبير، نادرًا ما يوجد زمن الوصول المتبقي في العملية الأكثر وضوحًا. تنتقل الاختناقات عبر حدود الدمج، وتخطيطات الموتر، ومسارات الوصول إلى الذاكرة، مما يجعل المزيد من التقدم اختبارًا لاكتشاف الاختناق بقدر ما هو اختبار لتوليد النواة.

تستهدف مهمة GPUMode TriMul تحديث الضرب المثلثي الصادر المستخدم في نماذج بنية البروتين من فئة AlphaFold. يجب على المشاركين إنتاج تنفيذ صحيح عدديًا يقلل من متوسط زمن الوصول الهندسي عبر سبعة أشكال إدخال ثابتة على NVIDIA H100. اجتذبت المهمة حلولًا بشرية وآلية قوية، بما في ذلك TTT-Discover، المنشور في يناير 2026 من قبل باحثين من Stanford وNVIDIA وAstera Institute وUC San Diego وTogether AI.

عبر أشكال H100 السبعة، يصل نظام الذكاء الاصطناعي لدينا إلى متوسط زمن وصول هندسي يبلغ 1,036.1 ميكروثانية. في تقييمنا المزدوج على نفس الجهاز، يحسن هذا أقوى مقارنة بشرية مصممة، stashuk-olek (1,064.9 ميكروثانية)، بنسبة 2.71٪. النتيجة أيضًا أقل عدديًا من التطبيقات المبلغ عنها بشكل منفصل من shiyegao CUDA (1,074 ميكروثانية)، وZeyu Shen Triton (1,140 ميكروثانية)، وTTT-Discover (1,161 ميكروثانية)، بينما تقع ضمن 0.59٪ من 1,030 ميكروثانية المبلغ عنها بشكل منفصل لـ K-Search.

الشكل 3: متوسط زمن الوصول الهندسي عبر أعباء عمل GPUMode TriMul H100 السبعة. يصل نظام الذكاء الاصطناعي لدينا إلى 1,036.1 ميكروثانية. الأقل أفضل.

القيم العامة مأخوذة من تقاريرها أو سجلات التقييم الخاصة بها وليست قياسات مزدوجة على نفس الجهاز. يتم قياس نتيجتنا 1,036.1 ميكروثانية محليًا باستخدام المقيم الرسمي.

تستخدم تطبيقات TriMul عالية الأداء الحالية بالفعل الدمج، وضرب المصفوفات المتخصص، وتخصص الشكل، ونقل البيانات الواعي بالتخطيط. يدفع نظامنا في البداية دمج جانب المنتج إلى أبعد من ذلك، ثم يكتشف عوائد متناقصة ومعتمدة على الشكل مع زيادة ضغط السجل. وبالتالي يحول البحث نحو كيفية استهلاك مخرجات المنتج.

بالنسبة للعديد من أشكال عبء العمل، يحدد نظام الذكاء الاصطناعي لدينا حدود BMM→LayerNorm كمصدر زمن الوصول المتبقي. يقوم التنفيذ الناتج بتحميل مخرجات BMM على طول البعد المادي المتصل ويقوم بإجراء التحويل المطلوب في السجلات قبل LayerNorm.

النتيجة ذات دلالة تقنية لأن نظام الذكاء الاصطناعي لدينا يغير فرضية البحث نفسها: يتعرف عندما يكون تحسين جانب المنتج قد تشبع، ويعيد تحديد موقع الاختناق عبر حدود BMM→LayerNorm، ويحول هدف التحسين وفقًا لذلك. تظهر خططه المعتمدة على الشكل أيضًا أن النظام يمكنه التكيف مع تحرك الاختناقات عبر أعباء العمل - وهي قدرة ذات قيمة أوسع من ضبط تصميم نواة ثابت.

التقييم الرابع: MLS-Bench — نواة الانتباه السببي المدمجة (H100)

الانتباه هو عنق زجاجة رئيسي للحوسبة والذاكرة في تدريب واستدلال Transformer، لذا فإن كفاءته تؤثر بشكل مباشر على سرعة النموذج وتكلفته. نوى الانتباه المدمجة الحديثة محسّنة بالفعل بشكل كبير، مما يترك مساحة صغيرة واضحة للتحسين؛ تتطلب المكاسب الإضافية إعادة النظر في الخوارزمية العددية جنبًا إلى جنب مع الجدولة ونقل الذاكرة.

تطلب مهمة الانتباه السببي المدمج من MLS-Bench من أنظمة الذكاء الاصطناعي تنفيذ تمرير أمامي للانتباه الذاتي المدمج من OpenAI Triton على NVIDIA H100، وتعظيم الإنتاجية عبر ثلاثة تكوينات للانتباه السببي، والحفاظ على خطأ مطلق أقصى أقل من 1e-2. يتضمن المعيار نتائج من نماذج متطورة مثل Claude Opus 4.6 وGPT-5.4 وGemini 3.1 Pro، مما يوفر خطوط أساس قوية من Anthropic وOpenAI وGoogle DeepMind.

عبر تكوينات الانتباه المدمج الثلاثة، يصل نظامنا إلى 430.7 و468.4 و451.7 TFLOP/s عبر أبعاد الرأس 64 و128 و256. تحدد هذه النتائج أفضل جديد في جميع التكوينات الثلاثة، محسّنة النتائج الرائدة السابقة بنسبة 27.18٪ و15.63٪ و17.11٪ على التوالي.

الشكل 4: مقارنة الإنتاجية على أعباء عمل الانتباه السببي المدمج الثلاثة من MLS-Bench.

جاء أكبر تحسين من تبسيط مسار softmax عبر الإنترنت. تحافظ تطبيقات FlashAttention القياسية على حد أقصى قيد التشغيل وتعيد قياس إحصائيات softmax المتراكمة بشكل متكرر من أجل الاستقرار العددي. وجد نظام البحث الآلي لدينا أنه، في أعباء عمل MLS-Bench، تبقى درجات الانتباه المقاسة ضمن نطاق ضيق بما يكفي، مما يسمح بإزالة إعادة القياس المتكررة هذه مع الاستمرار في تلبية التفاوت العددي للمعيار.

يقوم softmax الخالي من إعادة القياس الناتج بتجميع الأسي والقيم الموزونة مباشرة ويطبعها مرة واحدة في النهاية. أدى هذا إلى تحسين الإنتاجية بنسبة 21.0٪ و8.5٪ و19.3٪ لأبعاد الرأس 64 و128 و256 على التوالي.

جاءت مكاسب إضافية من تحسين الجدولة الخاصة بالشكل ونقل الذاكرة، بما في ذلك جدولة LPT وTMA. كان المسار الخالي من إعادة القياس هو النتيجة الأكثر إثارة للاهتمام لأنه غير افتراضًا داخل الخوارزمية العددية نفسها: آلية استقرار مصممة لنطاق تشغيل أوسع لم تكن ضرورية لعبء العمل الذي يتم تقييمه.

على نطاق أوسع، تشير هذه النتيجة إلى فرصة أوسع مفادها أنه حتى بالقرب من حدود الأنظمة، يمكن أن تأتي مكاسب إضافية من إعادة النظر في الافتراضات التي يتم التعامل معها عادةً على أنها ثابتة. في هذه الحالة، تجاوز نظام البحث الآلي من Apex مجرد ضبط معلمات وجداول نواة موجودة: لقد حدد ضمانًا عدديًا يمكن حذفه بأمان في ظل نظام تشغيل المعيار وحول تلك الملاحظة إلى مسار تنفيذ أسرع. هذا هو نوع السلوك الذي نهتم به: استخدام البحث ليس فقط لتحسين المعلمات والجداول، ولكن أيضًا لتحدي هيكل التطبيقات الراسخة.

ما وراء المعايير

المعيار يلتقط نتيجة. نظام الذكاء الاصطناعي المتكرر يحملها إلى الأمام. عبر أربعة معايير، أنتج نظام أبحاث الذكاء الاصطناعي لدينا تحسينات محققة على مستوى الحدود المتقدمة. تتبع عمليته حلقة من أربع مراحل: اكتشاف قيمة عالية غير معروفة، التحقق من الحلول المرشحة، التعلم من الأدلة، وتحسين الدورة التالية. الخطوة التالية هي النقل - تحويل التقدم الخاص بالمهمة إلى معرفة قابلة لإعادة الاستخدام تعزز الدورات التي تليها.

البحث يلد منحنى S التالي. الرؤية العلمية والبحث الجديد والأنظمة الهندسية تشق مسارات جديدة - والتي يحولها التنفيذ والتوسع بعد ذلك إلى صناعات في العالم الحقيقي. عندما يستقر منحنى S واحد، يتوقف المزيد من التقدم على فتح التالي. نعتقد أن الثورة التكنولوجية القادمة ستحددها قدرة الذكاء الاصطناعي على العمل كمحرك بحث أصلي.

الذكاء الاصطناعي ينتقل من مساعد إلى زميل عمل. الحكم البشري والخيال يوجهان ما هو مهم؛ يوسع الذكاء الاصطناعي ما يمكن استكشافه. معًا، يمكنهما اكتشاف اتجاهات جديدة، وإلهام أسئلة جديدة، وبناء نماذج أكثر قدرة - مما يخلق دورة معززة بين الاكتشاف الآلي والخيال البشري. تظهر Astra مدى التقدم الذي أحرزه الذكاء الاصطناعي. ما الذي يدفعه إلى أبعد من ذلك؟ القدرة على المساعدة في اكتشاف ما هو قادم.

نحن نفتح هذه النتائج لتفقدها وتعيد إنتاجها وتوسعها. الكود وسجلات التجارب والتطبيقات المكتشفة ومواد التقييم متاحة الآن على GitHub وموقعنا الإلكتروني.