**
تصف OpenAI نموذج GPT 6 Astra بأنه النموذج الأكثر قدرة وتوافقًا حتى الآن.
ذهب جريج بروكمان إلى أبعد من ذلك، قائلاً إنه سيكون من المعقول اعتبار Astra شكلاً مبكرًا من الذكاء العام الاصطناعي.
كما أصبح النموذج الأول الذي يتجاوز عتبة "الحرج" في OpenAI للأمن السيبراني. وفقًا للشركة، يمكنه اكتشاف نقاط ضعف غير معروفة سابقًا وبناء استغلالات عملية بتوجيه بشري محدود.
هذه الادعاءات دراماتيكية، لكنها ليست الجزء الأهم من الإصدار.
التغيير الحقيقي هو في البنية المعمارية.
يمرر نموذج اللغة التقليدي المعلومات عبر سلسلة ثابتة من كتل المحولات ويولد الرمز التالي. يمكن لـ Astra معالجة حالته الداخلية عبر نفس الكتل الحسابية عدة مرات قبل أن يُظهر للمستخدم كلمة واحدة.
لا يقتصر الأمر على توليد سلسلة أطول من الأفكار.
بل يقضي وقتًا أطول في التفكير قبل الإجابة.
1 كيف تعمل نماذج اللغة الحديثة
تخيل أنك تكتب:
إيفرست هي...
يجب على النموذج أن يتنبأ بما سيأتي بعد ذلك.
تحدد آلية الانتباه أي أجزاء من السياق مهمة. كلمة إيفرست تنشط مفاهيم ذات صلة مثل الجبال، الارتفاع، جبال الهيمالايا، نيبال، التبت، التسلق، والبعثات الاستكشافية.
ثم يجمع النموذج هذه الارتباطات مع السياق المحيط. في معظم الحالات، يصبح استمرار مثل "أعلى جبل على وجه الأرض" محتملاً للغاية.
داخل محول تقليدي، تتحرك هذه التمثيلات عبر سلسلة من الكتل. كل كتلة تحولها مرة واحدة وتمرر النتيجة إلى الكتلة التالية.
إذا كان النموذج يحتوي على 40 كتلة، فإن الحالة المخفية تتحرك عبر جميع الكتل الأربعين بالتسلسل. يتم تحويل التمثيل النهائي إلى توزيع احتمالي للرمز التالي.
المزيد من الكتل يعني عادةً عمقًا حسابيًا أكبر. يمكن للنموذج الأعمق إجراء تحويلات أكثر قبل الالتزام بإجابة.
لكن إضافة الكتل يزيد أيضًا من عدد المعلمات، ومتطلبات الذاكرة، وتكلفة التدريب.
كان الافتراض المعتاد بسيطًا: إذا كنت تريد نموذجًا أعمق، فأنت بحاجة إلى بناء مجموعة أكبر من الطبقات.
البنية الحلقية تغير هذا المبدأ.
2 ما الذي تغيره البنية الحلقية
وفقًا لتقارير من The Information، يستخدم GPT 6 Astra بنية محول حلقية.
لم تنشر OpenAI مواصفات فنية كاملة، لذا يبقى التنفيذ الدقيق خاصًا. لكن الآلية العامة مفهومة جيدًا بالفعل من الأبحاث المنشورة.
بدلاً من إرسال الحالة المخفية عبر كل كتلة مرة واحدة فقط، يمكن للنموذج إعادة النتيجة إلى كتلة حسابية ومعالجتها مرة أخرى.
فكر في الأمر كمسودة داخلية.
ينتج النموذج تمثيلاً أوليًا، ويرسله عبر نفس الأوزان مرة أخرى، ويحسنه، ويكرر العملية عدة مرات. فقط بعد اكتمال الحلقة يظهر الرمز المرئي التالي.

يبقى عدد المعلمات كما هو. تبقى الأوزان داخل كتلة واحدة، وينمو الحساب مع عدد الحلقات، ويتم إصدار الرمز النهائي فقط.
التفصيل الرئيسي هو أن عدد المعلمات لا يزيد بالضرورة.
يتم إعادة استخدام نفس الأوزان في كل تمريرة.
ما يزيد هو مقدار الحساب.
في المحول التقليدي، ينتقل الرمز عبر سلسلة من الكتل المختلفة. في المحول الحلقي، يمكنه الانتقال عبر نفس البنية المشتركة عدة مرات.
يصبح النموذج أعمق من خلال الحساب دون أن يصبح أكبر من خلال عدد المعلمات.
يخلق هذا مقايضة جديدة:
- المزيد من المعلمات يتطلب المزيد من الذاكرة
- المزيد من الحلقات يتطلب المزيد من الحساب
- يمكن لنموذج واحد أن ينفق مقادير مختلفة من الحساب على مهام مختلفة
النقطة الأخيرة مهمة بشكل خاص. يمكن أن يتغير العمق الحسابي دون إنشاء نموذج جديد.
3 كيف يتم تدريب العمق المتكرر
مجرد وضع كتلة محول داخل حلقة ليس كافيًا.
إذا كان النموذج يقوم دائمًا بـ 32 تمريرة بالضبط أثناء التدريب، فقد يتعلم الاعتماد على موضع كل خطوة. قد تتعلم التمريرة الأولى وظيفة واحدة، والعاشرة أخرى، والثانية والثلاثون قد تصبح طبقة إخراج ثابتة.
ستكون النتيجة شبكة تقليدية من 32 طبقة متنكرة في شكل حلقة.
يحل الباحثون هذه المشكلة عن طريق تغيير عدد التمريرات المتكررة أثناء التدريب.
واحدة من أوضح العروض التوضيحية جاءت من نموذج العمق المتكرر Huginn. درب منشئوه شبكة بحجم 3.5 مليار معلمة على حوالي 800 مليار رمز.
في كل خطوة تدريب، تم أخذ عدد الحلقات من توزيع بمتوسط قريب من 32. قد تتلقى إحدى الأمثلة أربع تمريرات، وأخرى 17، وأخرى 40، وأخرى قريبة من 90.
لم يستطع النموذج معرفة مسبقًا أي تمريرة ستكون الأخيرة.
لذلك كان عليه أن يتعلم شيئًا أكثر عمومية من سلسلة ثابتة من العمليات.
كان عليه أن يتعلم كيفية تحسين حالته الداخلية الحالية.

الملخص من ورقة العمق المتكرر على arXiv
التدريب عبر عشرات الخطوات المتكررة يخلق مشكلة أخرى: الذاكرة.
سيتطلب الانتشار العكسي القياسي تخزين التنشيطات الوسيطة من كل حلقة. مع التكرارات الكافية، تصبح تكلفة الذاكرة هائلة.
استخدم باحثو Huginn حلاً عمليًا. يمكن أن يعمل التمرير الأمامي لعدة حلقات، لكن تم حساب التدرجات فقط من خلال الحلقات الثماني الأخيرة.
لا تزال التمريرات السابقة تؤثر على النتيجة النهائية، لكن تاريخ تنشيطها الكامل لم يعد بحاجة للبقاء في الذاكرة.
هذا مشابه للانتشار العكسي المبتور عبر الزمن. الفرق هو أن التكرار يحدث عبر العمق الحسابي بدلاً من عبر الكلمات في تسلسل.

يتم أخذ عدد الحلقات من عينة في كل خطوة تدريب، بينما يتم حساب التدرج فقط من خلال التمريرات الثماني الأخيرة.
لا يتم تعليم النموذج أداء سلسلة صارمة من 32 عملية.
يتم تعليمه تحريك حالته المخفية نحو إجابة مفيدة بغض النظر عن موعد إيقاف العملية.
هذا يغير معنى العمق.
لم يعد العمق مجرد خاصية يختارها المهندسون قبل التدريب. يمكن أن يصبح متغيرًا أثناء الاستدلال.
4 الحساب التكيفي أثناء الاستدلال
تعمل معظم ضوابط التفكير الحالية على مستوى الرموز المرئية.
إذا طُلب من النموذج التفكير لفترة أطول، فإنه يولد سلسلة أطول من الأفكار، ويستخدم المزيد من رموز الإخراج، أو ينشئ نصًا وسيطًا إضافيًا.
تقدم البنية الحلقية آلية مختلفة.
يمكن أن يتغير عدد التمريرات الداخلية دون تعديل الأوزان ودون إجبار النموذج على كتابة شرح أطول.
قد تتلقى مهمة بسيطة أربع حلقات.
قد تتلقى برهان رياضي صعب 32 حلقة.
قد تتلقى مشكلة برمجة معقدة 64 حلقة.
يبقى النموذج كما هو. فقط مقدار الحساب الداخلي يتغير.

تبقى الأوزان ثابتة. فقط عدد التمريرات الداخلية المستخدمة لمعالجة كل رمز يتغير.
تظهر تجارب العمق المتكرر المنشورة بالفعل النمط المتوقع.
يتحسن الأداء بسرعة خلال الحلقات الأولى. ثم تصبح المكاسب أصغر حتى تقترب المنحنيات من مرحلة الثبات.
هذا يشير إلى أن الحالة المخفية تتقارب.
تقوم التمريرات المبكرة بتصحيحات كبيرة. تحسن التمريرات اللاحقة التفاصيل الدقيقة. في النهاية، يتوقف الحساب الإضافي عن إنتاج تحسينات ذات معنى.
يمكن لنظام مستقبلي اكتشاف تلك اللحظة تلقائيًا.
بدلاً من تعيين عدد حلقات ثابت لكل طلب، يمكن للنموذج مواصلة المعالجة حتى تصبح حالته المخفية مستقرة بما فيه الكفاية. ستكون الرموز السهلة رخيصة. وستتلقى الرموز الصعبة المزيد من الحساب.
سيخلق ذلك عمقًا حسابيًا تكيفيًا حقيقيًا.
لن يعد التفكير لفترة أطول يعني بالضرورة الكتابة أكثر.
5 البحث والنتائج العملية المبكرة
إعادة استخدام طبقات المحول ليست فكرة جديدة.
قدمت المحولات العالمية المعالجة المتكررة في عام 2018. قلل ALBERT عدد المعلمات من خلال مشاركة الأوزان عبر الطبقات. استكشف Mixture of Recursions توجيه الرموز عبر مقادير مختلفة من الحساب.
يوفر نموذج Nanbeige4.2 3B المفتوح مثالاً مباشرًا بشكل خاص.
يحتوي تكوينه على 22 طبقة و num_loops: 2. في الواقع، ينتقل النموذج عبر تلك الطبقات مرتين. لديه تقريبًا عدد معلمات شبكة من 22 طبقة ولكن تقريبًا العمق الحسابي لشبكة من 44 طبقة.

تكوين Nanbeige4.2 3B على Hugging Face
اثنان وعشرون طبقة، num_loops: 2، وترخيص Apache 2.0. الآلية مرئية بالفعل في تكوين نموذج مفتوح.
لسنوات، بقيت تصاميم المحولات المتكررة أفكارًا بحثية مثيرة للاهتمام بدلاً من النهج السائد.
العنصر المفقود كان أدلة قوية على قابلية التوسع.
في الأول من سبتمبر، نشرت مجموعة من الباحثين SMELT، وهي دراسة مصممة لمقارنة المحولات الحلقية والتقليدية في ظل ظروف متطابقة.
تحكموا في عدد المعلمات، وحساب التدريب، وحجم ذاكرة التخزين المؤقت KV. تحت تلك القيود، تطلبت النماذج الحلقية 6.8% إلى 18% أقل من حساب التدريب للوصول إلى نفس مستوى الأداء.
ظهرت أكبر المكاسب على الكود.

الملخص من ورقة SMELT على arXiv
مع مطابقة الحساب والمعلمات وذاكرة التخزين المؤقت KV، توفر الحلقات 6.8% إلى 18% من حساب التدريب، مع أقوى المكاسب على الكود.
لاحظ الباحثون أيضًا تغيرًا في سلوك الانتباه.
في المحولات التقليدية، غالبًا ما تصبح الرموز الأولى في التسلسل بالوعات انتباه. تتلقى قدرًا غير متناسب من الانتباه حتى عندما تكون أهميتها الدلالية محدودة.
بعد تمريرة ثانية عبر نفس الكتل، تحول انتباه النموذج نحو الرموز الأكثر صلة.
لم تكرر الحلقة الثانية الأولى ببساطة. لقد استخدمت نتيجة التمريرة الأولى كأساس لمعالجة أكثر انتقائية.
لا يثبت SMELT أن كل نموذج مستقبلي يجب أن يكون متكررًا. لكنه يظهر أن الحلقات تظل تنافسية بعد مطابقة الظروف التجريبية الرئيسية.
لم يعد السؤال هو ما إذا كان العمق المتكرر يمكن أن يعمل.
السؤال هو إلى أي مدى يمكن أن يتوسع.
6 قابلية التفسير والتحكم
نفس الميزة المعمارية التي تجعل الحلقات جذابة تعقد أيضًا مراقبة النموذج.
مع التفكير الصريح بسلسلة الأفكار، تظهر بعض الخطوات الوسيطة على الأقل كنص قابل للقراءة. يمكن للباحثين فحصها، والبحث عن أنماط مشبوهة، ومقارنة التفكير المذكور مع الإجابة النهائية.
يمكن للنموذج المتكرر إجراء المزيد من المعالجة داخل التنشيطات المخفية دون توليد أي نص.
جادل باك شليجيريس وريان جرينبلات بأن هذا قد يقلل من فائدة مراقبة سلسلة الأفكار. إذا انتقل المزيد من المعالجة إلى الحساب المخفي، فقد يكشف الشرح المرئي عن أقل حول كيفية وصول النموذج إلى نتيجته.
قدم سيباستيان راشكا وجهة نظر مضادة مهمة.
إعادة استخدام الأوزان لا تخلق تلقائيًا إدراكًا سريًا أو غير قابل للوصول. لا يزال من الممكن دراسة التنشيطات الداخلية باستخدام أدوات قابلية التفسير. الفرق الرئيسي هو أن النموذج قد يحتاج إلى رموز وسيطة مرئية أقل لأن المزيد من الحساب يحدث قبل بدء التوليد.
قال كبير العلماء في OpenAI جاكوب باتشوكي أيضًا أن الرسم البياني الحسابي لـ Astra يبقى ضمن عامل اثنين تقريبًا من عمق GPT 4 وأن الحلقة كانت محدودة عمدًا للحفاظ على قدرات المراقبة.
هذا يشير إلى تنفيذ مقيد بدلاً من عملية متكررة غير محدودة.
سلسلة الأفكار ليست مضمونة لتكون نسخة أمينة من الحساب الداخلي للنموذج في المقام الأول. تتم مكافأة النظام على إنتاج إجابات مفيدة، وليس على تقديم تقرير دقيق علميًا عن كل عملية مخفية.
يظهر بحث يشمل OpenAI و Anthropic و Google DeepMind أن شرح النموذج يمكن أن يحذف عوامل مهمة، أو يبرر قرارًا بعد فوات الأوان، أو يقدم مسارًا أنظف من الذي أثر بالفعل على النتيجة.
البنية الحلقية تجعل هذا التمييز أصعب في التجاهل.
قد يكون التفكير المرئي واجهة.
قد يحدث الحساب الرئيسي داخل النموذج قبل ظهور أي نص.
7 نتائج GPT 6 Astra
أكثر نتيجة مذهلة في المعايير لـ GPT 6 Astra هي درجة 99.9% على ARC AGI 3.
يبدو هذا الرقم شبه نهائي، لكنه يعتمد بشكل كبير على كيفية إجراء الاختبار.
أبرز سيمون ويليسون أن نتيجة 99.9% جاءت من أداة Provider Adapter المخصصة من OpenAI. تحت أداة ARC Prize القياسية، سجل نفس النموذج 62.7%.
النموذج لم يتغير.
بيئة التقييم هي التي تغيرت.

نفس النموذج ينتج درجتين مختلفتين بتكلفتي تشغيل مختلفتين.
تكلفة تشغيل OpenAI كانت حوالي 19,000 دولار. تكلفة التشغيل القياسية كانت حوالي 26,000 دولار.
الدرجة الأعلى بشكل ملحوظ تم إنتاجها أيضًا بواسطة الإعداد الأرخص.
هذا لا يجعل النتيجة غير صالحة بالضرورة. قد يتفاعل المحول المخصص مع النموذج بشكل أكثر فعالية أو يكشف عن قدرات يفوتها إطار التقييم العام.
لكن لا يمكن تفسير الرقم الرئيسي بشكل منفصل عن الظروف التي أنتجته.

GPT 6 Astra على ARC AGI 3
نموذج واحد، أداتا تقييم، وفجوة قدرها 37.2 نقطة مئوية.
التقييمات الأخرى أقل دراماتيكية.
على مؤشر الذكاء الاصطناعي التحليلي Artificial Analysis Intelligence Index، تسجل Astra تقريبًا على قدم المساواة مع GPT 5.6 Sol وحوالي خمس نقاط أقل من Claude Fable 5.1.
قد تكون ميزتها العملية الأكثر هي الكفاءة في المهام الوكيلة، حيث يمكنها تحقيق أداء تنافسي بتكلفة أقل.
تظهر المعايير ما يمكن للنموذج تحقيقه. تساعد البنية المعمارية في شرح من أين تأتي تلك القدرات وكيف قد تتطور.
8 ماذا يعني هذا لمستقبل الذكاء الاصطناعي
لسنوات، كان توسيع نطاق نماذج اللغة يعني بشكل أساسي إضافة المعلمات، وإضافة البيانات، وبناء مجموعات أكبر ثابتة من كتل المحولات.
كل جيل جديد أصبح أكبر، وأكثر تكلفة، وأكثر تطلبًا في التشغيل.
يشير GPT 6 Astra إلى مسار آخر.
يمكن للنموذج إعادة استخدام نفس المعلمات، وتخصيص المزيد من الحساب للمهام الصعبة، وتحسين تمثيله الداخلي قبل إنتاج كلمته الأولى.
هذا يفصل حجم النموذج عن عمق تفكيره.
بدلاً من اتباع مسار حسابي ثابت واحد، يمكن للنظام ضبط مقدار العمل وفقًا لصعوبة مشكلة معينة.
يمكن أن يغير هذا أداء النموذج واقتصاديات استخدام الذكاء الاصطناعي. يمكن لنفس الذكاء أن يعمل في وضع سريع وغير مكلف للطلبات البسيطة، ثم يزيد عمقه الحسابي عندما تتطلب المهمة حقًا المزيد من التفكير.
التكرار يعود إلى نماذج اللغة. هذه المرة، لا يعمل بشكل أساسي بين الكلمات، بل داخل العملية التي تخلقها.
قد لا يصبح الجيل التالي من الأنظمة أكثر قوة فقط لأنها تحتوي على المزيد من المعلمات.
قد تكون ميزتها المميزة هي معرفة متى تم العثور على إجابة جيدة ومتى يستحق الأمر المرور عبر الحلقة الداخلية مرة أخرى.
المصادر
- إعلان OpenAI عن GPT 6 Astra
- جريج بروكمان حول GPT 6 Astra و AGI
- GPT 6 Astra وعتبة الأمن السيبراني الحرجة
- قائمة القراءة الموصى بها من إيليا سوتسكيفر للتعلم العميق
- تقرير The Verge عن Astra والمحولات الحلقية
- توسيع نطاق وقت حساب الاختبار مع التفكير الكامن
- Mixture of Recursions
- Nanbeige4.2 3B على Hugging Face
- SMELT قوانين التوسع لحساب مطابق لمحولات MoE الحلقية
- مخاوف سلامة الذكاء الاصطناعي حول بنية التفكير في Astra
- تحليل سيباستيان راشكا لـ Astra والمحولات الحلقية
- قابلية مراقبة سلسلة الأفكار
- تحليل سيمون ويليسون لـ GPT 6 Astra





