في أبريل 1965، أعلنت وكالات الأنباء السوفيتية عن اكتشاف حضارة فائقة. وقد انطلق هذا الذعر كله من عمل رجل واحد: نيكولاي كارداشيف، عالم الفلك السوفيتي الذي استحوذ عليه السؤال التالي: إذا اكتشفتَ حضارة تتفوق بكثير على حضارتك، فهل ستتمكن من قول أي شيء دقيق وموثوق عنها؟
وقد اشتهر بفضل الحل الذي توصل إليه. فبدلاً من التركيز على الذكاء أو القصدية أو السلوك، وهي أمور معقدة للغاية ويصعب تقييمها، ابتكر نظرية حول كيفية استخدام الحضارات للطاقة. وحجته كانت أن الديناميكا الحرارية لا تكترث للذكاء.
لكن تبيّن في النهاية أن كل ذلك كان مجرد نجم زائف (كويزار). فالقياس كان صحيحاً؛ لكن لم يكن هناك كائن فضائي يقف خلف ذلك القياس.
تقييم الأداء في عصر الذكاء الفائق
بعد مرور 61 عاماً، نواجه اليوم ذعراً مشابهاً بشكل غريب: يبدو أننا على وشك ابتكار ذكاء سيتجاوز أذكى إنسان وُجد على الإطلاق. ومع ذلك، فمن الأهمية بمكان أن نكون قادرين على قول شيء ذي معنى عنه، أي أننا بحاجة إلى وضع معايير لتقييمه.
والسبب بسيط: تخصيص الموارد. فبغض النظر عن تفوقه الهائل في الذكاء، سنظل نرغب في الحصول على أفضل عائد مقابل وقتنا وأموالنا. لا أحد يستخدم Stockfish 13 في الشطرنج لإجراء تحليلات عميقة عندما يكون إصدار 2026 أفضل ببساطة.
فلماذا لا يمكننا الاكتفاء بمعايير التقييم الحالية إذن؟
المشكلة المباشرة هي التشبع. فالاختبار الثابت يتوقف عن كونه مفيداً في اللحظة التي تحقق فيها جميع النماذج درجة 100% فيه، وهذا ما يحدث بالفعل: فالمعايير التي كانت تُعتبر صعبة قبل ثلاث سنوات تتجاوزها الآن نماذج رخيصة. يمكنك الاستمرار في كتابة اختبارات أصعب، ولكن فقط حتى حدود أصعب اختبار يستطيع إنسان كتابته. وهذا يقودنا إلى المشكلة الحقيقية.
حتى الآن، كنا نقيس الذكاء في الغالب باستخدام اختبارات مغلقة. وعندما أقول "مغلقة"، فأنا أشير إلى الاختبارات التي نعرف نتيجتها قبل أن تبدأ (اختبارات الذكاء IQ، الاختبارات الرياضية، البرمجة...). ونحن نستخدم هذا النوع من الاختبارات لأسباب واضحة: 1. إنها موضوعية. 2. تقييمها سريع نسبياً. 3. الجمود المعتاد: فهذه هي الطريقة التي نختبر بها البشر عادةً.
ولكن بمجرد أن تبدأ في التفكير في تطبيق هذه الاختبارات على أنظمة ذكاء اصطناعي أكثر ذكاءً، تصبح المشكلة واضحة - فهذه الامتحانات مصممة لكي يقوم ذكاء متفوق بتقييم ذكاء أدنى منه: معلم وتلميذ. ولهذا السبب بالتحديد نحتاج إلى البدء في التفكير وتصميم نوع جديد من التقييم. فنحن، الذكاء الأدنى - التلميذ - سيتعين علينا تقييم ذكاء فائق (SI) - المعلم - مع ضمان الموضوعية في الوقت نفسه.
هذه المشكلة، أي كيف يمكن لذكاء أدنى أن يقيّم بدقة ذكاءً متفوقاً، أسميها "مشكلة كارداشيف"، وهي ما يثير شغفي الشخصي أكثر من أي شيء آخر (وهو السبب الذي دفعني لإنشاء Kardashevian.com).
معايير تقييم الذكاء الفائق في المستقبل
ما ينقذنا هو مبدأ واحد: التحقق من صحة إجابة مقترحة أسهل جذرياً من إيجاد تلك الإجابة. فكشف السودوكو يتطلب جهداً للحل؛ بينما التحقق من شبكة مملوءة يستغرق ثلاثين ثانية. وفي معظم الحالات، سيساعدنا مُحقِّق خارجي على أن نكون موضوعيين قدر الإمكان فيما يتعلق بجودة وذكاء هذه الأنظمة المتقدمة للغاية.
أرى 4 أنظمة تحقق خارجية مختلفة لمستقبل تقييم الأداء:
- العالم هو المُحقِّق. مهام مفتوحة النهاية: أهداف؛ وليس أسئلة وأجوبة. العالم هو من يُقيّم الهدف. وكلما كان الإنجاز أعلى أو أكثر تحسيناً، كان ذلك أفضل.
**- مثال: التداول الورقي لاستثمار القيمة في سوق الأسهم.
**
في هذا السيناريو، تكون تعقيدات العالم الحقيقي هائلة وديناميكية للغاية (تتغير وتتفاعل باستمرار) لدرجة تجعل تشبع هذا التحدي أمراً مستحيلاً عملياً. أخطط لكتابة مقال آخر لاحقاً حول سبب اعتقادي بأن استثمار القيمة يمثل اختباراً رائعاً للذكاء؛ والفكرة الرئيسية تكمن في الافتراض بأن النظام القادر على التنبؤ الموثوق بكيفية تصرف العالم، بما في ذلك البشر والأسواق، هو أحد أوضح علامات الذكاء.
2. القواعد واللعبة هما المُحقِّق. المنافسة. الشطرنج، مرة أخرى، يثبت أنه رغم وجود لاعبين يتفوقون على البشر، ما زلنا قادرين على معرفة أن النموذج X أفضل من النموذج Z. كما يتيح لنا نظام ELO، الذي نستخدمه في Kardashevian.com، ليس فقط رؤية الفائز، بل أيضاً الاحتفاظ بلوحة نتائج ذات دلالة إحصائية.
- مثال: الشطرنج، أو لعبة Go، أو أي لعبة أكثر تعقيداً إلى ما لا نهاية يمكن ابتكارها خصيصاً لهذا الغرض.
**
- الفيزياء والكيمياء هما المُحقِّق. الهندسة المعقدة. نقتصر في الاختبار على الفيزياء والكيمياء ونترك للطبيعة مهمة التقييم. **
- مثال: تصميم مادة ذات خاصية معينة، ثم تصنيعها في مختبر آلي واختبارها.
4. المنطق هو المُحقِّق. الإثبات الرسمي. الرياضيات مكتوبة بلغة يمكن للكمبيوتر التحقق منها.
- مثال: تحسين حد معروف أو حل فرضية مفتوحة في Lean.
المخاطر هي: حدود الحدود المعروفة هي حدود بشرية، وكذلك الفرضيات المطروحة. ومع ذلك، لا يزال من الصعب جداً الوصول إلى مرحلة التشبع.
KARDASHEVIAN.COM
**ما نقوم به:
**Kardashevian هو محاولة أولى لتطبيق هذه الأفكار الأربع، بُنيت في وقت فراغي وبميزانية صغيرة :)
كل ساحة تعمل بالطريقة نفسها: المدخلات ثابتة، النماذج تلتزم بقراراتها، ثم يقوم شيء لا يمكنها رؤيته أو التأثير عليه بعملية التقييم. ولا يوجد لأي من الاختبارات "إجابة" محددة.
وكما هو متوقع، فإن استثمار القيمة في الأسواق هو المهمة المفتوحة النهاية. إنه نسخة مصغرة من تلك المذكورة في المقال: تتلقى النماذج بيانات تداول من حزمة تضم 300 سهم أمريكي وصناديق مؤشرات (ETFs) وأزواج عملات رقمية. هدفها هو إنشاء 15 محفظة للمراكز الشرائية فقط (long-only): خمسة آفاق زمنية تتراوح من شهر إلى عامين، عند ثلاثة مستويات من المخاطر، لكل منها توقع للعائد. ثم نتتبع كل محفظة يومياً مقارنة بمؤشر S&P 500. ومرة أخرى، السوق هو من يقوم بالتقييم. وحتى الآن، لم يخسر أي نموذج أي أموال (في المتوسط)، وبعد مرور شهر تقريباً، يتفوق 3 من أصل 5 على مؤشر S&P 500 - وإن كانت الدلالة الإحصائية لذلك لا تزال محدودة.
أما Sandbox فهي المنافسة التي ابتكرناها. يكتب كل نموذج وحدة تحكم لمركبة جوالة في عالم محاكاة ذي فيزياء خفية (عدم توازن المحرك، تأخر الأوامر، ضوضاء المستشعرات، الرياح، الجليد)، ويراقب مسارها، ثم يحاول مرة أخرى، لثماني مرات. بعد ذلك يتم تقييم أفضل وحدة تحكم له في عشرة مسارات لم يسبق له رؤيتها. لا أحد يعرف وحدة التحكم المثالية لذلك العالم، لكن يمكننا تحديد أي نموذج يمتلك الأفضل بالضبط، ومدى سرعة تعلم كل منها.
في كلتا الساحتين، يتم تقييم النماذج مقارنة ببعضها البعض باستخدام نفس الإحصائيات المستخدمة في الشطرنج: يلعب كل زوج مباراة في كل خانة، ويقوم نموذج Bradley-Terry وفق مقياس Elo بتحويل النتائج إلى تصنيف ضمن فترة ثقة بنسبة 95%. ويُعامل مؤشر S&P 500 كلاعب ثابت تصنيفه 1,500. والنموذج الذي لا يستطيع التغلب على صندوق المؤشرات سيظهر تصنيفه ذلك بوضوح.
هناك قيدان واضحان جداً نواجههما حالياً:
- أولاً، نحن نمول أنفسنا ذاتياً، لذا نشغل النماذج منخفضة التكلفة من كل مختبر رائد (GPT-6 Luna، Claude Haiku 5.5، DeepSeek Flash، MiMo)، وليس نماذجهم الرائدة. المنهجية هي الهدف؛ أما النماذج الرائدة فستأتي عندما تتوفر الميزانية.
- نحن بحاجة إلى الوقت. لذا لدينا 358 محفظة و6 عوالم، مع كتب جديدة كل يوم اثنين، وستنضج المحافظ الأولى في 25 أكتوبر. ولا تزال فترات الثقة واسعة بحوالي ±100 نقطة.
كل شيء متاح للجمهور. كل رقم يأتي من إصدار مرقم يمكنك تنزيله، وتصف صفحة المنهجية بالضبط كيف تم حسابه.
نحن نعمل بجد على زيادة عدد هذه المهام وصعوبتها.
إذا كان أي شخص مهتماً بالعمل معاً في هذا المشروع، فلا تتردد في إرسال رسالة خاصة إليّ أو بريد إلكتروني إلى john@on3works.com
