مرحبًا، عشاق الذكاء الاصطناعي!
أعلنت OpenAI رسميًا هذا الأسبوع: مرحبًا بكم في عصر الذكاء الاصطناعي العام (AGI).
تم إطلاق GPT-6 Astra، وتقدمه OpenAI كقفزة جيلية — قفزات كبيرة في استخدام الكمبيوتر، والبرمجة، والبحث، وهذا النوع من العمل الطويل والفوضوي الذي كان يحتاج سابقًا إلى إشراف بشري طوال الطريق.
سأأخذ التسويق بظاهره للحظة، لأنه يطرح سؤالاً كانت الصناعة تتجنبه بهدوء: كيف نقيس هذا الشيء بالفعل؟
لسنوات قليلة الآن، اعتمد الذكاء الاصطناعي على المعايير. كل إطلاق يأتي مع جدول يثبت أن النموذج الجديد أفضل بنسبة 3% هنا، و7% أفضل هناك، وأكثر ذكاءً بنسبة 12% وفقًا لمعيار لم يكن موجودًا في الربيع الماضي. نحن نصنفها، ونلونها، ونرتبها في لوحات المتصدرين، ونتوج الفائز. لقد كان الأمر جيدًا بما يكفي عندما كانت النماذج تجيب على الأسئلة بشكل أساسي. لكنه يتوقف عن العمل بمجرد أن تبدأ النماذج في فعل الأشياء.
إليك المشكلة الأساسية: المعيار هو مجرد بنك أسئلة. تسلم النموذج مشكلة، فينتج إجابة، وتتحقق من الإجابة مقابل مفتاح. حتى معايير استخدام الكمبيوتر الفاخرة هي، في جوهرها، كومة من المهام المكتوبة مسبقًا والتي تعمل داخل بيئات مبنية مسبقًا. هذا مفيد حقًا. لكنه أيضًا لا يشبه على الإطلاق ما يحدث عندما تضع وكيلاً على جهاز حقيقي وتطلب منه إنجاز شيء ما.
الحياة الواقعية لا تأتي مع ملف معايير. لا شيء على سطح مكتبك يخبرك بالضبط كيف تبدو "المهمة المنجزة".
الكمبيوتر الحقيقي هو متصفح يتعطل في منتصف المهمة، وموقع أعاد تصميم واجهته بهدوء أمس، وجدول بيانات بثلاث نسخ متناقضة، وتصريح لم يذكره أحد، وملف PDF مدفون في ستة مجلدات عميقة، وواجهة برمجة تطبيقات (API) تنتهي صلاحيتها في أسوأ طلب ممكن، وإنسان يقول "هل يمكنك فقط الاهتمام بهذا؟" ثم يبتعد دون تعريف "هذا".
على الوكيل أن يكتشف ذلك. والجزء الذي لا يقيسه أي معيار جيدًا: عليه أن يتعافى عندما تفشل المحاولة الأولى. هذه مهارة مختلفة تمامًا عن الحصول على الإجابة الصحيحة.
ولهذا السبب، فإن التقارير التي تفيد بأن OpenAI اشترت عشرات الآلاف من أجهزة Mac الاستهلاكية للتعلم المعزز والتدريب على استخدام الكمبيوتر هي أكثر دلالة مما تبدو عليه. تم الإبلاغ عن الأرقام الدقيقة، ولم يتم تدقيقها — لكن الاتجاه لا لبس فيه. تريد المختبرات الرائدة أن تكون نماذجها على أجهزة حقيقية، وليس محصورة في صندوق محادثة. وهذا يكسر بهدوء لعبة المعايير بأكملها.
تخيل وكيلين، نفس الكمبيوتر، نفس التكليف الغامض:
ابحث في هذا السوق، واختر ثلاث شركات واعدة، وقم ببناء مقارنة مالية، وأعد عرضًا تقديميًا للجنة الاستثمار.
لا توجد طريقة واحدة صحيحة للقيام بذلك. هناك المئات. وكيل يتصفح لمدة ساعتين. وآخر يكتب سكربتًا. وثالث يعثر على مصدر بيانات أفضل في منتصف الطريق ويتخلى عن خطته الأصلية. ورابع يرتكب خطأ، ويلاحظه، ويصلحه. وخامس يسلمك عرضًا تقديميًا رائعًا مبنيًا على أرقام خاطئة تمامًا.
إذن، من ربح؟ لا يستطيع مؤلف المعيار كتابة الإجابة مسبقًا، لأنه لا توجد إجابة واحدة.
وهنا يصبح الأمر غير مريح حقًا. قد لا يكون الجزء الأصعب من تقييم الوكيل هو هل كانت الإجابة صحيحة. بل هل كان أي من هذا مفيدًا بالفعل. قد يبدو هذا كالتفصيل الدقيق. لكنه ليس كذلك.
خذ وكيلاً يجتاز 95% من معيار استخدام الكمبيوتر، ثم ضعه في شركة حقيقية لمدة أسبوع. يبني هيكل المجلدات الخاطئ، ويكتب فوق جدول بيانات حي، ويضيع ست ساعات في مطاردة خيط ميت، ويستشهد بثقة بإحصائية من عام 2023، ويعلق أمام جدار من الأذونات لا يفكر أبدًا في السؤال عنه. كل مهمة في المعيار: مثالية. لن يبقيه أحد في الوظيفة لأسبوع ثانٍ.
الآن خذ وكيلاً يسجل 85% فقط — لكنه يعرف متى يكون مرتبكًا، ويطرح السؤال الوحيد الذي يزيل العائق، ويغير التكتيك عندما ينكسر شيء ما، ويقدم بهدوء عملًا يمكنك استخدامه بالفعل. أيهما أكثر ذكاءً؟ لوحة المتصدرين ليس لديها فكرة. بصراحة، نحن أيضًا لا نعرف.
لهذا السبب أعتقد أن المعايير المستقلة تصطدم بجدار. ليس لأن الباحثين يقصرون — إنهم يبنون اختبارات أصعب وأكثر واقعية من أي وقت مضى. المشكلة هي أن الواقع يستمر في النمو أكبر من الاختبار. يمكنك جعل المعيار أطول، وإضافة المزيد من الأدوات، والمزيد من المواقع، والمزيد من التطبيقات، والمزيد من الخطوات، والمزيد من العشوائية. لا يهم. أنت لا تزال تبني لعبة بقواعد، وفي اللحظة التي يتعلم فيها النموذج لعب اللعبة، تعود إلى نقطة الصفر.
لذا سنحصل على الدرجات. 91.4%. 94.7%. 97.2%. 98.1%. سيتجادل الناس حول ما إذا كان النموذج (أ) يتفوق على النموذج (ب). سيشخص آخر لوحة متصدرين جديدة. وسيشخص آخر لوحة متصدرين للوحات المتصدرين. وطوال هذا الوقت، سيكون النموذج جالسًا على كمبيوتر حقيقي يفعل أشياء لا يستطيع أي من هذه الأرقام وصفها.
هذه هي مفارقة المعيار: كلما اقترب الذكاء الاصطناعي من الذكاء العام، قل ما يخبرك به بنك الأسئلة المكتوبة مسبقًا عنه.
إذن ما الذي يحل محله؟ لا أعتقد أن الإجابة هي "معيار أفضل". أعتقد أنها شيء مختلف في جوهره. توقف عن تسليم الوكيل سؤالاً وسلمه هدفًا. توقف عن منحه صندوق رمل مرتب وامنحه صندوقًا فوضويًا. توقف عن تسجيل ما إذا كان قد اتبع الخطوات المتوقعة وسجل ما إذا كان قد حقق النتيجة. توقف عن إعادة تشغيل نفس الاختبار العام واقذفه في بيئات تتغير باستمرار، في مهام خاصة لم يرها من قبل.
وتوقف عن السؤال فقط عما إذا كان قد نجح. اسأل عن مدى موثوقية نجاحه، وما هي التكلفة، وكم من الوقت استغرق، وكم مرة احتاج إلى إنسان، وكيف كان سلوكه آمنًا، وما إذا كان العمل قد صمد أمام اختبار الواقع.
ببساطة: يجب أن يبدو الجيل القادم من تقييم الذكاء الاصطناعي أقل شبهاً بالامتحان وأكثر شبهاً بفترة تدريب.
لا تسأل النموذج:
هل اجتاز الاختبار؟
أعطه كمبيوترًا محمولاً، وحسابًا، وميزانية، وهدفًا، وأسبوعًا. ثم شاهد ما يفعله. هذا سيخبرك كثيرًا عن ذكائه — وسيكون كابوسًا لتوحيده. وهذه هي النقطة بالضبط.
الذكاء في العالم الحقيقي فوضوي، وسياقي، وقابل للتكيف، ومفتوح. في اللحظة التي تسويه إلى قائمة نظيفة من الأسئلة بإجابات ثابتة، تكون قد توقفت عن قياس الذكاء. أنت تقيس اجتياز الاختبارات.
ولهذا فإن Astra تبدو مختلفة بالنسبة لي. تخبرنا OpenAI، بصوت عالٍ، أننا دخلنا عصر الذكاء الاصطناعي العام. حسنًا. لكن إذا كان هذا صحيحًا، فربما يجب أن نتوقف عن تسليم AGI الامتحان الموحد الذي صممناه لروبوتات المحادثة.
السؤال المثير للاهتمام لم يعد "ما هي درجته؟" بل "ماذا يحدث عندما تعطيه كمبيوترًا وتطلب منه إنجاز شيء ما؟" وأظن أننا على وشك اكتشاف أنه ليس لدينا إجابة جيدة بعد.
إذن — مرحبًا بكم في عصر الذكاء الاصطناعي العام. وبهدوء، في نفس الوقت: مرحبًا بكم في عصر الذكاء الاصطناعي غير القابل للتقييم. لم يصبح المعيار أسوأ. الشيء الذي نحاول قياسه قد خرج منه للتو.
