Привіт, ентузіасти ШІ!
OpenAI зробила це офіційно цього тижня: ласкаво просимо в епоху AGI.
GPT-6 Astra вийшов, і OpenAI продає його як поколіннєвий стрибок — величезні прориви у використанні комп'ютера, програмуванні, дослідженнях і в тій довгій, брудній роботі, яка раніше потребувала постійного нагляду людини.
Я на мить сприйму маркетинг за чисту монету, тому що він піднімає питання, яке індустрія тихо уникала: як ми насправді це вимірюємо?
Останні кілька років ШІ працював на бенчмарках. Кожен запуск супроводжується таблицею, яка доводить, що нова модель на 3% краща тут, на 7% краща там, і таємничим чином на 12% розумніша згідно з бенчмарком, якого не існувало минулої весни. Ми ранжуємо їх, кодуємо кольорами, вибудовуємо в таблиці лідерів і коронуємо переможця. Це працювало досить добре, коли моделі в основному відповідали на запитання. Це перестає працювати в той момент, коли моделі починають щось робити.
Ось основна проблема: бенчмарк — це просто банк запитань. Ви даєте моделі задачу, вона видає відповідь, ви перевіряєте відповідь за ключем. Навіть хитромудрі бенчмарки використання комп'ютера, по суті, є купою заздалегідь написаних завдань, що виконуються в заздалегідь створених середовищах. Це справді корисно. Але це зовсім не те, що відбувається, коли ви поміщаєте агента на реальну машину і кажете йому щось зробити.
Реальне життя не постачається з файлом бенчмарку. Ніщо на вашому робочому столі не підкаже вам, як саме виглядає «зроблено».
Справжній комп'ютер — це браузер, який вилітає посеред завдання, сайт, який тихо змінив свій дизайн учора, електронна таблиця з трьома суперечливими версіями, дозвіл, про який ніхто не згадав, PDF-файл, похований на шість папок углиб, API, який вичерпує час на найгіршому можливому запиті, і людина, яка каже: «Просто зроби це, будь ласка?» — і йде геть, не визначивши, що таке «це».
Агенту потрібно розібратися самому. І та частина, яку ніхто добре не бенчмаркує: він повинен відновитися, коли перша спроба провалюється. Це зовсім інша навичка, ніж отримання правильної відповіді.
Ось чому повідомлення про те, що OpenAI купила десятки тисяч споживчих Mac для навчання з підкріпленням і тренування використання комп'ютера, є більш показовими, ніж здається. Точні цифри були оприлюднені, але не перевірені — однак напрямок безпомилковий. Передові лабораторії хочуть, щоб їхні моделі працювали на реальних машинах, а не були замкнені в чат-вікні. І це тихо ламає всю гру з бенчмарками.
Уявіть двох агентів, один і той самий комп'ютер, одне й те саме розпливчасте завдання:
Дослідіть цей ринок, оберіть три перспективні компанії, побудуйте фінансове порівняння та підготуйте презентацію для інвестиційного комітету.
Немає єдиного правильного способу це зробити. Їх сотні. Один агент гортає дві години. Інший пише скрипт. Третій натрапляє на краще джерело даних на півдорозі і викидає свій початковий план. Четвертий робить помилку, помічає її та виправляє. П'ятий вручає вам чудову презентацію, побудовану на абсолютно неправильних цифрах.
То хто з них переміг? Автор бенчмарку не може заздалегідь написати відповідь, тому що її не існує.
І ось тут стає справді незручно. Найважча частина оцінювання агента може більше не полягати в тому, чи була відповідь правильною. Вона полягає в тому, чи було це взагалі корисним. Це звучить як прискіпування. Але це не так.
Візьміть агента, який долає 95% бенчмарку використання комп'ютера, а потім помістіть його в реальну компанію на тиждень. Він створює неправильну структуру папок, перезаписує живу електронну таблицю, витрачає шість годин, переслідуючи безперспективний напрямок, впевнено цитує статистику 2023 року і застряє на стіні дозволів, про яку ніколи не здогадується запитати. Кожне завдання бенчмарку: ідеально. Ніхто не залишив би його працювати на другий тиждень.
Тепер візьміть агента, який набирає лише 85% — але знає, коли він розгублений, ставить те єдине запитання, яке його розблоковує, змінює тактику, коли щось ламається, і тихо здає роботу, яку ви дійсно можете використати. Хто з них розумніший? Таблиця лідерів не має уявлення. Чесно кажучи, ми теж.
Ось чому я вважаю, що незалежні бенчмарки впираються в стіну. Не тому, що дослідники байдикують — вони створюють складніші, реалістичніші тести, ніж будь-коли. Проблема в тому, що реальність постійно стає більшою за тест. Ви можете зробити бенчмарк довшим, додати більше інструментів, більше сайтів, більше додатків, більше кроків, більше випадковості. Це не має значення. Ви все одно будуєте гру з правилами, і як тільки модель навчиться грати в цю гру, ви повертаєтеся до початку.
Тож ми отримаємо бали. 91,4%. 94,7%. 97,2%. 98,1%. Люди сперечатимуться, чи перемагає Модель A Модель B. Хтось запустить ще одну таблицю лідерів. Хтось інший запустить таблицю лідерів таблиць лідерів. І весь цей час модель сидітиме на реальному комп'ютері, роблячи речі, які жодне з цих чисел не може описати.
Це і є парадокс бенчмарку: чим ближче ШІ підходить до загального інтелекту, тим менше вам про нього розповідає банк заздалегідь написаних запитань.
То що його замінить? Я не думаю, що відповідь — «кращий бенчмарк». Я думаю, це щось інше за своєю суттю. Перестаньте давати агенту запитання і дайте йому мету. Перестаньте давати йому акуратну пісочницю і дайте йому безладну. Перестаньте оцінювати, чи виконав він очікувані кроки, і оцінюйте, чи досяг він результату. Перестаньте повторювати той самий публічний тест і киньте його в середовища, які постійно змінюються, з приватними завданнями, яких він ніколи не бачив.
І перестаньте запитувати лише, чи він досяг успіху. Запитайте, наскільки надійно він досягає успіху, скільки це коштувало, скільки часу зайняло, як часто потребував людини, наскільки безпечно він поводився і чи витримала робота контакт з реальністю.
Простіше кажучи: наступне покоління оцінювання ШІ має менше нагадувати іспит, а більше — стажування.
Не запитуйте модель:
Чи склала вона тест?
Дайте їй ноутбук, обліковий запис, бюджет, мету і тиждень. А потім спостерігайте, що вона робить. Це розповість вам набагато більше про її інтелект — і це було б жахливо стандартизувати. У цьому й суть.
Інтелект реального світу є безладним, контекстуальним, адаптивним і відкритим. Як тільки ви спрощуєте його до чистого списку запитань з фіксованими відповідями, ви перестаєте вимірювати інтелект. Ви вимірюєте здатність складати тести.
І саме тому Astra сприймається мною інакше. OpenAI голосно каже нам, що ми вступили в епоху AGI. Добре. Але якщо це правда, нам, мабуть, варто перестати давати AGI стандартизований іспит, розроблений для чат-ботів.
Цікаве питання більше не звучить як «який у нього бал?» Воно звучить як «що станеться, коли ви дасте йому комп'ютер і скажете щось зробити?» І я підозрюю, що ми ось-ось виявимо, що в нас ще немає хорошої відповіді.
Отже — ласкаво просимо в епоху AGI. І, тихо, водночас: ласкаво просимо в епоху ШІ, який неможливо оцінити. Бенчмарк не став гіршим. Те, що ми намагаємося виміряти, просто вийшло за його межі.
