У квітні 1965 року радянські інформаційні агентства оголосили про відкриття суперцивілізації. Уся ця паніка виникла завдяки роботі однієї людини: Миколи Кардашова, радянського астронома, який був одержимий таким питанням: якщо ви дійсно виявите цивілізацію, що далеко перевершує вашу власну, чи зможете ви сказати про неї щось науково обґрунтоване?
Він прославився завдяки своєму рішенню. Замість того, щоб зосереджуватися на інтелекті, цілеспрямованості чи поведінці — речах дуже складних і важких для оцінки, — він створив теорію про те, як цивілізації використовують енергію. Термодинаміка байдужа до інтелекту, — стверджував він.
Зрештою все виявилося квазаром. Вимірювання було точним; просто за цими показниками не ховалися жодні прибульці.
БЕНЧМАРКИНГ В ЕПОХУ СУПЕРІНТЕЛЕКТУ
Минув 61 рік, і тепер ми маємо дивно схожу паніку: здається, ми на порозі створення інтелекту, який ось-ось перевершить найрозумнішу людину, що коли-небудь жила. І все ж життєво важливо, щоб ми могли сказати про нього щось змістовне, тобто нам потрібно його тестувати (робити бенчмарки).
Причина проста: розподіл ресурсів. Незалежно від їхнього значно вищого інтелекту, ми й далі хотітимемо отримати найкращу віддачу за свій час і гроші. Ніхто не використовує Stockfish 13 у шахах для глибокого аналізу, якщо модель 2026 року просто краща.
То чому б нам не використати наші поточні бенчмарки?
Негайна проблема — насичення. Фіксований тест перестає бути корисним тієї миті, коли кожна модель набирає в ньому 100%, і це вже відбувається: бенчмарки, які три роки тому вважалися складними, тепер легко проходять дешеві моделі. Ви можете й далі писати складніші тести, але лише до межі найскладнішого тесту, який здатна написати людина. Що й підводить нас до справжньої проблеми.
Дотепер ми переважно вимірювали інтелект за допомогою закритих тестів. Коли я кажу «закриті», я маю на увазі тести, правильні відповіді яких нам відомі ще до початку тестування (IQ-тести, математичні тести, програмування...). Ми використовуємо такі тести з очевидних причин: 1. Це об'єктивно. 2. Це відносно швидко оцінити. 3. Інерція: саме так ми зазвичай тестуємо людей.
Однак щойно ви починаєте думати про застосування цих тестів до розумніших ШІ, проблема стає очевидною — ці іспити створені для того, щоб вищий інтелект оцінював нижчий: учитель і учень. Саме тому нам потрібно почати думати про новий тип оцінювання та розробляти його. Ми, нижчий інтелект — учень, — маємо оцінювати SI (суперінтелект) — учителя, — водночас гарантуючи об'єктивність.
Цю проблему — як нижчий інтелект може строго оцінити вищий — я називаю проблемою Кардашова, і саме вона особисто мене найбільше захоплює (і це причина, чому я вирішив створити Kardashevian.com).
МАЙБУТНІ БЕНЧМАРКИ ДЛЯ СУПЕРІНТЕЛЕКТУ
Нам допомагає один рятівний принцип: перевірити запропоновану відповідь радикально простіше, ніж її знайти. Розв'язання судоку потребує зусиль; перевірка заповненої сітки займає тридцять секунд. І в більшості випадків зовнішній верифікатор допоможе нам бути максимально об'єктивними щодо якості та інтелекту цих надзвичайно розвинених систем.
Я бачу 4 різні системи зовнішньої верифікації для майбутнього бенчмаркингу:
- Верифікатором є світ. Відкриті квести: цілі, а не запитання й відповіді. Світ оцінює досягнення цілі. Чим вищий результат або чим краща оптимізація, тим краще.
**-Приклад: паперовий трейдинг у вартісному інвестуванні на фондовому ринку.
**
У цьому сценарії складність реального світу настільки величезна й динамічна (він постійно змінюється та реагує), що насичення цього випробування практично неможливе. Я планую написати ще одне есе пізніше про те, чому вважаю вартісне інвестування чудовим тестом на інтелект; головна суть полягає в припущенні, що система, здатна надійно передбачати, як поводитиметься світ, включно з людьми та ринками, є одним із найчіткіших проявів інтелекту.
2. Верифікатором є правила та гра. Змагання. Шахи знову демонструють, що, незважаючи на наявність гравців, сильніших за людей, ми все одно здатні визначити, що Модель X краща за Модель Z. Система ELO, яку ми використовуємо на Kardashevian.com, також дозволяє не лише бачити переможця, а й вести статистично значущу таблицю результатів.
-Приклад: шахи, ґо або будь-яка нескінченно складніша гра, яку можна створити спеціально для цієї мети.
**
- Верифікаторами є фізика та хімія. Складна інженерія. Ми обмежуємо тест фізикою та хімією і дозволяємо природі виставляти оцінки. **
-Приклад: спроєктувати матеріал із заданою властивістю, потім синтезувати його в автоматизованій лабораторії та протестувати.
4. Верифікатором є логіка. Формальне доведення. Математика, записана мовою, яку може перевірити комп'ютер.
-Приклад: покращення відомої межі або розв'язання відкритої гіпотези в Lean.
Ризики такі: межі відомих оцінок задають люди, як і самі висунуті гіпотези. Але наситити цей тест усе одно дуже складно.
KARDASHEVIAN.COM
**Що ми робимо:
**Kardashevian — це перша спроба реалізувати всі чотири з цих ідей, створена у мій вільний час і з невеликим бюджетом :)
Кожна арена працює однаково: вхідні дані заморожуються, моделі роблять свій хід, а потім оцінку проводить щось, чого вони не бачать і на що не можуть вплинути. Жоден із тестів не має конкретної «відповіді».
Як і очікувалося, вартісне інвестування на ринках — це відкритий квест. Це менша версія того, про який згадувалося в есе: моделі отримують торгові дані з пакета 300 акцій США, ETF та криптопар. Їхня мета — створити 15 портфелів лише з довгими позиціями (long-only): п'ять горизонтів від 1 місяця до 2 років, на трьох рівнях ризику, кожен із прогнозом дохідності. Потім ми щодня відстежуємо кожен портфель порівняно з S&P 500. Знову ж таки, ринок виставляє оцінки. Поки що жодна модель не втратила грошей (у середньому), і майже за 1 місяць 3/5 з них обганяють S&P 500 — хоча статистична значущість цього поки що обмежена.
Sandbox — це змагання, яке ми створили. Кожна модель пише контролер для марсохода у симульованому світі з прихованою фізикою (дисбаланс двигунів, затримка команд, шум датчиків, вітер, лід), спостерігає за його заїздом і пробує знову — вісім разів. Потім її найкращий контролер оцінюється на десяти трасах, яких він ніколи не бачив. Ніхто не знає ідеального контролера для цього світу, але ми можемо точно сказати, чий контролер кращий і як швидко кожна модель навчалася.
На обох аренах моделі оцінюються одна відносно одної за тією самою статистикою, що й у шахах: кожна пара проводить матч у кожній комірці, а апроксимація Бредлі–Террі за шкалою Elo перетворює результати на рейтинг із 95% інтервалом. S&P 500 — це гравець із фіксованим рейтингом 1500. Якщо модель не може обіграти індексний фонд, її рейтинг це чітко покаже.
Два дуже явні обмеження, з якими ми зараз стикаємося:
- По-перше, ми фінансуємо себе самі, тому запускаємо недорогі моделі від кожної frontier-лабораторії (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo), а не їхні флагмани. Суть у методі; флагмани з'являться, коли з'явиться бюджет.
- Нам потрібен час. Тому маємо 358 портфелів і 6 світів, нові книги щопонеділка, а перші портфелі дозрівають 25 жовтня. Інтервали поки що досить широкі — близько ±100 пунктів.
Усе є публічним. Кожна цифра походить із пронумерованого релізу, який ви можете завантажити, а сторінка методології точно описує, як вона була обчислена.
Ми наполегливо працюємо над збільшенням кількості та складності цих завдань.
Якщо хтось зацікавлений у спільній роботі над цим проєктом, сміливо пишіть мені в особисті повідомлення або на електронну пошту john@on3works.com
