В апреле 1965 года советские информагентства объявили об обнаружении суперцивилизации. Вся эта паника началась с работы одного человека: Николая Кардашёва, советского астронома, который был одержим следующим вопросом: если вы действительно обнаружите цивилизацию, далеко превосходящую вашу собственную, сможете ли вы сказать о ней что-то научно обоснованное?
Он прославился благодаря своему решению. Вместо того чтобы фокусироваться на интеллекте, намерениях или поведении — вещах крайне сложных и труднооцениваемых, — он создал теорию о том, как цивилизации используют энергию. Термодинамике безразличен интеллект, — утверждал он.
В итоге всё оказалось квазаром. Измерения были точными; просто за ними не стояло никаких инопланетян.
БЕНЧМАРКИНГ В ЭПОХУ СУПЕРИНТЕЛЛЕКТА
Прошел 61 год, и теперь мы наблюдаем странно похожую панику: похоже, мы стоим на пороге создания интеллекта, который вот-вот превзойдет самого умного человека из когда-либо живших. И тем не менее жизненно важно, чтобы мы могли сказать о нем что-то осмысленное, то есть нам нужно его бенчмаркать.
Причина проста: распределение ресурсов. Независимо от их колоссально превосходящего интеллекта, мы всё равно будем хотеть максимальной отдачи от вложенных времени и денег. Никто не использует Stockfish 13 для глубокого анализа шахматных позиций, если модель 2026 года просто лучше.
Так почему бы нам не использовать наши текущие бенчмарки?
Непосредственная проблема — насыщение. Фиксированный тест перестает быть полезным в тот момент, когда каждая модель набирает в нем 100%, и это уже происходит: бенчмарки, которые три года назад считались сложными, сейчас легко проходят дешевые модели. Можно продолжать писать более сложные тесты, но лишь до предела сложности теста, который способен написать человек. Что приводит нас к настоящей проблеме.
До сих пор мы в основном измеряли интеллект с помощью закрытых тестов. Когда я говорю «закрытые», я имею в виду тесты, правильные ответы на которые нам известны еще до начала проверки (IQ-тесты, математические задачи, программирование...). Мы используем такие тесты по очевидным причинам: 1. Это объективно. 2. Это относительно быстро оценивается. 3. Инерция: именно так мы обычно тестируем людей.
Однако, как только вы начинаете думать о применении этих тестов к более умным ИИ, проблема становится очевидной — эти экзамены созданы для того, чтобы высший интеллект оценивал низший: учитель оценивает ученика. Именно поэтому нам нужно начать размышлять о новом типе оценки и проектировать его. Нам, низшему интеллекту — ученику, — придется оценивать СИ (суперинтеллект) — учителя, — при этом гарантируя объективность.
Эту проблему — как низший интеллект может строго и научно оценить высший — я называю проблемой Кардашёва, и именно она вызывает у меня наибольший личный энтузиазм (и стала причиной, по которой я решил создать Kardashevian.com).
БУДУЩИЕ БЕНЧМАРКИ ДЛЯ СУПЕРИНТЕЛЛЕКТА
Нам помогает один спасительный принцип: проверить готовый ответ радикально проще, чем его найти. Решение судоку требует усилий; проверка заполненной сетки занимает тридцать секунд. И в большинстве случаев внешний верификатор поможет нам быть максимально объективными в оценке качества и интеллекта этих высокоразвитых систем.
Я вижу 4 разные системы внешней верификации для будущего бенчмаркинга:
- Верификатор — это мир. Открытые квесты: цели, а не вопросы и ответы. Мир оценивает достижение цели. Чем выше результат или чем лучше оптимизация, тем лучше.
**-Пример: бумажная торговля (paper trading) в рамках стоимостного инвестирования на фондовом рынке.
**
В этом сценарии сложность реального мира настолько огромна и динамична (он постоянно меняется и реагирует), что делает насыщение этого испытания практически невозможным. Я планирую позже написать еще одно эссе о том, почему считаю стоимостное инвестирование отличным тестом на интеллект; главная суть заключается в предположении, что система, способная надежно предсказывать поведение мира, включая людей и рынки, демонстрирует один из самых явных признаков интеллекта.
2. Верификатор — это правила и игра. Соревнование. Шахматы снова показывают, что, несмотря на наличие игроков сильнее людей, мы всё ещё способны определить, что Модель X лучше Модели Z. Система ELO, которую мы используем на Kardashevian.com, также позволяет нам не только видеть победителя, но и вести статистически значимую таблицу результатов.
-Пример: шахматы, го или любая бесконечно более сложная игра, которую можно создать специально для этой цели.
**
- Верификатор — физика и химия. Сложная инженерия. Мы ограничиваем тест рамками физики и химии и позволяем природе выставлять оценки. **
-Пример: спроектировать материал с заданными свойствами, затем синтезировать его в автоматизированной лаборатории и протестировать.
4. Верификатор — логика. Формальное доказательство. Математика, записанная на языке, который может проверить компьютер.
-Пример: улучшение известной границы или решение открытой гипотезы в Lean.
Риски таковы: пределы известных границ задаются людьми, как и сами выдвигаемые гипотезы. Но насытить такой тест всё равно очень сложно.
KARDASHEVIAN.COM
**Что мы делаем:
**Kardashevian — это первая попытка реализовать все четыре идеи, созданная мной в свободное время и при небольшом бюджете :)
Каждая арена работает одинаково: входные данные фиксируются, модели делают свои ходы, а затем оценку проводит нечто, чего они не видят и на что не могут повлиять. Ни один из тестов не имеет конкретного «ответа».
Как и ожидалось, стоимостное инвестирование на рынках — это открытый квест. Это уменьшенная версия того, что упоминалось в эссе: модели получают торговые данные по пакету из 300 акций США, ETF и криптопар. Их цель — создать 15 портфелей только с длинными позициями (long-only): пять горизонтов от 1 месяца до 2 лет при трех уровнях риска, каждый с прогнозом доходности. Затем мы ежедневно отслеживаем каждый портфель в сравнении с S&P 500. И снова оценки выставляет рынок. Пока ни одна модель не потеряла деньги (в среднем), и спустя почти месяц 3 из 5 обыгрывают S&P 500 — хотя статистическая значимость этого пока ограничена.
Sandbox — это созданное нами соревнование. Каждая модель пишет контроллер для марсохода в симулированном мире со скрытой физикой (дисбаланс моторов, задержка команд, шум датчиков, ветер, лед), наблюдает за его заездом и пробует снова — восемь раз. Затем лучший контроллер оценивается на десяти трассах, которых он никогда не видел. Никто не знает идеального контроллера для этого мира, но мы можем точно сказать, чья модель лучше и как быстро каждая из них обучалась.
На обеих аренах модели оцениваются друг относительно друга с использованием той же статистики, что и в шахматах: каждая пара проводит матч в каждой ячейке, а подгонка по методу Брэдли–Терри на шкале Elo превращает результаты в рейтинг с 95% доверительным интервалом. S&P 500 — это игрок с фиксированным рейтингом 1500. Если модель не способна обыграть индексный фонд, её рейтинг это наглядно покажет.
Два очень четких ограничения, с которыми мы сейчас сталкиваемся:
- Во-первых, мы финансируем себя сами, поэтому запускаем недорогие модели от каждой frontier-лаборатории (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo), а не их флагманы. Главное здесь — метод; флагманы появятся, когда появится бюджет.
- Нам нужно время. Поэтому у нас 358 портфелей и 6 миров, новые книги появляются каждый понедельник, а первые портфели завершат срок 25 октября. Интервалы пока довольно широкие — около ±100 пунктов.
Всё находится в открытом доступе. Каждая цифра взята из пронумерованного релиза, который можно скачать, а страница методологии точно описывает, как она была рассчитана.
Мы усердно работаем над увеличением количества и сложности этих задач.
Если кто-то заинтересован в совместной работе над этим проектом, смело пишите мне в личные сообщения или на почту john@on3works.com
