Почему масштабированные LLM (GPT-6) — это не AGI:
Иллюзия масштаба и реальность общего интеллекта
Доминирующее повествование в технологическом секторе предполагает, что искусственный общий интеллект (AGI) — это прежде всего инженерная задача масштабирования: больше вычислительных мощностей, больше наборов данных, более длинные контекстные окна и массивные кластеры обучения с подкреплением. Известные фигуры, такие как генеральный директор OpenAI Сэм Альтман и генеральный директор NVIDIA Дженсен Хуанг, неоднократно представляли текущие траектории развития frontier-моделей — вплоть до гипотетического «GPT-6» — как то, что ставит человечество на непосредственный порог агентности человеческого уровня. Однако рассмотрение масштабированных авторегрессионных трансформеров как AGI смешивает высокоразмерный статистический поиск с подлинным общим [интеллектом](https://intelligence.an/). Архитектурная, математическая и экономическая критика раскрывает, почему предикторы следующего токена сталкиваются со структурными ограничениями масштабирования, почему существующие бенчмарки ошибочны и что на самом деле требуется для истинного общего интеллекта.
- Определение AGI: Операционный базис
Чтобы оценить, почему масштабирование авторегрессии не приводит к AGI, мы должны сначала установить строгий, немаркетинговый базис. В своей основополагающей статье On the Measure of Intelligence исследователь ИИ Франсуа Шолле формализует интеллект не как энциклопедию статических навыков, а как способность к эффективному обучению на примерах:
Искусственный общий интеллект (AGI) — это автономная система, способная приобретать, синтезировать и применять новые компетенции для решения не встречавшихся ранее проблем в условиях неопределенности, достигая или превосходя человеческую эффективность в обучении на примерах, непрерывной адаптации, каузальном мышлении и формулировании целей без ручного вмешательства или предварительного обучения на конкретных задачах.
AGI — это не сумма всех человеческих знаний, сжатая в матрицу весов; это двигатель мета-обучения, способный генерировать совершенно новые модели мира, когда существующие знания терпят неудачу.
- Архитектурные узкие места авторегрессионных трансформеров
Даже если будущая frontier-модель обучена на $10^{27}$ FLOP с мультимодальными входами, она остается ограниченной фундаментальной механикой архитектуры трансформера:
1[ Входные токены ] ──> [ Статическое матричное умножение (замороженные веса) ] ──> [ Распределение вероятностей следующего токена ]2 │3 └── (Нет пластичности во время выполнения / Нет динамической модели мира)
A. Отсутствие автономного и непрерывного обучения
- Статические веса: Стандартные LLM проходят отдельные фазы обучения и вывода. Как только обратное распространение заканчивается, веса модели замораживаются. Когда LLM взаимодействует с миром, она не может изменять свои собственные внутренние параметры в реальном времени.
- Катастрофическое забывание: Нейронные сети страдают от катастрофического забывания — обновление весов на новых задачах ухудшает ранее приобретенные способности.
- Контекстные окна $\neq$ Память: Расширение контекстных окон (или использование RAG) предоставляет временные блокноты, а не консолидированную эпизодическую или семантическую память. Система, которая не может самостоятельно отсеивать ложные убеждения и усваивать новые аксиомы во время выполнения, является движком информационного поиска, а не динамическим обучающимся агентом.
B. Статистическая корреляция против каузального мышления
- Горизонт следующего токена: Трансформеры оптимизируются для $P$(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$. Как описывает лауреат премии Тьюринга Джуда Перл в The Seven Tools of Causal Inference (CACM), ассоциативные модели занимают самую низкую ступень Иерархии Причинности (Ассоциация / «Видение»).
- Узкое место вмешательства: Истинный общий интеллект требует рассуждений на уровнях Вмешательства («Что, если мы сделаем X?») и Контрфактов («Что, если бы мы действовали иначе?»). LLM аппроксимируют эти механизмы через паттерны токенов, но без явного каузального движка они остаются хрупкими при рассуждениях вне своего обучающего распределения.
- Критический анализ: Повествование лидеров против архитектурной реальности
Публичные заявления о сроках достижения AGI заслуживают объективного анализа наряду со структурными стимулами компаний, которые их делают.
Дженсен Хуанг (NVIDIA): Стимул расширения аппаратного обеспечения
- Фрейм: Хуанг неоднократно заявлял, что AGI появится в течение пяти лет, конкретно определяя его как момент, когда ИИ сможет набирать баллы в верхнем процентиле на профессиональных человеческих тестах в юридической, медицинской и технической областях.
- Перспектива: Определение AGI в первую очередь через результаты стандартизированных экзаменов оценивает статическое извлечение знаний и сопоставление с образцом — задачи, в которых авторегрессионные модели преуспевают благодаря запоминанию данных интернет-масштаба. С архитектурной точки зрения, сдача экзаменов на адвоката или медицинских экзаменов не указывает на рассуждения вне распределения или автономную адаптируемость. Представление успеха на экзаменах как AGI поощряет непрерывные капитальные затраты на корпоративные кластеры GPU, что напрямую соответствует целям продаж аппаратного обеспечения.
Сэм Альтман (OpenAI): Стимул капитала и оценки
- Фрейм: Альтман часто ссылается на агрессивные сроки достижения AGI, прогнозируя быстрые переходы от агентных систем к полной когнитивной автономии, чтобы оправдать массивные инфраструктурные инвестиции, такие как многотриллионные долларовые инициативы по чипам и дата-центрам.
- Проблема стимулов: Вводящая в заблуждение отраслевая риторика
Понимание публичных заявлений технических руководителей требует анализа их структурных стимулов:
1┌───────────────────────────────┐ ┌───────────────────────────────┐2│ Дженсен Хуанг (NVIDIA) │ │ Сэм Альтман (OpenAI) │3├───────────────────────────────┤ ├───────────────────────────────┤4│ Стимул: Продавать H100/B200 │ │ Стимул: Многомиллиардные │5│ Стратегия: Переопределить AGI │ │ раунды финансирования и │6│ как сдачу стандартизированных │ │ Stargate. Стратегия: │7│ экзаменов в течение 5 лет. │ │ Колебаться между «неминуемым │8│ │ │ богоподобным AGI» и «просто │9│ │ │ полезным инструментом». │10└───────────────────────────────┘ └───────────────────────────────┘
- Перспектива: Операционный фокус OpenAI опирается на привлечение огромных резервов капитала для финансирования вычислительных запусков. Продвижение нарратива о неизбежном AGI поддерживает высокие венчурные оценки и обеспечивает стратегическую поддержку суверенных государств. Однако меняющиеся определения — чередование представления новых релизов как технологических прорывов и отступление от заявлений об AGI во время регуляторных обсуждений — подчеркивают напряженность между рыночными сообщениями и техническими возможностями. Такие методы, как масштабирование вычислений во время вывода, улучшают поиск в структурированных пространствах задач, но не решают проблему заморозки весов, адаптации в реальном времени или истинной эпистемической автономии.
- Заблуждение бенчмарков: Почему текущие метрики вводят в заблуждение
Восприятие того, что frontier-модели приближаются к AGI, в значительной степени проистекает из насыщения бенчмарков. Текущие методологии оценки страдают от трех структурных недостатков:
- Загрязнение данных и насыщение бенчмарков: Популярные наборы для оценки, такие как MMLU и GSM8K, регулярно просачиваются в предобучающие наборы данных веб-масштаба. Высокие баллы часто отражают высокоразмерное распознавание паттернов, а не рассуждения вне распределения.
- Закон Гудхарта в оптимизации ИИ: Как показывают исследования по оценке frontier-моделей ИИ, «когда метрика становится целью, она перестает быть хорошей метрикой». Пост-тренировочные техники (RLHF, DPO, генерация синтетических данных) агрессивно оптимизируют модели для прохождения стандартных публичных оценок.
- Корпус абстракции и рассуждений (ARC-AGI): Оценка моделей на новых визуально-абстрактных логических головоломках, специально разработанных для сопротивления запоминанию — таких как бенчмарк ARC-AGI — показывает, что, хотя масштабированный поиск и тестовые вычисления могут поднять баллы, грубый статистический поиск требует на порядки больше вычислительных мощностей, чем человеческая эффективность на примерах, для решения идентичных задач абстракции.
- Архитектурные требования для истинного AGI
Преодоление разрыва между статистическим сопоставлением с образцом и подлинным AGI требует фундаментальных архитектурных сдвигов от чистой авторегрессии:
Ключевое требование | Ограничения в моделях-трансформерах | Архитектурное требование для AGI |
|---|---|---|
Непрерывная синаптическая пластичность | Замороженные веса во время вывода; катастрофическое забывание при обновлениях. | Непрерывная адаптация параметров и памяти в реальном времени во время выполнения. |
Каузальные модели мира | Одномерное отображение распределения вероятностей на уровне токенов. | Многомерные каузальные движки, основанные на операционной логике и отслеживании динамических состояний. |
Эффективность на примерах | Требуются триллионы токенов / данные веб-масштаба для освоения узких задач. | Способность абстрагировать сложные правила из единичных демонстраций (мета-обучение). |
Эпистемическая самокалибровка | Уверенные галлюцинации; неспособность проверять внутренние границы знаний. | Внутренняя самопроверка с явным отслеживанием уверенности и незнания. |
Долговечная эпистемическая память | Эфемерные контекстные окна и внешний векторный поиск (RAG). | Унифицированные представления знаний, которые непрерывно дистиллируют, проверяют и отсеивают факты. |
Заключение
Что на самом деле требуется для истинного AGI
Масштабирование вычислительных мощностей, количества параметров и предобучающих данных дает исключительные инструменты, высококомпетентных ассистентов по кодингу и беглые интерфейсы на естественном языке. Однако масштабирование статистического предсказания не порождает спонтанно автономное мышление, динамическое обучение или подлинную агентность.
Будущий GPT-6 может быть быстрее, больше и более красноречив в человеческом тексте, но без непрерывной пластичности, каузальной основы и динамической самопроверки он остается продвинутым корреляционным движком — а не AGI.
Резюме от Seedthink
