Чому масштабовані LLM (GPT-6) не є AGI:
Ілюзія масштабу та реальність загального інтелекту
Панівна нарація в технологічному секторі стверджує, що штучний загальний інтелект (AGI) — це насамперед інженерне завдання масштабування: більше обчислень, більші набори даних, довші контекстні вікна та масивні кластери навчання з підкріпленням. Відомі особи, як-от генеральний директор OpenAI Сем Альтман і генеральний директор NVIDIA Дженсен Хуанг, неодноразово представляли поточні траєкторії розвитку — аж до гіпотетичного "GPT-6" — як такі, що ставлять людство на поріг агентності людського рівня. Однак трактування масштабованих авторегресійних трансформерів як AGI змішує високовимірне статистичне відновлення з справжнім загальним [інтелектом](https://intelligence.an/). Архітектурна, математична та економічна критика розкриває, чому передбачувачі наступного токена стикаються зі структурними обмеженнями масштабування, чому поширені бенчмарки є хибними та що насправді вимагає справжній загальний інтелект.
- Визначення AGI: Операційний базовий рівень
Щоб оцінити, чому масштабування авторегресії не призводить до AGI, ми спочатку повинні встановити суворий, немаркетинговий базовий рівень. У своїй основоположній статті On the Measure of Intelligence дослідник ШІ Франсуа Шолле формалізує інтелект не як енциклопедію статичних навичок, а як здатність до ефективного навчання на прикладах:
Штучний загальний інтелект (AGI) — це автономна система, здатна набувати, синтезувати та застосовувати нові компетенції для вирішення невідомих проблем в умовах невизначеності, досягаючи або перевершуючи ефективність людини в навчанні на прикладах, безперервній адаптації, причинно-наслідковому міркуванні та формулюванні цілей без ручного втручання або попереднього навчання для конкретного завдання.
AGI — це не сума всього людського знання, стиснута в матрицю ваг; це двигун метанавчання, здатний генерувати абсолютно нові моделі світу, коли наявні знання не спрацьовують.
- Архітектурні вузькі місця авторегресійних трансформерів
Навіть якщо майбутню фронтирну модель навчити на $10^{27}$ FLOPs на мультимодальних вхідних даних, вона залишатиметься обмеженою фундаментальною механікою архітектури трансформера:
$$\text{Вхідні токени} \longrightarrow \text{Статичне матричне множення (заморожені ваги)} \longrightarrow \text{Розподіл ймовірностей наступного токена}$$
A. Відсутність автономного та безперервного навчання
Архітектурні вузькі місця "GPT-6"
Навіть якщо майбутній "GPT-6" навчити на $10^{27}$ FLOPs з мультимодальними вхідними даними, він залишатиметься обмеженим фундаментальною механікою архітектури трансформера:
\\`
[ Вхідні токени ] ──> [ Статичне матричне множення (заморожені ваги) ] ──> [ Розподіл ймовірностей наступного токена ]
│
└── (Відсутність пластичності під час виконання / Відсутність динамічної моделі світу)
A. Відсутність автономного та безперервного навчання
- Статичні ваги: Стандартні LLM проходять окремі фази навчання та виведення. Як тільки зворотне поширення помилки завершується, ваги моделі заморожуються. Коли LLM взаємодіє зі світом, вона не може змінювати власні внутрішні параметри в реальному часі.
- Катастрофічне забування: Нейронні мережі страждають від катастрофічного забування — оновлення ваг на нових завданнях погіршує раніше набуті здібності.
- Контекстні вікна $\neq$ Пам'ять: Розширення контекстних вікон (або використання RAG) забезпечує тимчасові блокноти, а не консолідовану епізодичну чи семантичну пам'ять. Система, яка не може самостійно відкидати хибні переконання та засвоювати нові аксіоми під час виконання, є двигуном пошуку інформації, а не динамічним учнем.
B. Статистична кореляція проти причинно-наслідкового міркування
- Горизонт наступного токена: Трансформери оптимізують $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$. Як зазначає лауреат премії Тюрінга Джудея Перл у The Seven Tools of Causal Inference (CACM), асоціативні моделі займають найнижчий щабель Ієрархії причинності (Асоціація / "Бачення").
- Вузьке місце втручання: Справжній загальний інтелект вимагає міркувань на рівнях Втручання ("Що, якщо ми зробимо X?") та Контрфактичних сценаріїв ("Що, якби ми діяли інакше?"). LLM апроксимують це через шаблони токенів, але без явного причинно-наслідкового двигуна вони залишаються крихкими під час міркувань за межами свого навчального розподілу.
Статичні ваги під час виведення: Стандартні LLM підтримують суворий структурний кордон між навчанням і виведенням. Як тільки зворотне поширення помилки завершується, ваги моделі залишаються замороженими. Під час виконання LLM не може змінювати власні внутрішні параметри в реальному часі.
Катастрофічне забування: Оновлення ваг нейронної мережі на нових завданнях погіршує раніше набуті здібності.
Контекстні вікна $
eq$ Пам'ять: Розширення контекстних вікон (або додавання генерації з доповненим пошуком) забезпечує тимчасовий блокнот, а не консолідовану епізодичну чи семантичну пам'ять. Система, яка не може самостійно відкидати хибні переконання та засвоювати нові аксіоми під час виконання, функціонує як система пошуку інформації, а не як динамічний учень.
B. Статистична кореляція проти причинно-наслідкового міркування
Горизонт наступного токена: Трансформери оптимізують $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$. Як зазначає лауреат премії Тюрінга Джудея Перл у The Seven Tools of Causal Inference, асоціативні моделі займають найнижчий щабель Ієрархії причинності (Асоціація / "Бачення").
Вузьке місце втручання: Справжній загальний інтелект вимагає міркувань на рівнях Втручання ("Що станеться, якщо ми зробимо $X$?") та Контрфактичних сценаріїв ("Що б сталося, якби ми діяли інакше?"). LLM апроксимують ці механізми через шаблони токенів, але без явної причинно-наслідкової моделі світу вони залишаються крихкими, коли їх змушують працювати за межами їхнього навчального розподілу.
- Критичний аналіз: Наратив лідерів проти архітектурної реальності
Публічні заяви щодо часових рамок AGI потребують об'єктивного аналізу разом зі структурними стимулами компаній, які їх роблять.
Дженсен Хуанг (NVIDIA): Стимул розширення апаратного забезпечення
Формулювання: Хуанг неодноразово заявляв, що AGI з'явиться протягом п'яти років, визначаючи його як точку, коли ШІ зможе набрати найвищий відсоток на професійних тестах людини в юридичній, медичній та технічній сферах.
Перспектива: Визначення AGI насамперед через результати стандартизованих іспитів оцінює статичне відновлення знань і зіставлення шаблонів — завдання, в яких авторегресійні моделі досягають успіху завдяки запам'ятовуванню в масштабі інтернету. З архітектурної точки зору, складання адвокатських або медичних іспитів не свідчить про міркування за межами розподілу або автономну адаптивність. Представлення успіху на іспитах як AGI заохочує постійні капітальні витрати на корпоративні кластери GPU, що безпосередньо відповідає цілям продажу апаратного забезпечення.
Сем Альтман (OpenAI): Стимул капіталу та оцінки
Формулювання: Альтман часто посилається на агресивний графік досягнення AGI, прогнозуючи швидкий перехід від агентних систем до повної когнітивної автономії, щоб виправдати величезні інвестиції в інфраструктуру, такі як багатотрильйонні ініціативи з виробництва чіпів і центрів обробки даних.
Проблема стимулів: Оманлива риторика галузі
Розуміння публічних заяв технічних керівників вимагає аналізу їхніх структурних стимулів:
\\`
┌───────────────────────────────┐ ┌───────────────────────────────┐
│ Дженсен Хуанг (NVIDIA) │ │ Сем Альтман (OpenAI) │
├───────────────────────────────┤ ├───────────────────────────────┤
│ Стимул: Продавати H100/B200 │ │ Стимул: Багатомільярдні │
│ Стратегія: Перевизначити AGI │ │ раунди фінансування та Stargate│
│ як складання стандартизованих │ │ Стратегія: Коливатися між │
│ іспитів протягом 5 років. │ │ "неминучим богоподібним AGI" │
│ │ │ та "просто корисним інструментом."│
└───────────────────────────────┘ └───────────────────────────────┘
Перспектива: Операційний фокус OpenAI покладається на залучення величезних резервів капіталу для фінансування обчислювальних запусків. Просування наративу про неминучість AGI підтримує високі венчурні оцінки та забезпечує стратегічну державну підтримку. Однак зміна визначень — чергування представлення нових релізів як технологічних стрибків і відкликання заяв про AGI під час регуляторних обговорень — підкреслює напругу між ринковими повідомленнями та технічними можливостями. Такі методи, як масштабування обчислень під час виведення, покращують пошук у структурованих просторах завдань, але не вирішують проблему заморожування ваг, адаптації в реальному часі або справжньої епістемічної автономії.
- Хибність бенчмарків: Чому поточні метрики вводять в оману
Сприйняття того, що фронтирні моделі наближаються до AGI, значною мірою випливає з насичення бенчмарків. Поточні методології оцінювання страждають від трьох основних структурних недоліків:
Забруднення даних та насичення бенчмарків: Популярні набори для оцінювання, такі як MMLU та GSM8K, регулярно потрапляють у набори даних для попереднього навчання в масштабі інтернету. Високі бали часто відображають високовимірне відновлення шаблонів, а не міркування за межами розподілу.
Закон Гудхарта в оптимізації ШІ: Як показують дослідження з оцінювання фронтирних моделей ШІ, "коли метрика стає ціллю, вона перестає бути хорошою метрикою." Методи пост-навчання (RLHF, DPO, генерація синтетичних даних) агресивно оптимізують моделі для проходження стандартних публічних оцінювань.
Корпус абстракції та міркувань (ARC-AGI): Оцінювання моделей на нових візуально-абстрактних логічних головоломках, розроблених спеціально для протидії запам'ятовуванню — таких як бенчмарк ARC-AGI — показує, що хоча масштабований пошук і обчислення під час тестування можуть підвищити бали, статистичний пошук методом грубої сили потребує на порядки більше обчислень, ніж ефективність людини на прикладах, для вирішення ідентичних абстрактних задач.
- Архітектурні вимоги для справжнього AGI
Подолання розриву між статистичним зіставленням шаблонів і справжнім AGI вимагає фундаментальних архітектурних змін, відхід від чистої авторегресії:
Висновок
Що насправді вимагає справжній AGI
Подолання розриву між високовимірним статистичним зіставленням шаблонів і справжнім AGI вимагає фундаментальних архітектурних змін:
Основна вимога | Обмеження в моделях трансформерів (GPT-4/6) | Архітектурна вимога для справжнього AGI |
|---|---|---|
Безперервна синаптична пластичність | Заморожені ваги моделі; катастрофічне забування при градієнтних оновленнях. | Безперервна адаптація параметрів і пам'яті в реальному часі під час виконання. |
Причинно-наслідкові моделі світу | 1D асоціативне відображення ймовірностей на рівні токенів. | Багатовимірні причинно-наслідкові двигуни, засновані на операційній механіці та логіці. |
Ефективність навчання на прикладах | Потребує трильйони токенів / даних в масштабі інтернету для вивчення елементарних завдань. | Абстрагування складних аксіом з одиничних демонстрацій (метанавчання). |
Епістемічне самокалібрування | Впевнені галюцинації; нездатність самостійно перевіряти межі істини. | Внутрішня самоперевірка та явне відстеження впевненості/незнання. |
Інтеграція довговічного графа знань | Ефемерні контекстні вікна та зовнішній векторний пошук (RAG). | Уніфіковані графи знань, які безперервно дистилюють, перевіряють, запам'ятовують і скорочують факти стану. |
Масштабування обчислень, кількості параметрів і даних попереднього навчання дає виняткові інструменти, висококваліфікованих помічників з кодування та плавні інтерфейси природною мовою. Однак масштабування статистичного передбачення не породжує спонтанно автономного міркування, динамічного навчання або справжньої агентності.
Майбутній GPT-6 може бути швидшим, більшим і більш красномовним у людському тексті, але без безперервної пластичності, причинно-наслідкового обґрунтування та динамічної самоперевірки він залишається розширеним двигуном кореляції — а не AGI.
Резюме від Seedthink
