Если веса свободны, кто платит за следующий запуск и кто обеспечит нашу безопасность?
Вид с Найтсбридж-роуд на Хрустальный дворец в Гайд-парке во время Большой международной выставки 1851 года. Посвящается королевским комиссарам. Лондон: Read & Co. Engravers & Printers, 1851. Wikimedia.
В мае 1851 года миллионы людей прошли по коридорам стеклянного здания, чтобы увидеть прообраз будущего. Большая выставка собрала лучшее из того, над чем в то время экспериментировал мир: паровые молоты, телеграфы, жатвенные машины и ватерклозеты. Любой мог подойти к технологиям поближе и попытаться воспроизвести их, а страны отправляли своих лучших инженеров, чтобы выжать как можно больше из конкурентов. Её спонсор, принц Альберт, твердо верил, что диффузия знаний имеет решающее значение для ускорения экономического прогресса.
Полтора столетия спустя экономист Петра Мозер превратила каталоги выставки и почти 15 000 изобретений с ярмарки и её американского продолжения 1876 года в набор данных. Важно то, что изобретения были из стран как с патентной защитой, так и без неё. То, что она обнаружила, поколебало самых стойких защитников сильных прав интеллектуальной собственности: патентные системы не влияли на уровень инноваций, а лишь на то, куда изобретатели направляли своё внимание. В то время в Швейцарии не было патентной защиты, поэтому новаторы толпились в таких областях, как научные приборы и продукты питания (в 1866 году там была основана Nestlé), где секретность, опережение и дополнительные активы давали им достаточное преимущество. При сильных режимах ИС инновации распространялись шире. Тот же объём инноваций, просто иначе распределённый по областям.
То же самое напряжение теперь находится в центре борьбы между моделями ИИ с закрытыми и открытыми весами. Anthropic и OpenAI утверждают, что «атаки с дистилляцией» со стороны китайских компаний угрожают как способности отрасли финансировать следующее поколение моделей, так и национальной безопасности США. Сторонники открытых весов возражают, что диффузия необходима для конкурентного и инновационного рынка машинного интеллекта.
Но данные Мозер показывают, что спор сосредоточен не на том аспекте. Открытые веса вряд ли изменят уровень инвестиций в ИИ, а только их направление: что создаётся, кто это создаёт и кто получает прибыль. Закрытые лаборатории могут продолжать продвигать самый общий фронтир, в то время как открытые веса позволяют экспериментам распространяться по фирмам и областям, которые могут сочетать машинный интеллект с дефицитными данными, дистрибуцией и неявным знанием. Та же проблема распределения определяет безопасность. Важный вопрос не в том, опасна ли открытость абстрактно, а в том, когда диффузия усиливает защитников и где вредоносные возможности действительно можно ограничить.
Конкурирующие видения рынка интеллекта
Экономический аргумент против открытых весов прост: дистилляция — это кража интеллектуальной собственности и подрыв стимулов к инновациям. Если правительство США не вмешается и не использует все доступные средства, чтобы остановить её, не только американские лаборатории будут не в состоянии финансировать свои следующие крупные обучающие запуски, но и Китай бесплатно воспользуется нашим прогрессом и захватит лидерство. Согласно этому мировоззрению, открытые веса глубоко деселерационистские.
Контраргумент, напротив, опирается на то, как универсальные технологии исторически распространялись в экономике, и делает вывод не только о том, что открытые веса в основе своей проконкурентны и акселерационистские, но и о том, что без них США быстро отстанут. Открытость и эксперименты — это то, как мы лидировали в эпоху интернета, и в этот раз всё будет так же.
Проблемы безопасности ещё больше усложняют дискуссию. Дарио Амодеи уже много лет ведёт крестовый поход против открытых весов на том основании, что они делают нас крайне уязвимыми. Он считает, что после пересечения некоторого порога интеллекта общество не сможет защитить себя от злоумышленников, а вышедшие из-под контроля модели могут нанести потенциально экзистенциальный ущерб. Только ограничивая доступ и устанавливая предохранительные барьеры, страна «гениев в дата-центре» может вообще существовать. Но становится ещё хуже: поскольку открытые веса невозможно «отозвать», мы можем внезапно оказаться в сценарии Судного дня без особого предупреждения и средств спасения.
Критики Амодеи указывают, что без открытых весов рынок интеллекта быстро стал бы крайне концентрированным, и что очень удобно для Anthropic, что её деловые интересы идеально совпадают не только с целями безопасности ИИ, но и с интересами национальной безопасности США. Исследователи безопасности регулярно взламывают защиту и закрытых моделей, а модели Anthropic и OpenAI уже активно использовались хакерами, в том числе для взлома чувствительной правительственной инфраструктуры. Хотя закрытые модели могут создавать иллюзию безопасности, утверждают они, в лучшем случае они покупают нам иллюзию времени.
У каждой стороны есть свои опасения, что неверные действия сегодня приведут к непоправимым проблемам. И обе стороны искренне верят, что их подход — единственный способ обеспечить нашу безопасность (или настолько безопасным, насколько это вообще возможно). К счастью, экономика не служит ни одной из них.
Режим присваиваемости, которого никогда не было
Anthropic и OpenAI стали объектом интенсивных атак со стороны других лабораторий, пытающихся догнать фронтир. Anthropic даже публично попросила Конгресс заняться Alibaba за то, что она назвала наглыми и незаконными атаками, направленными на кражу её технологий. Как американские лаборатории смогут продолжать финансировать необходимые обучающие запуски, если китайские лаборатории могут любыми правдами и неправдами дёшево воспроизвести производительность их моделей в течение нескольких месяцев?
Проблема просьбы Anthropic в том, что за пределами мошеннических аккаунтов и систематического злоупотребления их API патентоподобный режим присваиваемости, который она, похоже, желает, никогда не существовал. Дистилляция — это легитимная отраслевая практика, и она отличается от того типа шпионажа и кражи коммерческой тайны, с которыми в прошлом сталкивались подрядчики в оборонной, аэрокосмической и полупроводниковой сферах. Китайские лаборатории не воруют секретные веса лабораторий; они заставляют американские модели выступать в роли учителей для своих моделей.
Результаты работы моделей не охраняются авторским правом, и лаборатории ИИ обычно передают права на них своим клиентам. Условия использования могут запрещать клиентам использовать эти результаты для обучения конкурирующих моделей. Но это приводит к очевидному вопросу: если технология настолько продвинута, почему лаборатории не могут использовать её для остановки дистилляции? Ответ в том, что ни контент, ни источник не выдают атаку. Каждый отдельный запрос выглядит как работа легитимного клиента, а организованная операция может распределить свой объём по фермерским аккаунтам, агрегаторам и юрисдикциям. Без более обременительных ограничений для всех правоприменение превращается в игру по блокировке аккаунтов, которые тривиально заменяются.
Этот компромисс уже ощутим на примере Fable, чьи ограничения на помощь в исследованиях и разработках фронтирного ИИ настолько разозлили клиентов, что Anthropic пришлось скорректировать их в течение нескольких дней. Антифродовые меры, достаточно жёсткие, чтобы что-то изменить, неизбежно затронут ещё более широкий круг легитимной работы. В долгосрочной перспективе запрещать клиентам обучать модели на результатах, за которые они заплатили, — проигрышное деловое предложение: слишком сильно ужесточите ограничения, и продвинутые пользователи перейдут на модели с открытыми весами.
Наконец, называть сам метод, ответственный за значительную долю прогресса ИИ за последнее десятилетие, нелегитимным — значит ставить ведущие лаборатории в очень трудное положение, поскольку сегодня они сами полагаются на широкие аргументы добросовестного использования для собственной дистилляции огромных объёмов интернет-материалов, медиа и книг.
Но если отбросить сомнения, действительно ли то, что лучшие модели ИИ могут выступать учителями для улучшения менее сильных моделей, вредно для американского ИИ? Если бы правительство могло использовать свои рычаги мягкой силы, политики и дипломатии, чтобы обеспечить это, хотели бы мы этого вообще?
Монополия или не монополия?
И Ричард Нельсон в 1959 году, и нобелевский лауреат Кеннет Эрроу в 1962 году мучились над версией этой самой проблемы. Знание неконкурентно: моё использование идеи не мешает вам делать то же самое. Будучи переданными, идеи также неисключаемы. В результате социальная ценность идеи превышает то, что может получить её изобретатель, что порождает каноническое опасение, что некоторые типы идей вообще никогда не будут должным образом изучены и профинансированы.
Веса моделей, по крайней мере без дополнительного программного обеспечения вокруг них, ведут себя очень похоже на идеи.
Для общества это сводится к простому межвременному напряжению: как только идея появилась, общество хочет, чтобы она распространялась как можно шире. В конце концов, её предельные издержки, как и стоимость загрузки весов модели, близки к нулю. Но до того, как она найдена, обществу нужно, чтобы кто-то действительно верил, что сможет получить значительную прибыль и окупить свои затраты на исследования и разработки.
Йозеф Шумпетер всю жизнь боролся с этим конфликтом, колеблясь между ценностью монопольной ренты для стимулирования первоначальных инвестиций и необходимостью стартапов и созидательного разрушения, чтобы разрушить монополию и обеспечить массовый рост в дальнейшем. В конечном счёте он пришёл к выводу, что лучшее, что может сделать общество, — это вести себя несколько шизофренически: предоставить временную монополию, а затем дать всему идти своим чередом.
Всё, что произошло с тех пор в экономике инноваций, по сути является бесконечным спором о том, насколько временной должна быть эта монополия и что, если вообще что-то, должно её обеспечивать. Но есть один важный нюанс, который может значительно склонить чашу весов в сторону открытости или закрытости.
Приумножение идей
Большинство инноваций, если не все, является результатом той или иной формы рекомбинации идей. В областях, где кумулятивность и возможность перерабатывать прошлые работы особенно важны, длительность и сила прав, предоставленных первопроходцам, должны тщательно взвешиваться с учётом дополнительных издержек от задержки исследований последователями. Ведущие лаборатории ИИ, как бы хорошо они ни были обеспечены ресурсами, могут преследовать лишь ограниченное число перспективных направлений, и это относится и к безопасности ИИ.
ИИ всегда был плодом быстрой дистилляции: сегодняшние удивительные модели — это подарок как десятилетий академических исследований нейронных сетей во время «зимы ИИ», так и публикации Google архитектуры трансформера. В этом свете модели с открытыми весами, выступающие учениками закрытых моделей, являются прямым продолжением этой линии. Результаты моделей — ключевой исследовательский ресурс для продвижения экосистемы.
Самый чистый естественный эксперимент по влиянию ограничения доступа к исследовательским ресурсам на инновации происходит из другой гонки: гонки между коммерческой Celera и публично финансируемым проектом «Геном человека» за секвенирование нашей ДНК. Когда Celera первой секвенировала ген, она ограничивала доступ через плату, лимиты на распространение и лицензионные требования для коммерческого использования. Хайди Уильямс обнаружила, что такие гены привлекали на 20–30 процентов меньше последующих исследований и разработок продуктов, чем сопоставимые гены, которые были публичными с самого начала. Хотя ограничения были недолгими и исчезли в течение двух лет, когда публичный проект независимо секвенировал те же гены, разрыв сохранялся. Ещё в 2009 году гены, секвенированные Celera, по-прежнему отставали от остальных.
Когда ценность последующей работы высока, даже небольшие первоначальные трения накапливаются. Симметрично, устранение трения может иметь большие последствия и для скорости, и для направления инноваций: при изучении биоматериалов Джефф Фурман и Скотт Стерн обнаружили рост кумулятивности на 57–135 % при более свободном доступе к ресурсам. В контексте генетически модифицированных мышей Фиона Мюррей, Филипп Ажион и соавторы изучили, что произошло, когда NIH договорился о снятии ограничений DuPont на сотни линий Cre-lox и Onco, положив конец роялти за доступ и отчётности, которые ограничивали академический доступ. Последующие исследования выросли. Примечательно, что они расширились: появились новые исследователи, и они изучали более новые траектории. Выше по течению создание новых генетически модифицированных мышей не пострадало.
В целом, когда выгоды от кумулятивности и широкого исследования высоки, открытость — доминирующая стратегия. Это также означает, что общество получает наибольшую выгоду от открытости, когда неопределённость ещё относительно высока, как в случае с ИИ сегодня. Когда остаётся только исполнение по известной траектории, закрытость гораздо менее вредна. И даже в этом узком случае (например, молекула с хорошо изученными клиническими преимуществами, которую теперь нужно коммерциализировать) общество предоставляет временную монополию в обмен на соответствующую информацию. Сами патенты — это инструменты распространения и избегания коммерческой тайны, которая не приводит к раскрытию вообще.
Теперь вы можете задаться вопросом, применимы ли эти примеры из научных областей также к ИИ. В конце концов, обслуживание моделей в масштабе требует огромных инвестиций в инфраструктуру, и именно этот объект строительства несёт основной риск для лабораторий. Но урок из телекоммуникаций ровно тот же. В 1956 году антимонопольное урегулирование вынудило AT&T лицензировать безвозмездно один из самых ценных патентных портфелей всех времён. Как измерили Мартин Ватцингер и соавторы, когда изобретения AT&T, включая транзистор, внезапно стали доступны для использования другими, изобретательская активность выросла на 17 процентов за пять лет. Интересно, что эффект был обусловлен не тем, что другие крупные фирмы бесплатно использовали интеллектуальную собственность AT&T, а новыми фирмами, осваивающими совершенно другие рынки. Bell Labs также удвоила усилия в своём основном бизнесе и не была остановлена в инновациях: лазер в 1957 году, спутник связи в 1962 году, Unix в 1969 году.
Хотя идея позволить другим приумножать ваши идеи может раздражать Anthropic и OpenAI, хорошая новость в том, что за очень ограниченным числом исключений именно так работает экономический прогресс. Уильям Нордхаус обнаружил, что новаторы в среднем получают лишь около 2,2 % общественного излишка, который они приносят миру. ИИ не станет исключением. Но это также помещает просьбу Anthropic к правительству США в контекст: общество не обязано предоставлять лабораториям более сильный режим присваиваемости. Как выясняется, на самом деле уже существует другой режим.
Последняя миля инноваций
Когда появляется новая универсальная технология, поначалу её приходится насильственно встраивать в существующую систему. Эти первоначальные «точечные решения» реализуют лишь часть ценности новой парадигмы, и только когда архитектура может быть перепроектирована с нуля, технология становится по-настоящему преобразующей.
Перестройка требует контроля над ключевыми дополнительными активами и их адаптации, включая инфраструктуру, доверие, доступ к дистрибуции и отношения с регуляторами. Это даёт действующим игрокам второй шанс: хотя новые участники могли застать их врасплох и до сих пор превосходить их в инновациях, когда зависимость от дополнительных активов становится ограничивающим фактором, они могут имитировать или приобретать, догонять и сохранять свои позиции.
В 1980-х годах Ричард Левин и его коллеги из Йеля задали руководителям инновационных секторов по всей Америке простой вопрос: что защищает ваши ставки на НИОКР? Патенты оказались внизу списка. Наверху? Обучение, секретность, опережение и дополнительные активы. Исследование повторено десятилетие спустя: тот же ответ. Исключения? Фармацевтика и химия — сектора, где конкретная молекула может определять целый класс продуктов, а узкая исключительность имеет силу. Но подавляющая часть экономики работает на ограниченной возможности исключать других из базовых идей.
Всякий раз, когда присваиваемость слабая, значительная прибыль всё равно возможна; она просто достаётся тем, кто контролирует дополнения к тому, что внезапно стало лучше, дешевле, быстрее. Классический пример — лейбл The Beatles EMI, который также был электронной компанией и запатентовал самый первый компьютерный томограф. Его главный инженер Годфри Хаунсфилд получил за это Нобелевскую премию. EMI не получила никакой выгоды. Через несколько лет она была приобретена, и рынок КТ оказался в руках GE и Siemens. Дополнительные активы GE? Больничная дистрибуция и сети обслуживания — «последняя миля» для того, чтобы томографы действительно вышли на рынок.
ИИ родился на слабой стороне шкалы присваиваемости. Несмотря на ожесточённую конкуренцию в гонке за ASI, исследовательские озарения регулярно покидают стены лабораторий, таланты постоянно перетекают между компаниями в соответствии с традициями Кремниевой долины, а API моделей неизбежно утекают ценную информацию. По всем этим векторам даже драконовские контрмеры купили бы фронтирным лабораториям лишь немного дополнительного времени. Более того, они бы с треском провалились, учитывая рычаги влияния, которые есть у ведущих талантов и крупных корпоративных клиентов на этом этапе.
Конечно, не весь секретный рецепт лаборатории попадает в общественное достояние. По данным Epoch AI, на финальные обучающие запуски приходится лишь от 10 до 23 % общих затрат на вычисления, а лаборатории накапливают значительные неявные знания в области сбора и курирования данных, проектирования и оптимизации инфраструктуры, а также учатся на неудачных экспериментах и траекториях. Но урок тот же: если лаборатории не могут быстро получить ключевые дополнительные активы, необходимые для масштабирования ИИ на рынке, стоимость будет накапливаться в другом месте.
Это объясняет, почему лаборатории ИИ пытаются повысить привязку клиентов, тесно связывая модели и «обвязку», и расширяясь вниз по цепочке в прикладной уровень с помощью таких инструментов, как Claude Cowork, Claude Tag и компьютерное использование ChatGPT. Эти инструменты не только собирают значимые следы для воспроизведения человеческих навыков, решений и суждений, но и усиливают ценность, которую клиенты получают, если фиксируют все свои взаимодействия и воспоминания на одном семействе продуктов, а не на нескольких площадках. Если вы можете быть точкой входа для всех потребностей клиента в ИИ, есть множество способов развить этот опыт, чтобы он стал более «липким», даже если базовая интеллектуальная способность становится товаром.
Помимо экспансии на прикладном уровне и вертикальной интеграции в вычислениях для получения ценового преимущества, регулирование, вероятно, является самым эффективным способом для фронтирных лабораторий привнести дополнительный актив в игру: если во имя безопасности им удастся значительно поднять планку оценки и одобрения моделей, им будет гораздо труднее конкурировать другим, у кого нет доступа к таким же укомплектованным первоклассным командам по политике, регулированию, комплаенсу и безопасности.
Этот урок хорошо сработал в других сильно регулируемых отраслях, от финансовых услуг до здравоохранения. Именно это произошло с цифровыми платформами после введения якобы «просуммерских» правил конфиденциальности ЕС: вместо того чтобы ограничить сбор данных крупнейшими игроками, GDPR оказал сдерживающий эффект на всех остальных, у кого нет ресурсов для соблюдения лабиринта правил.
Но возможность регуляторного захвата не снимает вопрос безопасности. Заявления лабораторий могут быть одновременно корыстными и верными. Являются ли модели с открытыми весами обязательно более рискованными, чем закрытые, или концентрация контроля в руках нескольких игроков создаёт ещё больший системный риск?
Последняя миля безопасности
У Соединённых Штатов есть сравнительное преимущество в обеспечении экспериментирования без разрешений, а не в преждевременном регулировании новых технологий или выборе фаворитов. Но то, что хорошо сработало для интернета, может ужасно подойти для ИИ: что, если открытые веса просто слишком опасны, а жёсткие предохранительные барьеры и проверка личности — единственный безопасный способ использовать возможности фронтира?
Более сильный контроль повышает планку для злоумышленников, стремящихся злоупотребить системой. Но поскольку технология является двойного назначения, этот контроль неизбежно ограничивает доступ и для более широкого круга добросовестных акторов. В зависимости от того, насколько важна быстрая диффузия оборонительных возможностей в конкретной области, закрытые модели не всегда могут быть безопаснее.
Баланс зависит от двух экономических вопросов: кто больше всего выигрывает от диффузии на пределе, и где доступ действительно можно ограничить? В киберпространстве оборона распределена по очень большому числу организаций и устройств. Открытые веса снижают стоимость аудита кода, исправления уязвимостей и модернизации устаревшей инфраструктуры, в то время как искушённые атакующие могут обходить контроль на уровне моделей. Поэтому ограничение доступа обложило бы налогом широкую популяцию защитников, не исключая при этом самых умелых противников.
В биологии расчёт, вероятно, иной. Одна опасная способность может причинить необратимый вред, от которого обществу будет трудно защититься. Поэтому задержка диффузии имеет особую ценность, если это время используется для усиления скрининга и контроля над дефицитными физическими ресурсами (синтезаторами, специализированным оборудованием и биологическими материалами), необходимыми для превращения результата модели в масштабный физический ущерб. Урок о дополнительных активах применим и к безопасности: когда узким местом являются атомы, это даёт гораздо более эффективную точку контроля против злоумышленников, чем программные предохранители.
Для подлинно системных и экзистенциальных рисков баланс может сместиться ещё дальше в сторону открытости. Когда доминируют неизвестные неизвестные, знания, необходимые для обнаружения или нейтрализации атаки или крупного побочного эффекта ИИ, вероятно, распределены, а не сконцентрированы среди небольшого числа сотрудников ИИ-лабораторий. Если так, открытые веса могут способствовать созданию гораздо более устойчивой и разнообразной иммунной системы ИИ, в которой оборонительные возможности широко распределены, а не заперты в нескольких монокультурах. Концентрация талантов, идей и способности оценивать и тестировать уязвимости в небольшой популяции оставила бы обществу мало вариантов при возникновении проблем.
Конечно, это не означает, что высокоспособные модели с открытыми весами должны выпускаться без того же независимого стороннего тестирования, которому должны подвергаться закрытые модели. Поэтапные релизы также позволили бы экосистеме учиться и адаптироваться по мере появления новых возможностей. В более широком смысле исследователи безопасности должны больше инвестировать в понимание того, что можно сделать на разных фазах обучения, чтобы сократить или устранить вредоносные способности, а не полагаться исключительно на отказы.
Наш текущий подход во многом опирается на предохранители. Но если наиболее реалистичная отправная точка — предполагать нарушение, важно продвигать исследования альтернатив. Выбор может стоять не между открытостью и безопасностью, а между безопасностью, которая полагается на нашу способность сдерживать биты, и безопасностью, которая планирует провал сдерживания.
Остаётся вопрос бизнес-стратегии: какими бы ни были достоинства открытых весов, смогут ли ведущие ИИ-лаборатории захватить регулирование безопасности, чтобы замедлить прогресс открытых весов — внутри страны и за рубежом? Или экономика технологии толкает в другую сторону?
Владейте весами производства
Ряд предприятий видит потенциальный регуляторный захват со стороны ведущих ИИ-лабораторий как угрозу своему бизнесу и начал выступать за «суверенные» подходы к технологии, начиная с того, чтобы модели с открытыми весами не оказывались в регуляторно невыгодном положении. Фокус на открытых весах направлен одновременно на снижение зависимости от вендора — ведь корпоративное внедрение требует немалого объёма кастомизации, чтобы выжать из модели максимум производительности, — и на защиту наиболее ценной информации компании.
Чтобы модели справлялись со всё более сложными специализированными рабочими процессами, нужны более детальные и проприетарные данные. Сегодня эти данные всё ещё находятся в руках отраслевых лидеров, однако в инженерии, дизайне, финансах, бухгалтерии и юриспруденции ИИ-лаборатории агрессивно ищут творческие способы собрать их больше. Часть этих данных — неявное знание, закодированное в «весах» голов экспертов; часть — в давно работающих системах учёта; а часть ещё не измерена — хотя у предприятий часто уже есть налаженные отношения с нужными поставщиками и клиентами, чтобы её собрать.
В результате, хотя первая волна переговоров между лабораториями и предприятиями строилась вокруг сотрудничества (наши технологии, ваша отраслевая экспертиза), всё больше заказчиков чувствуют: ещё один шаг — и им придётся конкурировать со своим же ИИ-провайдером. Потеря контроля над «весами производства» — реальная проблема, особенно потому, что платформенные провайдеры имеют сильные стимулы нарушать обещания нейтральности и продвигать собственные продукты. Хороший пример — теперь уже напряжённые отношения между Anthropic и Figma: Figma начинала как клиент, а теперь вынуждена конкурировать, чтобы не быть вытесненной из цепочки создания стоимости.
Первоначальный интерес предприятий к моделям с открытыми весами был в основном продиктован стоимостью и стал естественной коррекцией после месяцев, когда сотрудники «токенмаксили» свой путь к большей производительности. Переключая промпты на более дешёвые модели с открытыми весами, предприятия могут перенести значительную долю спроса на токены с более дорогих фронтирных моделей. ИИ-лаборатории начали бороться с этим: они последовательно резко снижают цены на модели начального уровня и обучают свои модели так, чтобы те лучше всего работали именно с их продуктами.
Но в долгосрочной перспективе дело не в стоимости — причина, по которой предприятиям стоит заботиться об открытости, это контроль. Да, лаборатории обещают не обучаться на входных и выходных данных, но на деле взаимодействие с их инструментами всё равно утекает ценная информация. К тому же, по мере развития инструментария и вложения компаниями значительных ресурсов в настройку своих ИИ-процессов зависимость от вендора только растёт. Поэтому для большинства рыночных лидеров открытые веса — не просто запасной выход для экономии, а вопрос выживания. В ближайшие несколько лет каждой компании понадобится возможность обучать и оптимизировать модели, поддерживающие её наиболее стратегически важные операции, и владеть ими. Если она не сможет сохранить свои самые глубокие неявные знания и наработки, её вытеснят из цепочки создания стоимости.
Представление о том, как может выглядеть будущее при более суверенной архитектуре, даёт недавнее сотрудничество Thinking Machines и инвесткомпании Bridgewater. Для хедж-фонда альфа — это и есть бизнес, поэтому можно ожидать, что Bridgewater будет особенно осторожна в выборе ИИ-архитектуры. В данном случае две организации совместно обучали кастомную модель как расширение базовой модели Thinking Machines. Лаборатория предоставляет общий машинный интеллект и инструменты обучения ИИ, хедж-фонд — собственные уникальные знания. Такое разделение труда защищает Bridgewater и даёт ей больше контроля над весами, в которых закодированы её ключевая интеллектуальная собственность и неявные знания.
С точки зрения стратегии, Anthropic и OpenAI иногда воспринимаются собственными клиентами как потенциальные конкуренты, тогда как Thinking Machines придерживается подхода, укрепляющего цепочку создания стоимости: она выигрывает только тогда, когда выигрывают её клиенты. Microsoft и Palantir сделали похожие ставки, стремясь стать поставщиками инфраструктуры и ИИ-инструментов для предприятий, которые хотят держать свой машинный интеллект в собственном периметре, и многие последуют их примеру.
Какой подход лучше подходит рынку интеллекта? Тот, что начинается с общего интеллекта, создаваемого несколькими ведущими ИИ-лабораториями, и движется вниз по цепочке, или тот, что идёт снизу вверх — от прикладного уровня — и возвращает идеи и улучшения множеству моделей с открытыми весами? Это зависит от формы спроса на интеллект.
Карта кривизны интеллекта
Любая технология общего назначения приносит выгоды, настолько широко распределённые по отраслям, что ни одна отдельная компания не способна присвоить их целиком. Теоретически это может привести к недостаточным инвестициям. Чем более общими становятся ИИ-модели Anthropic и OpenAI, тем больше разрыв между созданием и присвоением стоимости — возможно, этим объясняется недавний фокус на специализированных моделях для кибербезопасности и наук о жизни. Можно опасаться, что без лабораторий ряд областей машинного интеллекта, которые сложнее монетизировать, оказался бы заброшенным: у всех есть стимул бесплатно пользоваться базовыми возможностями и строить там, где готовы хорошо платить.
Но этот взгляд упускает ключевое следствие того, что открытые веса превращают вчерашние фронтирные возможности в товар: когда стоимость обрушивается, множество приложений, которые раньше были нерентабельны, вдруг становятся жизнеспособными. Это ускоряет внедрение, а вместе с внедрением растёт и число компаний, у которых есть причины поддерживать общие технологические компоненты. Мы уже видели, как это разыгрывалось на примере открытого ПО вроде Linux: компании с комплементарными бизнес-моделями вносят вклад в общее достояние. Вероятно, именно поэтому NVIDIA удалось собрать большую и разнообразную коалицию в поддержку открытых весов.
Отсюда следует конкретный сценарий разделения рынка. Релевантная кривая — это отдача от дополнительной единицы производительности модели. В значительной части экономики эта отдача быстро убывает: когда модель становится достаточно хорошей, дальнейшие улучшения значат меньше, чем цена, надёжность и простота развёртывания. Интеллект будет вести себя как товар и тарифицироваться «по счётчику», как электроны в наших счетах за электричество. Модели с открытыми весами или закрытые модели, работающие по себестоимости, будут обслуживать эту часть рынка, а компании с преимуществами в инфраструктуре или вычислениях будут конкурировать по цене. Некоторые лаборатории могут даже комплектовать товарные токены в пакеты или перекрёстно субсидировать их, чтобы удерживать клиентов ради более маржинальных.
Но производство токенов с добавленной стоимостью будет другим. По мере того как компании превращаются в фабрики токенов, которые превращают входные токены в их более качественные версии, они смогут назначать наценку, только если у них есть доступ к более качественному ground truth, данным и талантам. Эти компоненты нужны, чтобы расширять границы безопасно автоматизируемого и создавать машинный интеллект, лучше учитывающий текущие условия. В конечном счёте именно здесь ключевую роль сыграют комплементарные активы, а некоторые из самых ценных моделей продвинут компании, которые находятся на переднем крае превращения трения с реальным миром в более качественные токены. Агентная работа приносит пользу, только когда ей можно доверять, а доверие требует более совершенной инфраструктуры верификации. Единственный путь к более эффективной верификации — иметь более качественный ground truth, чем у конкурентов. Дистрибуция, конечно, один из способов собирать такие данные быстрее других.
В других областях кривизна противоположная. В кибербезопасности, финансах, фронтирных исследованиях и разработках (включая развитие ИИ) и патентоспособных сферах небольшое преимущество в возможностях может давать непропорционально большую отдачу. Такие выпуклые функции выигрыша могут поддерживать временную фронтирную ренту, потому что покупатели готовы платить за лучшую из доступных моделей, а не за вторую по качеству. Достанутся ли эти ренты универсальным лабораториям или специализированным провайдерам, зависит от того, кто первым получит доступ к нужным данным.
Но у областей с максимальной отдачей есть свойство, которое упускают многие из тех, кто делает ставку на фронтирные лаборатории. В наиболее выпуклых областях предельный покупатель — не пользователь и не компания, а государство. А когда ставки действительно высоки, государствам не нужно прибегать к рынку. Предвестие этого мы видели в запретах Fable и Mythos. Пока США и Китай соревнуются в ИИ, робототехнике, квантовых технологиях и космосе, они сделают всё возможное, чтобы быть впереди. Поэтому чем круче кривая, тем выше вероятность, что, если бы лаборатория достигла чего-то по-настоящему беспрецедентного, это достижение оказалось бы под жёстким контролем или даже было бы национализировано. По иронии судьбы, чтобы сохранить свободу, любой ИИ-лаборатории нужно быть успешной, но не слишком.
Что подводит к естественному вопросу об AGI/ASI. Хотя многие утверждают, что мы уже обладаем сверхинтеллектом уровня AGI в любой проверяемой области, справедливо спросить: не перестаёт ли всё сказанное выше действовать, как только лаборатория достигает ASI? Если уж на то пошло, именно ASI — та причина, по которой лаборатории гонятся за рекурсивным самосовершенствованием, а не за прибыльными отраслевыми вертикалями. Логика такова: если сначала решить задачу интеллекта, остальная экономика склонится перед кодом. Но если вы верите, что распределённое неявное знание по-прежнему важно для продуктивности ASI, то быстро понимаете: ценность комплементарных активов не исчезает с появлением ASI. Скорее, они могут стать ещё более критичным узким местом на последней миле внедрения. Наконец, если ASI состоит из идей, сдержать его навсегда невозможно. Он утечёт, кривая станет товаром, и стоимость снова сосредоточится там, где осталось трение.
Универсалы против специалистов и неизвестные неизвестные
К этому моменту, надеюсь, уже ясно: открытые веса бросают вызов не уровню инвестиций в ИИ, а лишь их направлению.
Мир, в котором доминируют открытые веса, поддерживает прогресс в любой области, где есть хотя бы одна компания с комплементарной бизнес-моделью или активами, гарантирующими возможность присваивать выгоды. Некоторые компании, например NVIDIA, естественным образом заинтересованы в любой области, которая ведёт к росту спроса на интеллект. Другие — потому что ИИ снижает издержки, повышает качество, увеличивает вовлечённость и удержание и так далее. Исход с доминированием открытых моделей — это машинный интеллект, который остаётся очень способным, но специализированным. В этом сценарии, в зависимости от того, каким образом в каждой области достигается и обновляется SOTA, универсальные ИИ-лаборатории могут разделить участь EMI: она изобрела компьютерный томограф, но так и не смогла его монетизировать.
На противоположном конце спектра — мир, где весь прогресс сосредоточен в нескольких крупных лабораториях, — это мир, в котором общество выиграло бы от максимально общей формы интеллекта. Условие устойчивости этого сценария — чтобы лаборатории на каждом витке получали достаточное преимущество и временной задел для окупаемости затрат на НИОКР и борьбы с коммодитизацией. Это мир, в котором у лабораторий значительная рыночная власть, но открытые веса сдерживают их, делая их позицию хотя бы частично оспариваемой.
В зависимости от того, какова реальная форма спроса на машинный интеллект, оба сценария могут какое-то время сосуществовать: закрытые лаборатории контролируют верхний сегмент рынка, модели с открытыми весами обслуживают основную массу токенов, и процесс повторяется с каждым поколением. Но если AGI/ASI станет слишком дешёвым, чтобы его тарифицировать, последним уцелевшим рвом окажется ещё не открытая информация и всё, что не измерено. Тогда гонка превратится в соревнование за то, кто первым найдёт трение во вселенной, соберёт этот сигнал и передаст его сверхинтеллекту. И в этой игре многие распределённые формы интеллекта могут получить несправедливое преимущество над централизованным.
Прозрение Фридриха Хайека относительно фатальной слабости централизованного планирования заключалось не в том, что планировщикам не хватает интеллекта или вычислительных мощностей, а в том, что ни один планировщик, сколь бы умён он ни был, не может обладать всем релевантным знанием. Это знание рассеяно, локально, часто неявно и постоянно меняется: «знание конкретных обстоятельств времени и места». Даже сверхинтеллекту пришлось бы постоянно выходить в мир, чтобы его обнаруживать.
Рынки эффективнее централизованного планирования, потому что превращают бесчисленные независимые столкновения с реальностью в распределённый процесс открытий, адаптации и отбора. Множество конкурирующих сверхинтеллектов — каждый из которых исследует свой фронтир вселенной с иными допущениями и ценностями — откроет больше, чем любой отдельный интеллект, сколь бы огромным он ни был. Открытые веса распространяют ту же логику: они позволяют адаптировать интеллект повсюду, а не оптимизировать его один раз и дозировать из центра. Регуляторный захват может замедлить их распространение. Он может ослабить градиент. Но обратить этот процесс вспять он не может.
