від @DawidGalarowicz та @petergostev
Режим Battle Mode на Arena дозволяє порівнювати дві моделі, які відповідають на один і той самий запит користувача. Це дає змогу виміряти не лише вподобання, але й те, наскільки вони збігаються в концептуальному плані.
Ми проаналізували 30 086 пар відповідей ШІ на однакові реальні запити з Text Arena, подані з 1 травня по 2 вересня. Ось що ми дізналися про схожість моделей.
Ключові висновки
- Різні LLM охоплюють різні сфери. Моделі поділили лише 43,1% своїх ідей.
- Суміжні покоління однієї родини моделей повторюють одна одну. Grok 4.5 та Grok 4.6 поділили 59,7% своїх ідей, GPT 5.5 та GPT 5.6 — 59,2%.
- Американські та китайські моделі черпають з тих самих ідей. Fable 5 та GLM 5.3 поділили 55,9% пунктів, причому GLM, Kimi, Opus та Sonnet утворюють сусідство з вищим рівнем перекриття.
- Вища ціна токена не купує іншої перспективи. Fable 5 та DeepSeek V4 Pro розділяла 12-кратна різниця в ціні, але вони поділили 59,2% своїх ідей.
- Моделі зближуються у способі мислення. Найновіші релізи, схоже, охоплюють ті самі ідеї частіше, ніж попередні версії.
Відповіді моделей варіюються більше, ніж можна очікувати
Концептуальна схожість між кожною парою моделей, а також схожість між окремою моделлю та всіма іншими LLM.
Щоб визначити, наскільки схожим є вміст відповідей моделей, ми запровадили метрику під назвою «концептуальна схожість». Цей підхід зводив взаємодії користувача зі ШІ до п'яти ключових пунктів, зроблених двома окремими LLM у відповідь на один і той самий запит, і оцінював перекриття між отриманими десятьма пунктами.
У середньому близько чотирьох з десяти окремих пунктів, визначених у межах однієї битви, з'являлися в обох відповідях. Незважаючи на те, що передові моделі використовують подібні рецепти навчання, ми можемо помітити, що вони регулярно обирають різні підмножини доступних ідей.
Наприклад, дві моделі можуть охоплювати однакові кроки, коли їх просять надати рецепт млинців, але перша може вирішити порекомендувати начинки, тоді як інша може включити помилки, яких слід уникати.
Ця різниця звужується серед суміжних поколінь моделей — вони часто призводять до обмежених альтернативних думок. Grok 4.5 та Grok 4.6 поділили 59,7% своїх ідей, тоді як GPT 5.5 та GPT 5.6 — 59,2%. Такі пари можуть бути корисними, коли метою є валідація, але вони забезпечують порівняно менший концептуальний діапазон.
Найвище спостережуване перекриття було між Kimi K3 та Muse Spark 1.2 — 63,5%. На іншому кінці спектру, Dola Seed 2.0 Pro від ByteDance була особливо диференційованою, маючи в середньому близько 31,1% перекриття у своїх спостережуваних парах.
Американські та китайські моделі мислять однаково
Міжмодельні зв'язки, представлені просторово — моделі, розташовані поруч, обирали подібні ідеї у відповідь на однакові запити користувачів; осі та орієнтація не мають внутрішнього значення, важливі лише відносна відстань та сусідство, які вказують на концептуальну близькість. У фокусі — області навколо моделей Anthropic.
Враховуючи тісніший зв'язок між моделями, випущеними однією лабораторією, можна було б очікувати сильнішого зв'язку між релізами зі США порівняно з тими, що за межами країни.
Однак виявляється, що схожість моделей перетинає національні кордони. GLM, Kimi, Opus та Sonnet займають одне й те саме сусідство з вищим рівнем перекриття, а не утворюють ізольовані американські та китайські блоки. Це особливо помітно, коли накладається перекриття з трьома моделями Claude.
Хоча конкретні причини цього важко визначити, концептуальна схожість на передовому рівні може просто випливати з того, що моделі використовують спільні основні навчальні матеріали та нещодавню міжлабораторну увагу.
Перекриття моделей зростає
Концептуальна схожість для кожної моделі з урахуванням схожості з попередніми релізами.
Цей тип схожості також зростає. Порівняння кожного релізу з попередніми моделями, які з'являлися в Battle Arena, показує, що концептуальне перекриття збільшилося. Наприклад, Muse Spark 1.2 (xHigh) показав більше концептуальне перекриття з попередніми моделями, ніж Muse Spark 1.1 — 48% проти 45%.
Загальна картина також свідчить про те, що ймовірність нестандартних відповідей може знижуватися, і наступне покоління недорогих моделей, ймовірно, підніме планку надійності ще вище.
З іншого боку, існують сценарії, де «повернення до середнього» може бути проблемою. Наприклад, мозковий штурм розділу книги за допомогою набору агентів або пошук інноваційних способів маркетингу бренду пластівців на новому географічному ринку.
Творча робота найбільше виграє від другої перспективи
Концептуальна схожість між моделями з урахуванням битв, які потрапили в одну з вищезазначених категорій — середні показники з 95% довірчими інтервалами.
На щастя, тип завдання суттєво змінює перекриття моделей, причому в напрямку, який сприяє як дослідженню, так і використанню ідей.
Медицина та охорона здоров'я дали найбільш схожі відповіді — 51,1%, за ними йдуть науки про життя та суспільні науки — 49,1%, а також юридичні та державні — 48,9%. На іншому кінці спектру творче письмо дало найменш схожі відповіді — 34,9%. Розваги та медіа — 36,8%, програмування — 39,7%.
Оскільки обмежені завдання, як правило, містили вужчий набір фактів або процедур, моделі зближувалися. І навпаки, відкриті завдання давали моделям більше простору для вибору власного обрамлення та прикладів, і різноманітність між відповідями була набагато вищою.
Вища плата не веде до кращого мозкового штурму
Кількість нових ідей, згенерованих за допомогою іншої LLM на додаток до Fable, та витрати на це — середнє значення та 95% довірчі інтервали для кількості ідей.
А що, якщо ключовим було дослідження, а не використання? Дані свідчать, що після того, як передова модель забезпечила міцну основу, використання іншої SOTA-моделі для її розширення призводить до низької віддачі.
Наприклад, коли були доступні відповіді Fable 5, використання MiniMax M3 дало більше ідей, ніж запуск Opus 5. Аналогічно, супровід її відповідями Mistral Medium 3.5 забезпечив би більше ідей на долар, ніж використання GPT 5.6 Sol.
Одне обмеження полягає в тому, що ідеї можуть бути неоднакової якості. Однак після перевірки експертом-людиною їхня різноманітність, ймовірно, стимулюватиме більше латерального мислення, яке зрештою необхідне в творчих завданнях. Оптимально, передову модель слід поєднувати з меншою, але все ще надійною LLM.
Методологія
Дані
Аналіз охоплює 30 086 порівнянь Text Arena, зафіксованих з 1 травня по 2 вересня 2026 року. Він зосереджений на англомовних запитах і включає взаємодії Battle та Direct Battle.
Підхід
LLM-як-суддя витягувала до п'яти підтверджених ключових ідей з відповіді кожної моделі. Другий прохід судді переглядав обидві оригінальні відповіді та об'єднані ідеї, групуючи кожну ідею як спільну для обох моделей, присутню лише в A або лише в B. Повне оцінювання повторювалося зі зворотним порядком моделей, щоб зменшити ефекти впорядкування. Середні значення з цих оцінок є основою цього аналізу.
Для кожного порівняння:
концептуальна схожість = спільні ідеї / (спільні + ідеї лише A + ідеї лише B)
Оцінка 1 означає, що всі підтверджені ідеї були спільними; оцінка 0 означає, що жодна не була.
Два реальні приклади, що показують, що означає перекриття
- Написання онлайн-статті
Користувач попросив SEO-оптимізовану статтю про розпакування папок на MacBook. DeepSeek V4 Pro High та Fable 5 High надали тісно узгоджені відповіді, включаючи подібні структури. Їхні нечисленні відмінності були вузькими: DeepSeek зазначив, що macOS не має рідної підтримки деяких форматів архівів, тоді як Fable виділив випадки збоїв, такі як пошкодження файлів.
Оцінка концептуальної схожості становила 0,833. Друга відповідь в основному підтвердила першу.
- Складання електронного листа з кадрової політики
Користувач попросив електронний лист, який повідомляє про зміну в кадровій медичній політиці. Opus 5 High обговорював зареєстрованих членів сім'ї, захист PTO та контрольний список питань, які потрібно вирішити перед надсиланням повідомлення. GLM 5.3 Max натомість порушив питання про те, як політика може вплинути на співробітників, які вже перебувають у відпустці PTO.
Оцінка концептуальної схожості становила 0,106. Жодна відповідь просто не повторювала іншу. Разом вони виявляють ширший набір політичних ризиків.
