作者：@DawidGalarowicz 與 @petergostev
Arena 的 Battle Mode 讓我們可以比較兩個模型對同一使用者提示的回應。這不僅能衡量偏好，還能看出它們在概念層面上的重疊程度。
我們審視了 30,086 組 AI 對同一組真實世界 Text Arena 提示的回應，這些提示提交於 5 月 1 日至 9 月 2 日之間。以下是我們關於這些模型相似度的發現。
主要發現
- 不同的 LLM 涵蓋不同的範疇。 模型之間僅共享了 43.1% 的想法。
- 同一模型系列的相鄰世代會互相呼應。 Grok 4.5 與 Grok 4.6 共享了 59.7% 的想法，GPT 5.5 與 GPT 5.6 則共享了 59.2%。
- 美國與中國的模型借鑒了相同的想法。 Fable 5 與 GLM 5.3 共享了 55.9% 的要點，而 GLM、Kimi、Opus 與 Sonnet 則形成了一個重疊度較高的群組。
- 支付更高的 Token 價格並不會買到不同的觀點。 Fable 5 與 DeepSeek V4 Pro 之間存在 12 倍的價格差異，但它們共享了 59.2% 的想法。
- 模型的思考方式正在趨同。 大多數最新發佈的模型，似乎比它們之前的版本更頻繁地涵蓋相同的想法。
模型輸出的差異可能比你想像的更大
每對模型之間的概念相似度，以及單一模型與所有其他 LLM 之間的相似度。
為了捕捉模型回應內容的相似程度，我們定義了一個名為「概念相似度」的指標。這種方法將使用者與 AI 的互動提煉成兩個不同的 LLM 在回應同一查詢時提出的五個關鍵要點，並估算這十個要點之間的重疊程度。
平均而言，在一個 Battle 中識別出的十個不同要點裡，大約有四個會同時出現在兩個回應中。儘管前沿模型遵循相似的訓練方法，但我們可以注意到，它們經常選擇不同的可用想法子集。
例如，當被要求提供煎餅食譜時，兩個模型可能涵蓋相同的步驟，但第一個模型可能決定推薦配料，而另一個模型則可能包含要避免的錯誤。
這種差異在相鄰的模型世代之間會縮小——它們通常只提供有限的第二意見。Grok 4.5 與 Grok 4.6 共享了 59.7% 的想法，而 GPT 5.5 與 GPT 5.6 則共享了 59.2%。當目標是驗證時，這些配對可能很有用，但它們提供的概念範圍相對較小。
觀察到的最高重疊度出現在 Kimi K3 與 Muse Spark 1.2 之間，達到 63.5%。在另一個極端，ByteDance 的 Dola Seed 2.0 Pro 則特別具有差異性，在其觀察到的配對中，平均重疊度約為 31.1%。
美國與中國的模型想法相似
以空間方式呈現的跨模型關係——相近的模型在回應相同使用者提示時會選擇相似的想法；軸線和方向沒有內在意義，它們的相對距離和鄰近區域才表示概念上的接近程度。圖中聚焦於 Anthropic 模型周圍的區域。
考慮到同一實驗室發佈的模型之間關係更為密切，我們可能也會預期美國發佈的模型與美國以外的模型之間存在更強的關聯。
然而，事實證明，模型的相似度跨越了國界。GLM、Kimi、Opus 與 Sonnet 佔據了同一個重疊度較高的鄰近區域，而不是形成孤立的美國和中國陣營。當疊加與三個 Claude 模型的重疊度時，這一點尤為明顯。
雖然很難確定具體原因，但前沿模型之間的概念相似度可能僅僅源於它們共享核心訓練資料以及近期跨實驗室的共同關注焦點。
模型重疊度正在增加
每個模型與其之前發佈的版本之間的概念相似度。
這種相似度也在上升。 將每個發佈版本與 Battle Arena 中出現的先前模型進行比較，顯示概念重疊度已經增長。例如，Muse Spark 1.2 (xHigh) 與早期模型的概念重疊度高於 Muse Spark 1.1——分別為 48% 與 45%。
整體情況也表明，出現「通配符」回應的可能性可能正在降低，而下一代低成本模型很可能會將穩健性的標準提得更高。
另一方面，在某些情況下，「回歸平均值」可能是一個問題。例如，用一組 Agent 來構思一個書本章節，或者在一個新的地理市場尋找創新的穀物品牌行銷方式。
創意工作最能從第二種觀點中獲益
跨模型的概念相似度，考量了屬於上述類別的 Battle——平均分數以及 95% 信賴區間。
幸運的是，任務類型會顯著改變模型的重疊度，並且其方向同時有利於想法的探索與利用。
醫學與醫療保健領域產生的答案最為相似，達到 51.1%，其次是生命與社會科學（49.1%）以及法律與政府（48.9%）。在另一個極端，創意寫作產生的答案相似度最低，為 34.9%。娛樂與媒體領域緊隨其後，為 36.8%，程式碼領域則為 39.7%。
由於受限任務通常包含較狹窄的事實或程序集合，模型因此趨於一致。相反地，開放式任務為模型提供了更多空間來選擇自己的框架和範例，因此答案之間的多樣性要高得多。
支付更多費用並不會帶來更好的腦力激盪
在 Fable 之外使用另一個 LLM 所產生的新想法數量，以及這樣做的成本對比——想法數量的平均值與 95% 信賴區間。
如果關鍵在於探索而非利用呢？數據表明，一旦一個前沿模型提供了堅實的基礎，再使用另一個 SOTA 模型來擴展它，其報酬率會很低。
例如，在 Fable 5 的答案可用的情況下，使用 MiniMax M3 比啟動 Opus 5 能產生更多想法。同樣地，搭配 Mistral Medium 3.5 的答案，每花費一美元所獲得的新想法，會比使用 GPT 5.6 Sol 更多。
這其中一個限制是，這些想法的品質可能不盡相同。然而，一旦經過人類專家審查，它們的多樣性很可能會激發更多的橫向思考，而這正是創意任務最終所需要的。理想情況下，一個前沿模型應該與一個較小但依然穩健的 LLM 配對使用。
研究方法
數據
此分析涵蓋了 30,086 組 Text Arena 比較，記錄時間為 2026 年 5 月 1 日至 9 月 2 日。它專注於英文提示，並包含了 Battle 與 Direct Battle 互動。
方法
使用 LLM 作為評審，從每個模型的答案中提取最多五個有依據的關鍵想法。第二輪評審會審查原始答案和合併後的想法，將每個想法歸類為「兩模型共享」、「僅模型 A 有」或「僅模型 B 有」。為了減少順序效應，整個評判過程會以模型順序反轉的方式重複進行。這些評判結果的平均值構成了本次分析的基礎。
對於每次比較：
概念相似度 = 共享想法 / (共享想法 + 僅 A 有想法 + 僅 B 有想法)
分數為 1 表示每個有依據的想法都是共享的；分數為 0 則表示完全沒有共享。
兩個真實世界的範例，展示重疊度的意義
- 撰寫一篇線上文章
一位使用者要求撰寫一篇關於在 MacBook 上解壓縮資料夾的 SEO 優化文章。DeepSeek V4 Pro High 與 Fable 5 High 產生了高度一致的回應，包括相似的結構。它們的少數差異很狹隘：DeepSeek 指出 macOS 原生不支援某些壓縮格式，而 Fable 則強調了檔案損壞等失敗情況。
概念相似度分數為 0.833。第二個答案基本上驗證了第一個答案。
- 起草一封 HR 政策電子郵件
一位使用者要求撰寫一封關於 HR 醫療政策變更的通知電子郵件。Opus 5 High 討論了已登記的家庭成員、PTO 保護以及發送郵件前需要解決的問題清單。GLM 5.3 Max 則提出了該政策可能如何影響已經在休 PTO 的員工。
概念相似度分數為 0.106。兩個答案都沒有簡單地重複對方。綜合來看，它們揭示了更廣泛的政策風險。
