世界で最も賢い研究所が、誤って間違った製品を出荷してしまった理由
私は Anthropic の最も高性能な公開モデルに、Anthropic に関するエッセイの編集を依頼しました。しかし、その機会は訪れませんでした。私はこの草稿を添付し、7 つの無害な単語を入力しました。「Redraft make this POP. Format for Twitter.（リドラフト、これを目立たせて。Twitter 用にフォーマットして）」 すると、アプリは自動的にタスクを Fable 5 から Opus 4.8 に切り替えました。その説明はシンプルでした。「Fable のセーフガードがこのメッセージにフラグを立てました。」
正確に言うと、これは通常のレート制限ではありませんでした。Fable は応答を拒否したわけではなく、そもそも応答しませんでした。Anthropic のセーフガードが、選択されたモデルが応答する前にリクエストを傍受し、別のモデルにルーティングしたのです。Anthropic は、これこそがシステムの動作方法であると説明しています。Fable の分類器がリクエストをブロックすると、そのリクエストは Opus 4.8 に送信されるのです。同社はまた、分類器の安全マージンを意図的に拡大し、その結果、無害な作業に対してより多くの誤検知が発生することを認識していることも認めています。（Anthropic）
なぜセーフガードが作動したのかはわかりませんし、Anthropic が批判を検閲したと主張しているわけでもありません。検証可能で、そして十分に奇妙な事実は、日常的な編集リクエストが、正規のコーディング、サイバーセキュリティ、生物学の作業における誤検知について警告するセーフガードに引っかかったということです。多くの人が地球上で最も brilliant な AI システムを作ったと信じているチームについてのエッセイの、ほぼ喜劇的に完璧な始まり方でした。
このエッセイは、システムが個々の部分の性能にあまりにもとらわれ、システム全体が存在する目的である成果を見失ったときに何が起こるかを考察します。 モデルは brilliant であり、セーフガードは設計通りに動作し、価格設定ポリシーはそれを考案した人々には完全に理にかなっているかもしれません。それでも、ユーザーの作業は未完了のままでいる可能性があります。
証拠A:
私は Fable 5 にこの記事の編集を依頼しました。Anthropic のセーフガードがリクエストにフラグを立て、Opus 4.8 に切り替えました。
ニワトリとその卵
1982年、パデュー大学の遺伝学者ウィリアム・ミューアは、採卵鶏を使った珍しい繁殖実験を開始しました。ミューアは、生産性を個体レベルではなくグループレベルで選択した場合に何が起こるかを知りたかったのです。彼は、最も生産性の高い個々のニワトリ（純粋な個体の産出量の指標）だけから繁殖させるのではなく、関連する雌鶏を一緒に飼育し、その集団全体のパフォーマンスに従って家族グループ全体を選択しました。隔離されたニワトリではなく、ケージが選択の単位となったのです。（PubMed）
後にマーガレット・ヘファーナンは、ミューアの技術的な繁殖プログラムを有名な「スーパーチキン」の物語に変えました。経営者にとって、彼女の物語は不気味な警告となりました。最も強く、最も賢い人材を採用することが、必ずしも最良の成果を生み出すとは限らない、という警告です。彼女の再話では、1 群のニワトリは普通の群れのままでいることが許されました（スーパーチキンは禁止）。2 番目のグループは、最も生産性の高い個々のニワトリから繰り返し繁殖されました。彼女はこれを「オールスターチキン」と呼んでいます。（Purdue Alumnus）
結果は劇的でした。6 世代にわたって、ミューアのグループ選択された群れの年間死亡率は 68% から 8.8% に低下しました。同じ期間に、生産量は 1 羽あたり 91 個から 237 個の卵に増加し、元の産出量の 2.6 倍になりました。後に 12 羽のグループで行われた直接比較では、個体のパフォーマンスのために選抜された商用系統は、58 週齢までに 89% の死亡率を示しました。ミューアのグループ選択系統の死亡率はわずか 20% であり、未選択の対照群は 54% でした。同じグループ環境において、グループ選択された群れは、1 羽あたりの産卵数、卵量、1 日 1 羽あたりの産卵数において、商用のオールスターを上回りました。（PubMed）
一方、スーパーチキンの群れは、ぼろぼろで疲れ果てていました。この実験を有名にしたバージョンでは、9 羽のオールスター雌鶏のうち 6 羽が死亡し、残りの 3 羽は羽をむしられていました。群れは、文字通り、共食いするようにして死に絶えたのです。（Purdue Alumnus）
教訓は決して、平凡さが才能に勝るということではありませんでした。本当の教訓は、あなたのアウトプットは、あなたが何に報酬を与えるかを反映するということです。個々のパフォーマンスだけを選択すると、誤って弱いチームを作ってしまう可能性があります。なぜなら、ある個体が支配的になることを可能にする特性が、周りのすべての人の生産性を低下させる可能性があるからです。グループへの貢献度に応じて個人を選択すると、個人のランキングの中では見えなくなっていた特性、すなわち相性、抑制、信頼性、協調性が突然見えるようになります。
ニワトリの真の貢献は、単にどれだけ多くの卵を産めるかということだけではありません。それは、彼女の存在が他のニワトリの生産に何を可能にするか、あるいは何を妨げるかも含みます。ミューアは、調和を優先して生産性を放棄したわけではありません。彼は、社会システムにおいては、調和は生産性の一部であることを発見したのです。パフォーマンスの真の単位は決してニワトリではありませんでした。それはニワトリ小屋でした。
私は、自身の建設会社を経営していたときに、この苦労して得た教訓の一バージョンを学びました。長年、私たちの特定の業界では頼りになる助っ人を見つけるのが非常に難しく、オールスターは救世主のように感じられました。しかし、オールスターに見える人々は、あまりにも頻繁に隠れた代償を伴っていました。追加の例外、追加の管理、損なわれた士気、そして残りのクルーが吸収しなければならなかった摩擦です。
最終的に、私は「この人は自分の技術においてどれほど優れているのか？」とだけ尋ねるのをやめ、「この人がチームに加わると、他の全員の仕事はどうなるのか？」と尋ね始めました。最も強く見える人が、必ずしも会社を実際に強くする人であるとは限りません。隣接するすべての職種を遅らせ、現場監督の注意を消費し、信頼できる人々を追い払ってしまう熟練の職人は、単独では印象的でも、実際には高くつく可能性があります。クルー全体をより信頼できるものにする、より静かな労働者は、個々のアウトプットが示すよりもはるかに多くの貢献をしているかもしれません。
スーパーコープ
Anthropic は確かに、本当に賢いニワトリの驚くべき群れを集めました。2025 年の SignalFire の分析は、公開されている雇用データに基づき、エンジニアが OpenAI から Anthropic に移る確率はその逆の 8 倍であり、DeepMind から移る確率は約 11 倍であると推定しました。また、少なくとも 2 年前に雇用された Anthropic の従業員の 80% が 2 年目の終わりまで在籍し続けたのに対し、DeepMind では 78%、OpenAI では 67% であったと推定しています。（SignalFire）
これらの数字は、人材の獲得や維持に苦労している企業を表しているわけではありません。これらは、オールスターを引き寄せる磁石を表しています。
だからといって、Anthropic の従業員が互いに共食いしているわけではありません。それは安っぽい類推であり、才能の数字はそれを証明していません。より重要な危険は、より微妙なものです。企業が、卓越した研究者、異常に高い定着率、そして最先端のモデルを説得力を持って指摘できる場合、個々の部分における優秀さが、システム全体が機能している証拠であると見なすことが容易になります。
ミューアの実験は、なぜその推論が信頼できないかを示しています。危険は、優秀さ自体ではありません。危険は、パフォーマンスを一段階低いレベルで測定することです。
モデルは製品ではない
AI 業界はスーパーチキンを中心に構築されています。有名な研究者、ベンチマークをリードするモデル、巨額の報酬パッケージ、そして最上級の言葉で埋め尽くされたローンチページです。研究所の内部では、序列は明白です。外部からは、私たちは卵しか見えません。
シリコンバレーには明確な盲点があります。あなたのチームは優秀でも、あなたが構築した製品は、フラストレーションがたまり、アクセスしにくく、信頼性が低いままである可能性があります。
毎日のユーザーは、才能あるニワトリのチームやベンチマークでモデルを判断しません。私たちが目にするのは、モデル、アプリ、セーフガード、使用制限、価格設定、カスタマーサポートだけです。
2 つの企業、74 分の差
7 月 17 日、Anthropic は Fable への圧倒的な需要に対して妥協案で応えました。7 月 20 日から、Max および Team Premium サブスクライバーは、プランの一部として Fable にアクセスできるようになりますが、通常の制限の半分になります。Pro および Team Standard ユーザーは、引き続き使用クレジットを通じてモデルにアクセスでき、100 ドルの 1 回限りのクレジットを受け取ります。
https://x.com/claudeai/status/2078302415804379218
74 分後、OpenAI の Thibault Sottiaux 氏は、すべての有料 Codex および ChatGPT Work ユーザーの使用制限がリセットされたことを発表しました。
これらは、経済的に同一のオファーではありませんでした。Anthropic は、異常に計算集約的なモデルに対する継続的なアクセスポリシーを確立していた一方、OpenAI は、困難な製品ローンチの後、一時的なリセットを付与していました。その但し書きは重要です。それでも、製品姿勢の対比は見逃しがたいものでした。
https://x.com/thsottiaux/status/2078320950488297917
OpenAI は完璧な立場から行動していたわけではありません。同社は最近、自社のデスクトップおよび ChatGPT Work のロールアウトの一部を失敗しており、Sottiaux 氏は「すべてが完璧だったわけではない」と公に認めていました。ユーザーは、混乱を招く高計算設定、不透明な使用コスト、そして使い慣れたワークフローを混乱させる再設計に直面していました。OpenAI は、デフォルトを変更し、インターフェースを修復することを約束し、顧客が作業を続けられるように使用制限を繰り返しリセットすることで対応しました。
一方の組織は、不足を正当化していました。
もう一方は、顧客の好意を醸成していました。
OpenAI は、平凡なニワトリの群れではありません。そこにも例外的な人材が揃っており、同社自身も深刻な文化的および製品の過ちを犯してきました。この瞬間における有意義な違いは、モデルやニワトリ小屋の知能ではありません。それは、プレッシャーがかかったときに、システムが何に報酬を与えているように見えるかです。
最高の状態では、OpenAI の現在の製品姿勢は、容赦なく普通です。それはユーザーのタスクから始まります。この人は何を達成しようとしているのか？ 何が完了を妨げているのか？ 摩擦はどこにあり、それをどれだけ早く取り除けるか？ リセットは、OpenAI が製品文化を解決したことを証明するものではありませんが、自社の過ちのコストの一部を、すべてをユーザーに負わせるのではなく、吸収しようとする本能をユーザーに示しています。
Anthropic の製品姿勢は、あまりにも頻繁に異なる何かを伝えています。私たちは非凡な知能を創造しました。そして、私たちの主な責任は、あなたが安全にアクセスできるその量を決定することです。それは首尾一貫した組織の姿勢かもしれませんが、顧客中心のものではありません。金の卵は印象的ですが、ニワトリ小屋があなたに卵を集めさせてくれなければ、家族を養うことはできません。
一方の企業は、ますますユーザーのタスクを中心に組織化されています。もう一方は、依然としてシステムリスクを中心に組織化されています。両方の企業は両方の問題を気にかけなければなりませんが、最初に尋ねる質問が、最終的に構築する製品を形成します。その違いは、ミッションステートメントにのみ現れるわけではありません。それは、ルーティング、制限、価格設定、コミュニケーション、そしてシステムが失敗したときの信頼を修復する意欲に現れます。
ニワトリ小屋全体
文化とは、企業が自分自身について語ることではありません。文化とは、そのシステムが繰り返し容易にすること、そして繰り返し困難にすることです。
Anthropic に必要なのは、より少ない brilliant な人材ではありません。必要なのは、モデルの知能とセーフガードの強度だけでなく、アクセス、信頼性、透明性、そして信頼も含む、より広い成功の定義です。顧客側から見れば、最終的な尺度は驚くほどシンプルです。私は、このシステム全体に依存して、仕事を完了させることができるだろうか？
ミューアは、自分のニワトリの生産性を低下させたわけではありません。彼は生産性が測定されるレベルを変更し、集団のパフォーマンスが、個々の卵の数では捉えきれない情報を含んでいることを発見しました。グループのパフォーマンスのために選択された鳥は、破壊的な相互作用がもはや指標に見えなくなったため、より健康で生産的になりました。協力は、アウトプットに代わる感傷的なものではありません。それは、より大きなアウトプットを可能にする条件の 1 つです。
フロンティアモデルの競争は、同じ段階に入りつつあります。1 つの研究所だけが非凡な知能を生み出すことができる場合、最も賢いモデルは最高の製品と見分けがつかないように見えるかもしれません。複数の研究所が非凡な知能を生み出すことができるようになると、競争上の優位性はシステム全体へと外側に移動します。
世界で最も賢いモデルは、もはや自動的に最高の製品や最良の市場適合とは限りません。Claude は、AI において最大かつ最も賢いニワトリかもしれませんが、ニワトリ小屋の外でニワトリを評価する人は誰もいません。私たちは、卵を数えているだけです。
—
出典
William M. Muir, “Group Selection for Adaptation to Multiple-Hen Cages,” Poultry Science (1996).
https://pubmed.ncbi.nlm.nih.gov/8786932/
William M. Muir, “Incorporation of Competitive Effects in Breeding Programs,” Purdue University.
https://web.ics.purdue.edu/~bmuir/papers/muir%20group%20selection%20genetics%20final%20v2.pdf
Margaret Heffernan, A Bigger Prize.
https://www.hachettebookgroup.com/titles/margaret-heffernan/a-bigger-prize/9781610392914/
Margaret Heffernan, “Is the Professional Pecking Order Doing More Harm Than Good?,” NPR/TED Radio Hour.
SignalFire, “The State of Tech Talent Report — 2025.”
https://www.signalfire.com/blog/signalfire-state-of-talent-report-2025
Anthropic, “Claude Fable 5 and Claude Mythos 5.”
https://www.anthropic.com/news/claude-fable-5-mythos-5
—
AI 開示: 私は議論を展開し、自身の経験から原稿を書き、その後 ChatGPT を使用して調査、再構成、エッセイの一部の書き直しを行いました。最終的なテキストをレビューおよび修正し、その主張と結論に責任を持ちます。
**私が何を構築しているか気になりますか？
出典を引用する AI:**
