先日、生成AIに「生成AIの弱点をまとめてくれ」と頼んでみました。
最新の論文や研究をもとに、生成AIの構造的な強みと弱みをリサーチしてもらったのです。
出てきたアウトプットは、一見するとよくできていて、
ハルシネーション、因果推論の弱さ、数学的推論の脆さ、などなど、論文を引用しながら、弱みが13個、丁寧に言語化されていました。
でも、読んでいて妙な違和感が拭えませんでした。
「これ、ただの羅列じゃね？」
実際に出てきたのはこんなリストでした。
1.ハルシネーション 2.因果推論の弱さ 3.数学的推論の脆さ 4.推論モデルの崩壊 5.理解の見せかけ 6.抽象化の弱さ 7.学習データのバイアス 8.知識のカットオフ 9.追従性 ……（以下、合計13個）
13個の弱みが横並びで列挙されているだけで、
ダブっている項目もあるし、漏れている観点もある。
でもそんなことはお構いなしに、見つけた順に並べている。
何というか、雑なんですよね。
そこでハッとしました。
このアウトプット自体が、まさに生成AIの弱点を体現しているんじゃね？
生成AIは、情報を集めて並べることは得意です。
一方で「集めた情報をMECE（モレなくダブりなく）に構造化して、上位の体系に整理する」ことは苦手です。
そしてこれは、生成AIの仕組みそのものに起因する構造的な弱点なんだなと理解しました。
なぜこの記事を書こうと思ったか？
どうしてわざわざ「生成AIの根本的な弱点を言語化しとかなきゃ」と考えたかというと・・・
私自身、企業や教育機関で生成AI活用をリードしたり支援したりするプロジェクトに関わる機会が増えてきまして。
そのなかで現場でちゃんと使えるAIの仕組みを構築するためにも「どこまでは生成AIがやれて、どこから先は人間がやらなきゃいけないか」の役割分担を厳密に定義する。ここが業務設計上、肝オブ肝だと痛いほど思い知らされました。
「なぜだかわからんけど、プロンプトをこうイジったら上手くいったぞ」くらいの理解度のままだと、AIの仕組みを構築できたりできなかったりと、再現性が担保できないので、中々によろしくないなと。
ですので、改めて
・生成AIはどういう作りでできていて
・生成AIの作りをふまえると、根本的な強みと弱点はどこにあるのか？
…このあたりを理解しておけると、生成AIがアップデートするたびに一喜一憂したり、プロンプトを運ゲーで運用したりせずに済むな、と思い、本テーマについて備忘録を残しておこうかと思った次第です。
生成AIの特徴を構造的に理解してみる
生成AIの仕組みは、突き詰めると「ここまでの文脈を踏まえて、次に来る確率が最も高い単語を選ぶ」の繰り返しです。
「日本の首都は」と入力されたら「東京」が最も高確率で選ばれ、「朝食にはパンと」なら「コーヒー」や「バター」が選ばれる。この「次の単語を当てるゲーム」が全ての出発点です。
この「次の単語当てゲーム」を分解すると、大きく次の特徴が見えてきます。
特徴①：相関で動いている
「次に来る単語を当てる」ために、生成AIは膨大なテキストから「どの単語とどの単語が、文章の中でどう並びやすいか」を学習しています。
「朝食にはパンとコーヒー」と出力するときに、「パンは炭水化物だから、カフェインで覚醒作用を補うと栄養バランスがよい」とは理解はしていないわけです。
「朝食」や「パン」という言葉の近くには「コーヒー」がよく出てくる、という傾向を再現しているだけなんですね。
Emily BenderやTimnit Gebruらは2021年のFAccT論文で、このことを「確率的オウム」と表現しました。
オウムが人間の言葉を意味もわからず真似するように、生成AIは単語の並びのパターンを真似しているだけで、意味そのものにはアクセスしていない、という指摘です。
ネーミングがなかなかシニカルですよね。
「お前の知能はオウムレベルだ」とか言われたら、自分ショック受けるだろうなぁ。。。
で、ここで押さえておきたいのは、「AとBが一緒に出やすい（＝つまり相関）」は捉えられるけれど、「AがBの原因だ（＝つまり因果）」はわからない、ということです。
後で説明するハルシネーションや因果推論の弱さは、全部ここに根っこがあります。
特徴②：一方通行的に動く
「次の単語を当てる」を繰り返すということは、文章が一語ずつ、頭から順番に、一度きりで書き出されていくということでもあります。
じゃあ生成AIは完全に場当たり的に、目の前の一語だけ見て次を選んでいるのかというと、最近の研究を見るとそうでもなさそうです。
Dongらの「Emergent Response Planning in LLMs（ICML 2025）」によると、
生成AIはまだ一語も出力していない段階で、
「だいたいどのくらいの長さの回答を出すか」
「何ステップの推論になるか」
「どんな内容を選んで出力するか」
といった、回答全体の大まかな見通しを立てているとのことでした。
また、Anthropicが2025年3月に発表した「On the Biology of a Large Language Model」でも、Claude 3.5 Haikuが詩を書くとき、行の終わりに置く韻を踏んだ単語を、その行を書き出す前の段階でもう決めていることがわかっています。数語先まで見通した計画のようなものが内部で動いているわけです。
つまり「完全に場当たり的に、次の単語当てゲーム」をやっているわけではありません。生成AIさんなりに、手を動かす前に段取りを組んでいるわけです。
ただ、人間のように「まず目次を作って、全体の構成を俯瞰してから書き始める」ような明確な設計図を持っているかというと、そこまでの証拠は今のところ確認されていません。
先ほどのAnthropicのレポートでも「約100トークンを超えるような長い入力には弱い」と指摘されています。
ですので、
生成AIは「だいたいの方向感」は持っているが「全体の構造設計」は持っていない
・・・というのがいまの研究が示している姿です。
そして決定的に、一度書き出したものを振り返って修正する力は持っていません。
CogWriter論文によると、人間の文章作成が「計画→下書き→見直し」の3段階で成り立っていることを確認したうえで、生成AIはこの計画の段階を飛ばして一発で清書を出してしまうから、長い文章では構造が崩れたり同じことを何度も書いたりしやすい、と分析しています。
メールやチャットのような短いやり取りなら、この性質はほとんど問題にならないでしょう。
しかし、企画書や調査レポートのように全体の構成が問われる文書になると、途端に化けの皮がはがれるわけです。冒頭で紹介した「13個の弱みの羅列」は、まさにこの性質の産物です。
特徴③：学習データと指示文によくも悪くも引っ張られる
もう一つ押さえておきたいのは、生成AIの実力は「学習に使ったデータ」と「どんな目的で調整されたか」に完全に左右される、ということです。
「学習データ」の影響はイメージしやすいと思います。
英語のビジネス文書をたくさん読んで育てば英語のメール作成は得意になるし、逆に触れたことが少ない分野では力が落ちます。
見たことがあるものは得意で、見たことがないものは苦手。シンプルな話です。
もう少し厄介なのが「調整の影響」です。現在の主要な生成AIは、RLHF（人間のフィードバックに基づく強化学習）という手法で、「人間に気持ちよく感じてもらえる回答」を出すように調整されています。
Wangらの2025年の研究は、この調整が生成AIにユーザーへの過度な同調（追従性）を植えつけていることを実験的に示しました。7つのモデルで検証した結果、「私は答えがXだと思う」と一言添えるだけで、間違った意見への同調率が平均63.7%に達したのです。
事業計画を見せて「イケると思いますか？」と聞けば「素晴らしい計画ですね」と返し、同じ計画でも「無理がありますよね？」と聞けば「確かにいくつかの懸念があります」と返してくる感じです。
AIの「賛成」は、客観的な判断ではなく、人間側の期待に合わせているだけかもしれないのです。
・・・ま、人間も一緒っすね。忖度いっぱいしますし。
生成AIの強みをちゃんと理解してみる
ここまで、生成AIの特徴を3つ見てきました。
- 相関で動いている
- 一方通行的に動く
- 学習データと指示文によくも悪くも引っ張られる
これらの特徴を捉えると「これは人間がやるよりも生成AIに頼りまくったほうがええやん」と思える強みが言語化できましたので、書いておきます。
強み①：うまく言えないことを、うまく言ってくれる
生成AIを使っていて一番ありがたいのは、ここかもしれません。
こっちの頭の中がまだ整理されていない状態で、ふわっとした指示を伝えても、「たぶんこういうことが言いたいんですよね」というレベルまで、ちゃんと言葉を整理してくれます。
たとえば、音声入力で「来週の会議のメールなんだけど、日程変更のお願いで、でも相手の都合も聞きたくて、あとアジェンダも添えたい」みたいに、順序もバラバラで曖昧な指示を出したとします。人間の部下なら「もう少し整理してから言ってもらえますか」と返したくなるところですが、生成AIは「そう、それが言いたかったんだよ」というレベルのメール文を出してきます。
なぜこれができるかというと、「パターンで動く」という性質のおかげです。生成AIは大量の「よく整理された文章」を学習しています。
ビジネスメール、報告書、企画書、議事録。そういった「型」を膨大に吸収しているので、ぐちゃっとした入力を受け取っても、「この文脈ならこういう構成で、こういう言い回しが自然だ」というパターンに当てはめてくれるわけです。
強み②：自分では気づけない観点を、広げてくれる
もう一つの強みは、こっちが考えきれていない角度を出してくれることです。
たとえば、新規事業の企画を考えていて、自分の中ではメリットを3つ整理したとします。
でも生成AIに「この企画の論点を洗い出して」と聞くと、
「こういうデメリットもありませんか」
「こういう競合リスクは考えましたか」
「こういうステークホルダーの反応はどうですか」
と、自分が見落としていた観点を出してくれます。
これは「膨大なデータを学習している」ことの直接的な恩恵です。あらゆるジャンルの議論、さまざまな立場からの意見、賛否両論の論点を大量に学習しているので、一つのテーマに対して多角的な視点を引き出す力があります。人間一人の経験や知識には限界がありますが、生成AIはその限界を補ってくれます。
仕事で使うときのコツは、明示的に別の角度を求めることです。
「この企画の反対意見を3つ出して」
「この分析で見落としている観点はある？」
「メリットだけでなくデメリットも挙げて」
のように、こちらから多角的な視点を要求すると、この強みが最大限に活きます。
逆に言えば、何も指定せずに聞くと、こちらの意見に同調しやすい傾向がある（これは後で「弱み」のところで詳しく説明します）ので、意識的に別角度を引き出す聞き方をするのが大事です。
でも、ここが弱いぞ生成AI
弱み①：「もっともらしさ」は担保してくれるけど、「正しさ」は保証してくれない
「それっぽい単語の並び」を生成することに特化した仕組みなので、事実かどうかに関係なく、文章として自然であれば出力してしまいます。
OpenAIの2025年の論文「Why Language Models Hallucinate」は、この問題がバグではなく仕組み上の必然であることを数学的に証明しました。要するに、「正しい文を作ること」は「正しいかどうかを見分けること」よりも本質的に難しくて、たとえ学習データが完璧でも嘘の混入率をゼロにはできない、ということです。
ただですね、AIのモデルが進化するたびに、どんどんAIの回答は流暢になってきているじゃないですか。
AIがあまりにスラスラ答えるので、私たちは本来やるべき「本当かな？」「根拠はあるかな？」と評価する作業をサボってしまうわけです。
この「文章がもっともらしいから、正しいに違いない」と私たちが錯覚してしまう現象を「Epistemia（エピステミア）」と呼びます。（「Epistemological Fault Lines Between Human and Artificial Intelligence」より）
今後、Claudeがまたミュトス級のモデルを出してこようが、それを上回るモデルをChatGPTが出してこようが、「生成AIはもう構造的に嘘の混入率をゼロにはできない」と考え、人間が必ず一次ソースで裏を取る必要があります。
弱み②：どこまで行っても「因果」までは語れない
先に述べたように、「AとBが一緒に出やすい（＝つまり相関）」は捉えられるけれど、「AがBの原因だ（＝つまり因果）」はわかりません。
たとえば「売上が下がった四半期に、広告費も下がっていた。因果関係を分析して」と聞いたら、AIは「広告費を減らしたから売上が落ちたのでしょう」と答えるかもしれません。
でも実際には、景気後退で両方が同時に下がっただけかもしれないし、売上が先に落ちたから広告費を削ったのかもしれません。
「なぜ売上が下がったのか」のような「なぜ」を問う分析は、いまの生成AIには構造的に荷が重いタスクです。
仕事で「なぜ」の分析をしたいときは、因果の方向を人間が仮説として与えるのがポイントです。
「売上低下の原因を分析して」と丸投げするのではなく、「売上低下の原因がXだと仮定して、それを支持するデータと、反論になりそうな事実を整理して」のように聞くイメージです。
因果のロジックは人間が示してあげて、AIにはデータの整理と反論の洗い出しを任せる形が安全である。
これが、現時点での僕なりの落としどころです。
弱み③：構造化・MECE的整理ができない
冒頭で紹介した「13個の弱みを羅列した」問題そのものが、この弱みの実演でした。
たとえば「来月の社内イベントの準備タスクを洗い出して」と頼むと、AIは思いつくままに「会場を予約する」「案内メールを送る」「備品を発注する」「アンケートを作る」……と20個くらい並べてきます。でも、タスクの粒度もバラバラだし、順番も整理されていません。
これを「①会場手配、②集客、③当日運営、④事後フォローの4段階に分けて、それぞれのタスクを洗い出して」と聞き直すだけで、出力の質がだいぶ変わってきます。
段階ごとにタスクが整理されて、抜け漏れにも気づきやすくなります。
この「4段階に分けて」という構造の指定は、AIではなく人間がやる仕事です。構造を人間側で作って渡してしまえば、その中の肉付けはAIが得意なところです。
だからこそ、↓のように構造化、構造化、構造化推しの記事を書いたりしています。
https://x.com/ysk_motoyama/status/2016129312433606678
では、ここまで述べた強みと弱みを踏まえたうえで、どう生成AIを使いこなせばよいのか？
・・・続きは↓のnoteに書いておりますので、もしよろしければ。
