誰もが AI を使っています。
しかし、その仕組みを理解している人はほとんどいません。
Transformer、Embeddings、RAG、エージェント、RLHF…といった言葉が飛び交っています。
まるで誰もが知っているかのように。
しかし、ほとんどの人は知りません。
そして、正直なところ？
メンタルモデルを理解すれば、AI はそれほど複雑ではありません。
ChatGPT。Claude。Midjourney。Cursor。コーディングエージェント。
これらすべては、以下の20のアイデアを理解すれば、理屈がわかります。
博士号は不要です。専門用語も不要。シンプルな説明と図解だけです。
保存しておいてください。きっとまた使いますから。
パート 1: AI の実際の仕組み（すべての基礎となるもの）
1. ニューラルネットワーク
すべての AI モデルの頭脳です。
ニューラルネットワークは層のパイプラインです。
→ データが入力層に入る → 隠れ層を通過する → 予測として出力される
各接続には「重み」があります。これは、あるニューロンが次のニューロンに与える影響の大きさを制御する小さなスコアです。
トレーニング = 出力が正確になるまで、何十億もの重みを調整すること。
シンプルなアイデアですが、規模が大きくなると驚異的です。
GPT-4 は約1.8兆のパラメータを持ち、Claude 3 Opus は数千億のパラメータを持っています。
すべては同じ基本概念から生まれています。調整可能な接続を持つ層状のニューロンです。
2. トークン化
AI がテキストを読む前に、それを「トークン」と呼ばれる断片に分割します。
必ずしも完全な単語であるとは限りません。
"playing" → "play" + "ing"、"ChatGPT" → "Chat" + "G" + "PT"、"dog" → "dog" (そのまま)
なぜ完全な単語を使わないのでしょうか？
言語は複雑です。新しい単語、タイプミス、言語の混在があります。単語の固定語彙では、非常に大きくなりすぎてしまいます。
トークンは再利用可能な構成要素です。
モデルが見たことのない単語であっても、それを馴染みのある断片に分解することで理解できます。
おおよその目安: 1トークン ≈ 0.75語。
1000トークン ≈ 750語。
3. 埋め込み
テキストがトークン化されると、各トークンは数値になります。
その数値が埋め込み（Embedding）です。つまり、意味を表すベクトルです。
これは単語のための Google マップだと考えてください。
→ "Doctor" と "Nurse" は近くに位置する → "Doctor" と "Pizza" は遠くに位置する → "King" から "Man" を引いて "Woman" を足すと "Queen" に近づく
モデルはあなたのように単語を理解しているわけではありません。
モデルは距離と方向を理解しています。
これが以下の機能を支えています: → 意味検索 → レコメンデーション → RAG システム
「意図を理解する」すべてのものは、内部的に埋め込みを使用しています。
4. アテンション
"Apple" という単語は文脈によって異なる意味を持ちます。
→ "I ate an Apple" → 果物 → "I bought Apple stock" → 会社
埋め込みだけではこれを解決できません。
アテンションなら解決できます。
アテンションにより、すべての単語が文中の他のすべての単語を調べ、何が重要かを判断できるようになります。
"She bought shares in Apple" の場合: → "Apple" は "shares" と "bought" に高いアテンションを払う → モデルは「果物」ではなく「会社」と結論付ける
アテンション以前は、モデルは左から右へ読んでいました。遅く、限界がありました。
アテンション以降は、モデルは文全体を同時に見ることができます。
この単一のアイデアが現代の AI を解き放ちました。
5. Transformer
今日のほぼすべての AI モデルを支えるアーキテクチャです。
2017年に「Attention Is All You Need」という論文で発表されました。
画期的だったのは、テキストを一度に1単語ずつ読む代わりに、アテンションを使用してすべてを並行処理することです。
仕組み: → テキスト → トークン → 埋め込み → 積み重ねられたアテンション層 → 出力
各層が理解を洗練させます: → 初期の層: 文法、基本的な構造 → 中間の層: 単語間の関係 → 深い層: 複雑な推論
結果: トレーニングが大幅に高速化され、出力がはるかに向上します。
GPT。Claude。Gemini。Llama。Mistral。
すべて Transformer です。
この単一のアーキテクチャを理解すれば、現代の AI を理解したことになります。
パート 2: LLM の仕組み（AI とチャットするときに実際に起こっていること）
6. LLM（大規模言語モデル）
LLM とは、膨大な量のテキストでトレーニングされた Transformer のことです。
書籍。Web サイト。コード。Wikipedia。Reddit。
数兆ものトークン。
トレーニングタスクは、パワフルすぎるように聞こえるかもしれませんが、とてもシンプルです:
→ 次のトークンを予測する。
それだけです。
しかし、これを何兆もの例にわたって繰り返すと、驚くべきことが起こります。
モデルは文法を学習します。次に推論。そして、コードの書き方、言語の翻訳、数学の問題の解き方まで学習します。
誰もそのような指示を出したわけではありません。
大規模な次トークン予測から創発したのです。
「大規模」= 数千億のパラメータ。トレーニングコスト = 数百万ドル。
ChatGPT、Claude、Gemini → すべて LLM です。
7. コンテキストウィンドウ
すべての AI モデルにはメモリの限界があります。
これはコンテキストウィンドウと呼ばれます。
これはモデルが一度に「見る」ことができる最大トークン数です。あなたのメッセージ + その応答 + 会話履歴。
初期の GPT: 約4,000トークン。GPT-4: 128,000トークン。Claude 3.5: 200,000トークン。Gemini 1.5 Pro: 1,000,000トークン。
ウィンドウが大きい = より多くのコンテキスト = より良い回答。
しかし、落とし穴があります。
モデルはすべてを均等に読むわけではありません。
モデルはコンテキストの最初と最後に焦点を当てます。
中間部分は？ しばしば無視されます。
これは「Lost in the Middle（中間喪失）」問題と呼ばれます。
大きなコンテキストウィンドウ ≠ 完璧な記憶。
これを理解すると、AI があなたが明確に述べたことを時々「忘れてしまう」理由がわかります。
8. 温度（Temperature）
AI がテキストを生成するとき、毎回最も可能性の高い次の単語をただ選ぶわけではありません。
「温度」と呼ばれるダイヤルがあります。
→ Temperature = 0: 常に最も安全で予測可能な単語を選ぶ → Temperature = 1: より創造的に、より多様に選ぶ → Temperature = 2+: 突飛になり、時には支離滅裂になる
低い Temperature → 使用用途: コード、事実、要約 高い Temperature → 使用用途: ブレインストーミング、創造的ライティング、バリエーション
ほとんどのツールはこれを自動で設定します。
しかし、これを理解することで、AI が時々「退屈」に見え、時にはあなたを驚かせる理由がわかります。
9. ハルシネーション
AI は確信を持って嘘をつきます。
意図的ではありません。文字通り、そうせざるを得ないのです。
理由は次のとおりです。
LLM は真実を検索するわけではありません。
最も確率の高い次のトークンが何かを予測します。
もし誤った記述が、トレーニングパターンに基づいて「次に来るべきもの」のように見える場合、それを生成します。
検証はありません。参照もありません。純粋なパターンマッチングです。
そのため、次のことを行います: → 存在しない研究論文を引用する → 決して作成されなかった API 関数をでっち上げる → 完全な確信を持って偽の歴史的「事実」を述べる
これはハルシネーション（幻覚）と呼ばれます。
対処法: 事実に関する AI の出力を、検証せずに信用しないこと。
RAG（コンセプト16）を使用して、実際のデータに基づかせてください。
10. プロンプトエンジニアリング
質問の仕方ですべてが変わります。
同じモデル。同じ質問。しかし、そのフレームの仕方によって結果は大きく異なります。
悪いプロンプト: → 「API について説明して」 → 結果: 曖昧で表面的な回答
良いプロンプト: → 「REST API が認証をどのように処理するか説明してください。コード付きの実際の例を挙げてください。私はジュニア開発者だと思って説明してください。」 → 結果: 具体的で構造化され、すぐに役立つ回答
プロンプトエンジニアリングは、明確なコミュニケーションにすぎません。
実際に効果のあるテクニック: → コンテキストを与える（「X という SaaS を構築しています」） → 役割を割り当てる（「シニアバックエンドエンジニアとして振る舞ってください」） → 例を示す（「私が好きなフォーマットはこれです: ___」） → 出力について具体的に指定する（「5つの選択肢を番号付きリストでください」） → 複雑な要求はステップに分割する
プロンプトエンジニアリングはハックではありません。
それはモデルとコミュニケーションを取る主要な方法です。
パート 3: AI モデルの改善方法（生のモデルがどのようにして役立つ製品になるのか）
11. 転移学習
ゼロからのトレーニングはコストがかかります。
膨大なデータ。莫大な計算リソース。数週間のトレーニング。
転移学習（Transfer Learning）がこれを解決します。
すでに巨大な汎用タスクでトレーニングされたモデルを取得し、それを特定の用途に適応させます。
ゼロから始めるのではありません。その上に構築していくのです。
次のように考えてみてください:
→ あなたはすでに自転車に乗る方法を知っている → その知識があるため、バイクを習得するのははるかに速い → すでに知っていることを転移させる
これは、今日のほとんどすべての AI 製品が機能する方法です:
→ OpenAI が巨大な基盤モデルをトレーニング → 企業がそれを自社の特定のユースケースにファインチューニング → 数百万の計算コストと数ヶ月のトレーニング時間を節約
今では、ゼロからトレーニングする企業はありません。
12. ファインチューニング
転移学習は概念を示しています。
ファインチューニングは、その実行方法です。
事前トレーニングされたモデルを取得し、より小さく焦点を絞ったデータセットでトレーニングを続けます。
モデルはすでに「言語」を話します。
今度は、あなたの特定のドメインを教え込んでいます。
例: → 臨床メモでファインチューニングされた医療モデル → 契約書でファインチューニングされた法律モデル → GitHub でファインチューニングされたコーディングモデル
結果: あなたのユースケースに完全に応答するモデル。
コスト: 数十億のパラメータを更新する必要があります。
これには、複数の GPU、本格的なインフラストラクチャという、本格的な計算リソースが必要です。
（これが、次のコンセプトである LoRA が非常に重要である理由です。）
13. RLHF（人間のフィードバックからの強化学習）
ファインチューニングはモデルを特化させます。
RLHF は、モデルを役立つものにし、安全なものにします。
これがない場合: モデルはただテキストを予測するだけです。流暢ですが、意図には沿っていません。
これがある場合: モデルは人間が実際に何を好むかを学習します。
仕組みは次のとおりです:
→ モデルにプロンプトを表示 → モデルが複数の応答を生成 → 人間が応答をランク付け → モデルは人間が好むものを優先することを学習
これを何千回も繰り返します。
モデルは「良い回答」の感覚を構築します: → 明確 → 役立つ → 正直 → 安全
これが、ChatGPT と Claude が単なるランダムなテキスト生成器ではなく、アシスタントのように感じられる理由です。
RLHF がなければ、それらは依然として印象的でしょう。しかし、有用性、信頼性ははるかに低く、制御もはるかに困難です。
14. LoRA（低ランク適応）
ファインチューニングは強力ですが、高価です。
数十億のパラメータを更新するには、複数の GPU と本格的なインフラストラクチャが必要です。
LoRA はこれを解決します。
モデル全体を変更する代わりに、LoRA は:
→ 元のモデルを凍結したままにします → その上に小さな学習可能な層を追加します → これらの層は、フルモデルサイズのごく一部です
洞察: ほとんどのファインチューニングによる変更は小さいものです。
モデル全体を書き換える必要はありません。
必要なのは、小さな的を絞った調整だけです。
結果: → コンシューマー向け GPU 1 台でのファインチューニング: 可能 → 1 つのベースモデルを保存し、異なる LoRA アダプターを交換する: 実用的 → 大規模なストレージを必要とせずに複数の特化モデル: 実現
LoRA は、オープンソース AI が爆発的に普及した理由です。
突然、誰でもラップトップ上で強力なモデルをファインチューニングできるようになりました。
15. 量子化
モデルは巨大化しています。
それらを実行するには、相当なメモリと計算リソースが必要です。
量子化（Quantization）は、モデルをより小さく、実行コストを低くします。
方法: 各重みの精度を下げます。
フル精度で保存された重みは32ビットを使用します。
4ビットに量子化 → 8分の1に縮小。
驚くべきことに、品質の低下は驚くほど小さい場合が多いです。
これが、次のことが可能になった理由です: → MacBook で LLaMA を実行する → コンシューマー向け GPU でローカルに Mistral を実行する → 電話で強力なモデルを使用する
量子化がなければ、大規模モデルはデータセンターに閉じ込められたままです。
量子化があれば、あなたのマシン上で動作します。
パート 4: 実際の AI システムの構築方法（実際に使う製品の背後にあるもの）
16. RAG（検索拡張生成）
LLM は記憶から回答するため、ハルシネーションを起こします。
RAG は、まず情報を検索させることでこれを修正します。
仕組み:
- ユーザーが質問をする
- システムがナレッジベースから関連文書を検索する
- それらの文書がコンテキストとしてモデルに渡される
- モデルは推測ではなく、実際の情報を使用して回答する
次のように考えてみてください:
→ 閉じた本での試験（RAG なし）：記憶からの回答、しばしば間違っている → 開かれた本での試験（RAG）：情報源を確認、はるかに正確
なぜ強力なのか: → データが変更されても再トレーニングは不要 — 文書を更新するだけ → モデルは常に最新の正確な情報で動作する → ハルシネーションを劇的に削減する
すべての本格的な AI 製品は RAG を使用しています。
カスタマーサポートボット。法律ツール。医療アシスタント。内部ナレッジベース。
17. ベクトルデータベース
RAG は、関連する文書を高速に見つける必要があります。
しかし、何百万もの文書を、単なるキーワードではなく、意味で検索するにはどうすればよいでしょうか？
ベクトルデータベース（Vector Database）です。
仕組みは次のとおりです:
- すべての文書が埋め込み（数値のベクトル）に変換される
- これらのベクトルがデータベースに保存される
- ユーザーが質問すると、質問もベクトルになる
- データベースが質問ベクトルに最も近いベクトルを見つける
- 意味的に最も類似した文書を返す
これがキーワード検索よりも優れている理由:
→ 「心臓病治療」という検索で「心臓ケアプロトコル」に関する文書が見つかる → 正確な単語が一致しなくても、意味が一致するため
ツール: Pinecone、Qdrant、Weaviate、pgvector
ベクトルデータベースは、AI システムが文字列をマッチングするだけでなく、「理解」することを可能にするものです。
18. AI エージェント
LLM はメッセージに応答します。
AI エージェントは実際に行動します。
違い:
→ LLM: あなたが質問し、答え、終わり → エージェント: あなたが目標を与え、計画し、行動し、結果を確認し、調整し、繰り返す
エージェントループ:
思考 → 行動 → 観察 → 繰り返し
例：コーディングエージェントがバグを修正する → 問題を読む → コードベースを探索する → 問題を特定する → 修正を書く → テストを実行する → 失敗したものを確認する → 修正を調整する → 完了するまで繰り返す
モデルは頭脳です。ツールは手です。
エージェントはどのようなツールを使用できますか？ → Web 検索 → コード実行 → ファイルシステム → API → メール / カレンダー → データベース
エージェントは、AI をチャットボットから共同作業者へと変えるものです。
19. 思考の連鎖（Chain of Thought）
AI が間違った答えを出すのは、モデルが愚かだからとは限りません。
しかし、あまりにも早く答えに飛びついたからかもしれません。
思考の連鎖（Chain of Thought、CoT）はこれを修正します。
最終的な答えを直接求める代わりに:
→ 「解いてください: 時速60マイルで2.5時間走る列車は、どのくらいの距離を移動しますか？」
ステップバイステップで考えるように促します:
→ 「ステップバイステップで解いてください: 速度 = 時速60マイル。時間 = 2.5時間。距離 = 速度 × 時間 = ?」
モデルは推論を段階的に進めます: → ステップ 1: 公式を特定する → ステップ 2: 数値を当てはめる → ステップ 3: 計算する
数学、論理、多段階の問題に対してはるかに信頼性が高くなります。
洞察: モデルにただ反応するだけでなく、考える余地を与えることです。
これが、「ステップバイステップで考えて」や「これを注意深く推論して」といったプロンプトが実際に効果を発揮する理由です。
20. 拡散モデル
ここまではすべてテキストに関するものでした。
拡散モデル（Diffusion Model）は、AI がどのように画像を生成するかを説明します。
そのプロセスは直感に反しています。
モデルは描画を学習するわけではありません。
画像を破壊することを学習します。
トレーニング: → 実際の画像から始める → 完全なノイズになるまで段階的にノイズを追加する → モデルがこれを逆転させる — 段階的にノイズを取り除くことを学習する
生成: → 純粋なノイズから始める → モデルが段階的にノイズを取り除く → テキストプロンプトによって導かれる → ランダム性から画像が現れる
その名前は物理学に由来します。粒子が媒質中をランダムに拡散する現象、つまりインクが水に広がるような現象です。
ここでは、モデルはその拡散を逆転させることを学習します。
もはや画像だけではありません: → 動画（Sora、Runway） → 音声 → 3D コンテンツ → 医薬品分子
拡散モデルは、AI が視覚的なものを生成する方法です。
以上 20 個です。
まとめます:
AI の仕組み:
→ 1. ニューラルネットワーク — 階層的なパターン学習
→ 2. トークン化 — テキストの断片化
→ 3. 埋め込み — 数値としての意味
→ 4. アテンション — コンテキストによる意味の変化
→ 5. Transformer — すべての背後にあるアーキテクチャ
LLM の仕組み:
→ 6. LLM — 大規模な次トークン予測
→ 7. コンテキストウィンドウ — メモリの限界と中間喪失問題
→ 8. 温度 — 創造性のダイヤル
→ 9. ハルシネーション — 確信を持って間違う
→ 10. プロンプトエンジニアリング — コミュニケーションの方法
モデルの改善方法:
→ 11. 転移学習 — 既存のものの上に構築する
→ 12. ファインチューニング — モデルを特化させる
→ 13. RLHF — 役立つように教える
→ 14. LoRA — コストをかけずにファインチューニング
→ 15. 量子化 — 小さなマシンで大きなモデルを実行する
実際のシステムの構築方法:
→ 16. RAG — まず検索し、それから回答する
→ 17. ベクトルデータベース — 意味で検索する
→ 18. AI エージェント — 答えることから実行することへ
→ 19. 思考の連鎖 — 考える余地を与える
→ 20. 拡散モデル — ノイズから画像へ
これで、AI が実際にどのように機能するかがわかりました。
毎日 AI を使っている人のほとんどは理解していません。
その差があなたの強みです。
もしこれが役に立ったなら:
→ ネットワークと共有するためにリポストしてください → さらなる解説のために @sairahul1 をフォローしてください → 参照用にブックマークしてください
私は AI、製品づくり、そしてあなたが寝ている間に機能するシステムについて書いています。
