この記事では、AI と機械学習に必要な必須の数学を解説します。また、私自身が実際に役立てた 正確なロードマップとリソース も共有します。さっそく本題に入りましょう。
1. 統計学と確率
不確実性、データ、推論の言語
AI/ML システムは、ノイズが多く、不完全で不確実なデータから学習します。確率と統計は、不確実性の下で推論し、サンプルから信頼性の高いパターンを抽出するための正式なツールを提供します。
1.1 母集団とサンプリング
- 母集団: 可能なデータポイントの完全なセット（通常は観測不可能）。
- サンプル: 母集団から抽出された部分集合。
- サンプリングバイアス、代表性、分散を理解することは、モデルの汎化にとって重要です。
1.2 記述統計
- 平均、中央値、最頻値: 中心傾向の尺度。
- 期待値: 確率的な平均。損失関数とリスク最小化の基礎。
1.3 分散と共分散
- 分散: データのばらつきや不確実性を測定。
- 共分散: 2 つの変数がどのように一緒に変動するかを測定。
- 相関、多重共線性、特徴量間の相互作用の理解に直接つながります。
1.4 確率変数
- 離散確率変数と連続確率変数。
- 確率質量関数（PMF）と確率密度関数（PDF）。
1.5 一般的な確率分布
これらは、データがどのように生成されるかについての仮定を定義します：
- 正規分布（ガウス分布）: ノイズモデル、誤差、中心極限定理。
- 二項分布: 二値の結果、分類の直感。
- 一様分布: 無情報事前分布とランダム性のベースライン。
1.6 中心極限定理（CLT）
- ガウス分布の仮定が至る所に現れる理由を説明。
- データが正規分布していない場合でも、多くの統計手法を正当化。
1.7 条件付き確率
- 部分的な情報が与えられた場合の確率。
- 推論、予測、因果関係の直感に不可欠。
1.8 ベイズの定理
- 証拠に基づいて信念を更新。
- ベイズ推論、確率モデル、現代の不確実性を考慮した ML の基礎。
1.9 最尤推定（MLE）
- モデルパラメータをデータに適合させるためのフレームワーク。
- MSE やクロスエントロピーなどの損失関数は、MLE から自然に導出されます。
1.10 線形回帰とロジスティック回帰
- 線形回帰: ガウスノイズ下での連続値予測。
- ロジスティック回帰: 確率的な二値分類。
- どちらも、より複雑なモデルを理解するための入り口です。
2. 線形代数
データとモデルの構造
機械学習におけるほとんどすべては行列演算です。データ、パラメータ、活性化、勾配はすべて、ベクトル、行列、またはテンソルです。
2.1 スカラー、ベクトル、行列、テンソル
- スカラー: 単一の値。
- ベクトル: 特徴量の表現。
- 行列: データセット、重み、変換。
- テンソル: 高次元への一般化（深層学習）。
2.2 行列演算
- 加算と減算: 信号の結合。
- 乗算: 線形変換とニューラルネットワーク層。
- 転置: 形状の調整と対称性。
- これらの演算は、モデルの順伝播を定義します。
2.3 行列式と逆行列
- 行列式: 体積のスケーリングと特異性。
- 逆行列: 線形方程式系を解く（実際には直接計算されることは稀ですが、概念的に重要）。
2.4 行列のランクと線形独立
- ランクは情報量を決定。
- 冗長性、特徴量の崩壊、識別可能性を説明。
2.5 固有値と固有ベクトル
- 変換の不変な方向を記述。
- 安定性、収束、次元削減の中心。
2.6 行列分解
データの簡略化、分析、圧縮に使用：
- 特異値分解（SVD）: 数値的安定性と低ランク近似のためのコアツール。
- 主成分分析（PCA）: 次元削減、ノイズフィルタリング、特徴量抽出。
3. 微分積分学
最適化としての学習
AI モデルのトレーニングは最適化問題です。微分積分学は、モデルがどのように学習し、どのくらいの速さで学習し、そもそも収束するかどうかを説明します。
3.1 導関数と勾配
- 導関数: 変化率。
- 勾配: 高次元における最も急な上昇方向。
- 勾配は、勾配降下法を通じて学習を推進します。
3.2 ベクトルと行列の微分
現代のモデルは多次元です：
- ヤコビ行列: ベクトル値関数の一次導関数。
- ヘッセ行列: 二次の曲率情報。
- 連鎖律: 誤差逆伝播法のバックボーン。
3.3 最適化の基礎
損失ランドスケープを理解することは重要です：
- 局所的最小値と大域的最小値: トレーニングが「行き詰まる」理由。
- 鞍点: 高次元空間で一般的。
- 凸性: 最適性と安定性を保証（稀だが重要）。
私が実際にこの数学を学んだ方法（リソース）
以下が私にとって効果的だったロードマップです。
1. まず直感を養う
教科書の前に、視覚的な理解に重点を置きました。
- 3Blue1Brown 特に：
- Essence of Linear Algebra
- Essence of Calculus
2. 体系的なコース
- インペリアル・カレッジ・ロンドン – Mathematics for Machine Learning（Coursera にて）線形代数と多変量微分積分学に最適で、非常に実践的に教えられています。
3. 統計学と確率
- Khan Academy 明確な説明と豊富な練習問題。
4. 数学を ML に結びつける
- 理論が実際の ML モデルにどのように変換されるかを理解するのに優れています。書籍: [An Introduction to Statistical Learning](https://www.amazon.com/Introduction-Statistical-Learning-Applications-Statistics/dp/3031387465)
5. すべてを統合する
- すべての概念が実際のアルゴリズムでどのように組み合わさるかを示します。書籍: [Mathematics for Machine Learning](https://www.amazon.com/Mathematics-Machine-Learning-Peter-Deisenroth/dp/110845514X)
