在這篇文章中，我將拆解 AI 與機器學習所需的關鍵數學知識。同時，我也會分享幫助我個人學習的具體路線圖與資源。我們直接進入主題。
1. 統計學與機率論
處理不確定性、資料與推論的語言
AI/ML 系統從充滿雜訊、不完整且不確定的資料中學習。機率論與統計學提供了在不確定性下進行推理，以及從樣本中提取可靠模式的正式工具。
1.1 母體與抽樣
- 母體：所有可能的資料點集合（通常無法觀測）。
- 樣本：從母體中抽取的子集。
- 理解抽樣偏差、代表性與變異數，對於模型的泛化能力至關重要。
1.2 敘述統計
- 平均數、中位數、眾數：集中趨勢的衡量指標。
- 期望值：機率平均數；是損失函數與風險最小化的基礎。
1.3 變異數與共變異數
- 變異數：衡量資料的離散程度或不確定性。
- 共變異數：衡量兩個變數如何共同變化。
- 直接引導出對相關性、多重共線性與特徵交互作用的理解。
1.4 隨機變數
- 離散型與連續型隨機變數。
- 機率質量函數 (PMF) 與機率密度函數 (PDF)。
1.5 常見的機率分布
這些分布定義了關於資料如何生成的假設：
- 常態分布 (高斯分布)：雜訊模型、誤差、中央極限定理。
- 二項分布：二元結果、分類直覺。
- 均勻分布：無資訊先驗與隨機性基準。
1.6 中央極限定理 (CLT)
- 解釋為何高斯假設無所不在。
- 即使資料非常態分布，也能為許多統計方法提供理論依據。
1.7 條件機率
- 在給定部分資訊下的機率。
- 對於推理、預測與因果直覺至關重要。
1.8 貝氏定理
- 根據證據更新信念。
- 是貝氏推論、機率模型，以及現代具不確定性意識的機器學習的基礎。
1.9 最大概似估計 (MLE)
- 將模型參數擬合到資料的框架。
- 均方誤差 (MSE) 與交叉熵等損失函數自然源自 MLE。
1.10 線性迴歸與邏輯斯迴歸
- 線性迴歸：在高斯雜訊假設下進行連續值預測。
- 邏輯斯迴歸：機率性的二元分類。
- 兩者都是理解更複雜模型的敲門磚。
2. 線性代數
資料與模型的結構
機器學習中幾乎所有東西都是矩陣運算。資料、參數、激活值與梯度，都是向量、矩陣或張量。
2.1 純量、向量、矩陣、張量
- 純量：單一數值。
- 向量：特徵表示。
- 矩陣：資料集、權重、變換。
- 張量：高維度的推廣（深度學習）。
2.2 矩陣運算
- 加法與減法：組合訊號。
- 乘法：線性變換與神經網路層。
- 轉置：形狀對齊與對稱性。
- 這些運算定義了模型中的前向傳播。
2.3 行列式與逆矩陣
- 行列式：體積縮放與奇異性。
- 逆矩陣：求解線性方程組（實務上很少直接計算，但概念上重要）。
2.4 矩陣秩與線性獨立
- 秩決定了資訊含量。
- 解釋了冗餘性、特徵崩潰與可識別性。
2.5 特徵值與特徵向量
- 描述變換的不變方向。
- 對於穩定性、收斂性與降維至關重要。
2.6 矩陣分解
用於簡化、分析與壓縮資料：
- 奇異值分解 (SVD)：數值穩定性與低秩近似的核心工具。
- 主成分分析 (PCA)：降維、雜訊濾除與特徵提取。
3. 微積分
學習即最佳化
訓練 AI 模型是一個最佳化問題。微積分解釋了模型如何學習、學習速度有多快，以及它們是否能夠收斂。
3.1 導數與梯度
- 導數：變化率。
- 梯度：高維空間中最陡峭上升的方向。
- 梯度透過梯度下降法驅動學習。
3.2 向量與矩陣微積分
現代模型是多維度的：
- 雅可比矩陣：向量值函數的一階導數。
- 黑塞矩陣：二階曲率資訊。
- 鏈鎖律：反向傳播的骨幹。
3.3 最佳化基礎
理解損失函數的景觀至關重要：
- 局部最小值 vs. 全域最小值：為何訓練會「卡住」。
- 鞍點：在高維空間中很常見。
- 凸性：保證最佳性與穩定性（少見但重要）。
我實際上是如何學習這些數學的（資源）
以下是我個人覺得有效的學習路線圖。
1. 先建立直覺
在讀教科書之前，我專注於視覺化理解。
- 3Blue1Brown 特別是：
- 《線性代數的本質》
- 《微積分的本質》
2. 結構化課程
- 倫敦帝國學院 – 機器學習數學 在 Coursera 上：非常適合學習線性代數與多變數微積分，教學方式非常實用。
3. 統計學與機率論
- Khan Academy：清晰的解釋與大量的練習題。
4. 將數學與機器學習連結
- 非常適合理解理論如何轉化為真實的 ML 模型。書籍：《統計學習導論》
5. 融會貫通
- 展示所有概念如何在實際演算法中結合在一起。書籍：《機器學習數學》
