在这篇文章中，我将为你拆解 AI 和机器学习所需的必备数学知识。同时，我也会分享我亲身实践过的学习路线图和资源。让我们直接进入正题。
1. 统计学与概率论
处理不确定性、数据和推断的语言
AI/ML 系统从充满噪声、不完整和不确定的数据中学习。概率论与统计学提供了在不确定性下进行推理以及从样本中提取可靠模式的正式工具。
1.1 总体与抽样
- 总体：所有可能数据点的完整集合（通常不可观测）。
- 样本：从总体中抽取的一个子集。
- 理解抽样偏差、代表性和方差对于模型的泛化能力至关重要。
1.2 描述性统计
- 均值、中位数、众数：集中趋势的度量。
- 期望值：概率意义上的平均值；是损失函数和风险最小化的基础。
1.3 方差与协方差
- 方差：衡量数据的离散程度或不确定性。
- 协方差：衡量两个变量如何一起变化。
- 直接引出对相关性、多重共线性和特征交互的理解。
1.4 随机变量
- 离散型与连续型随机变量。
- 概率质量函数（PMF）和概率密度函数（PDF）。
1.5 常见概率分布
这些分布定义了数据生成方式的假设：
- 正态分布（高斯分布）：噪声模型、误差、中心极限定理。
- 二项分布：二元结果、分类直觉。
- 均匀分布：无信息先验和随机性基线。
1.6 中心极限定理（CLT）
- 解释了为什么高斯假设无处不在。
- 即使数据并非正态分布，也为许多统计方法提供了合理性。
1.7 条件概率
- 在已知部分信息下的概率。
- 对于推理、预测和因果直觉至关重要。
1.8 贝叶斯定理
- 用证据更新信念。
- 是贝叶斯推断、概率模型以及现代不确定性感知 ML 的基础。
1.9 最大似然估计（MLE）
- 将模型参数拟合到数据的框架。
- 像 MSE 和交叉熵这样的损失函数自然地从 MLE 中产生。
1.10 线性回归与逻辑回归
- 线性回归：在高斯噪声下进行连续值预测。
- 逻辑回归：概率性的二元分类。
- 两者都是理解更复杂模型的入门途径。
2. 线性代数
数据和模型的结构
机器学习中几乎所有操作都是矩阵运算。数据、参数、激活值和梯度都是向量、矩阵或张量。
2.1 标量、向量、矩阵、张量
- 标量：单一数值。
- 向量：特征表示。
- 矩阵：数据集、权重、变换。
- 张量：高维泛化（深度学习）。
2.2 矩阵运算
- 加法与减法：组合信号。
- 乘法：线性变换和神经网络层。
- 转置：形状对齐和对称性。
- 这些运算定义了模型的前向传播过程。
2.3 行列式与逆矩阵
- 行列式：体积缩放和奇异性。
- 逆矩阵：求解线性系统（实践中很少直接计算，但在概念上很重要）。
2.4 矩阵的秩与线性无关
- 秩决定了信息含量。
- 解释了冗余、特征坍缩和可辨识性。
2.5 特征值与特征向量
- 描述变换的不变方向。
- 对于稳定性、收敛性和降维至关重要。
2.6 矩阵分解
用于简化、分析和压缩数据：
- 奇异值分解（SVD）：数值稳定性和低秩近似的核心工具。
- 主成分分析（PCA）：降维、噪声过滤和特征提取。
3. 微积分
学习即优化
训练 AI 模型是一个优化问题。微积分解释了模型如何学习、学习速度有多快，以及它们最终能否收敛。
3.1 导数与梯度
- 导数：变化率。
- 梯度：高维空间中上升最快的方向。
- 梯度通过梯度下降驱动学习过程。
3.2 向量与矩阵微积分
现代模型是多维的：
- 雅可比矩阵：向量值函数的一阶导数。
- 海森矩阵：二阶曲率信息。
- 链式法则：反向传播的支柱。
3.3 优化基础
理解损失景观至关重要：
- 局部极小值与全局极小值：为什么训练会“卡住”。
- 鞍点：在高维空间中很常见。
- 凸性：保证最优性和稳定性（虽不常见但很重要）。
我实际学习这些数学的方法（资源）
以下是对我有效的学习路线图。
1. 先建立直觉
在阅读教科书之前，我专注于可视化理解。
- 3Blue1Brown，特别是：
- 线性代数的本质
- 微积分的本质
2. 结构化课程
- 帝国理工学院 – 机器学习的数学基础（在 Coursera 上）非常适合线性代数和多变量微积分，教学方式非常实用。
3. 统计学与概率论
- 可汗学院 讲解清晰，练习充足。
4. 将数学与 ML 联系起来
- 非常适合理解理论如何转化为真实的 ML 模型。书籍：《统计学习导论》
5. 将所有知识融会贯通
- 展示了所有概念如何在实际算法中结合在一起。书籍：《机器学习的数学》
