深入掌握机器学习的两大核心包括：数学推导与编码实现。机器学习原理大多都是由数学支撑，基本的机器学习数学公式推导对于深入掌握机器学习十分重要；另一方面，通过在不调用算法库的前提下，通过基础编码实现机器学习算法，深入理解算法细节，进一步提高算法实现的代码能力。其中，《机器学习》教材中，推导细节没有详述，比较难理解的公式需要加以解析，以及对部分公式补充跳过的解题步骤。包括 ——
绪论
- 公式1.2：二分类按均匀分布对误差求和运算解析
模型评估
- 公式2.20：AUC估算运算解析
- 公式2.21：排序损失运算解析
- 公式2.27：二次校验结论置信度勘误与运算推导
- 公式2.41：期望泛化误差分解运算解析
线性模型
- 公式3.5：线性回归最小二乘参数估计求导运算推导-1
- 公式3.6：线性回归最小二乘参数估计求导运算推导-2
- 公式3.7：最优解的闭式解运算推导
- 公式3.9：多元线性回归向量形式表示运算推导-1
- 公式3.10：多元线性回归向量形式表示运算推导-2
- 公式3.27：最大化式等阶于最小化运算推导
- 公式3.30：一阶、二阶导数运算解析
- 公式3.32：LDA最大化目标运算推导
- 公式3.37：拉格朗日运算推导-1
- 公式3.38：拉格朗日运算推导-2
- 公式3.39：拉格朗日运算推导-3
- 公式3.43：全局散度矩阵运算推导
- 公式3.44：LDA优化目标运算解析
- 公式3.45：广义特征值问题求解运算推导
决策树
- 公式4.1：信息熵定义运算解析
- 公式4.2：信息增益定义运算解析
- 公式4.6：基尼指数定义运算解析
- 公式4.7：连续属性候选划分点集合运算解析
- 公式4.8：离散化连续属性运算解析
神经网络
- 公式5.2：感知机学习算法参数更新公式
- 公式5.10：BP算法运算推导-1
- 公式5.12：BP算法运算推导-2
- 公式5.13：BP算法运算推导-3
- 公式5.14：BP算法运算推导-4
- 公式5.15：BP算法运算推导-5
- 公式5.20：Boltzmann机定义运算解析-1
- 公式5.20：Boltzmann机定义运算解析-2
- 公式5.20：Boltzmann机定义运算解析-3
- 公式5.24：Boltzmann机定义运算推导
支持向量机
- 公式6.9：拉格朗日函数运算推导
- 公式6.10：拉格朗日函数运算解析
- 公式6.11：拉格朗日函数对偶问题运算推导
- 公式6.13：KKT满足条件运算解析
- 公式6.35：松弛变量公式重写运算解析
- 公式6.37：拉格朗日函数偏导为零运算解析-1
- 公式6.38：拉格朗日函数偏导为零运算解析-2
- 公式6.39：拉格朗日函数偏导为零运算推导
- 公式6.40：对偶问题公式运算推导
- 公式6.41：软间隔支持向量机KKT条件运算解析
- 公式6.52：满足KKT条件要求运算推导
- 公式6.60：KLDA学习目标运算解析
- 公式6.62：散度矩阵运算解析-1
- 公式6.63：散度矩阵运算解析-2
- 公式6.65：表示定理公式推导
- 公式6.66：核矩阵运算解析-1
- 公式6.67：核矩阵运算解析-2
- 公式6.70：核矩阵运算推导
贝叶斯分类器
1 公式7.5：条件风险运算推导
2 公式7.6：最小化分类错误率贝叶斯最优分类器运算推导
3 公式7.12：极大似然值估计运算推导-1
4 公式7.13：极大似然值估计运算推导-2
5 公式7.19：平滑拉普拉斯修正运算推导-1
6 公式7.20：平滑拉普拉斯修正运算推导-2
7 公式7.24：AODE定义运算推导-1
8 公式7.25：AODE定义运算推导-2
9 公式7.27：同父结构验证运算解析
10 公式7.34：最大化对数似然运算解析
集成学习
1 公式8.1：基分类器运算解析
2 公式8.2：集成分类运算解析
3 公式8.3：集成错误率运算推导
4 公式8.4：集成学习加性模型运算解析
5 公式8.5：最小化指数损失函数运算解析
6 公式8.6：最小化指数损失函数偏导运算解析-1
7 公式8.7：最小化指数损失函数偏导运算解析-2
8 公式8.8：最小化指数损失函数偏导运算解析-3
9 公式8.9：AdaBoost最小化损失函数运算解析-1
10 公式8.10：AdaBoost最小化损失函数运算解析-2
11 公式8.11：AdaBoost最小化损失函数运算解析-3
12 公式8.12：AdaBoost错误修正运算解析
13 公式8.13：泰勒展式运算推导
14 公式8.14：理想基学习器运算解析
15 公式8.16：理想基学习器数学期望运算推导
16 公式8.17：理想基学习器数学期望运算解析-1
17 公式8.18：理想基学习器数学期望运算解析-2
18 公式8.19：理想基学习器数学期望运算解析-3
19 公式8.20：包外估计运算解析
20 公式8.21：Bagging泛化误差包外估计运算解析
21 公式8.22：简单平均法运算解析
22 公式8.23：加权平均法运算解析
23 公式8.24：绝对多数投票法运算解析
24 公式8.25：相对多数投票法运算解析
25 公式8.26：加权投票法运算解析
26 公式8.27：个体学习器的分歧运算解析
27 公式8.28：集成分歧运算解析
28 公式8.29：个体学习器平方误差运算解析
29 公式8.30：集成平方误差运算解析
30 公式8.31：个体学习器误差加权均值运算推导
31 公式8.32：样本分歧运算解析
32 公式8.33：全样本泛化误差运算解析
33 公式8.34：全样本分歧运算解析
34 公式8.35：全样本泛化误差运算解析
35 公式8.36：个体学习器加权分歧值运算解析
聚类
1 公式9.5：Jaccard系数定义运算解析
2 公式9.6：FM指数定义运算解析
3 公式9.7：Rand指数定义运算解析
4 公式9.8：簇划分定义运算解析
5 公式9.33：EM算法迭代优化运算推导-1
6 公式9.34：EM算法迭代优化运算推导-2
7 公式9.35：EM算法迭代优化运算推导-3
8 公式9.38：平均后验概率确定运算推导
降维与度量学习
1 公式10.1：样本概率运算解析
2 公式10.2：贝叶斯最优分类结果运算解析
3 公式10.3：降维样本内积矩阵运算推导
4 公式10.4：降维样本中心化运算解析-1
5 公式10.5：降维样本中心化运算解析-2
6 公式10.6：降维样本中心化运算推导
7 公式10.10：降维矩阵求取内积矩阵运算推导
8 公式10.11：特征值分解运算解析
9 公式10.14：样本投影重构运算推导
10 公式10.17：拉格朗日乘子法结果运算推导
11 公式10.24：非线性降维简化运算推导
12 公式10.28：流形学习优化解运算推导
13 公式10.31：低维坐标求解式重写运算推导
特征选择与稀疏学习
1 公式11.1：信息增益定义式运算解析
2 公式11.2：信息熵定义式运算解析
3 公式11.5：线性回归优化目标式运算解析
4 公式11.6：加入L2正则化优化目标式运算解析
5 公式11.7：加入L1正则化优化目标式运算解析
6 公式11.10：二阶泰勒展式运算解析
7 公式11.11：优化目标求解运算解析-1
8 公式11.12：优化目标求解运算解析-2
9 公式11.13：优化目标求解运算解析-3
10 公式11.14：PGD快速求解运算解析
11 公式11.15：字典学习简式运算解析-1
12 公式11.16：字典学习简式运算解析-2
13 公式11.17：字典学习简式运算解析-3
14 公式11.18：字典学习重写运算解析
计算学习理论
1 公式12.1：泛化误差定义式运算解析
2 公式12.2：经验误差定义式运算解析
3 公式12.3：不合度定义式运算解析
4 公式12.4：Jensen不等式运算解析
5 公式12.5：Hoeffding不等式运算解析
6 公式12.7：McDiarmid不等式运算解析
7 公式12.9：PAC辨识定义式运算解析
8 公式12.10：对立事件泛化误差运算解析
9 公式12.11：表现一致概率运算解析
10 公式12.12：互斥事件之和运算解析与推导-1
11 公式12.13：互斥事件之和运算解析与推导-2
12 公式12.14：互斥事件之和运算解析与推导-3
13 公式12.15：引理12.1运算解析-1
14 公式12.16：引理12.1运算解析-2
15 公式12.17：引理12.1运算解析-3
16 公式12.18：推论12.1运算推导
17 公式12.19：定理12.1运算推导
18 公式12.20：不可知PAC可学习定义式运算解析
19 公式12.21：增长函数定义式运算解析
20 公式12.22：定理12.2运算解析
21 公式12.23：VC维定义式运算解析
22 公式12.24：引理12.2运算解析
23 公式12.25：数据归纳法证明运算解析-1
24 公式12.26：数据归纳法证明运算解析-2
25 公式12.27：数据归纳法证明运算解析-3
26 公式12.28：推论12.2运算推导
27 公式12.29：定理12.3运算推导
28 公式12.30：经验风险最小化定义式运算解析
29 公式12.31：定理12.4运算解析
30 公式12.36：Rademacher复杂度运算解析-1
31 公式12.37：Rademacher复杂度运算解析-2
32 公式12.38：Rademacher复杂度运算解析-3
33 公式12.39：Rademacher复杂度运算解析-4
34 公式12.40：定义12.8运算解析
35 公式12.41：定义12.9运算解析
36 公式12.42：定理12.5运算解析
37 公式12.52：定理12.7运算解析-1
38 公式12.53：定理12.7运算解析-2
39 公式12.57：定义12.10运算解析
40 公式12.58：定理12.8运算解析-1
41 公式12.59：定理12.8运算解析-2
42 公式12.60：定理12.8运算解析-3
43 定理12.9：学习算法假设空间可学习运算解析
半监督学习
1 公式13.1：高斯混合分布定义式运算解析
2 公式13.2：高斯混合成分最大化后验概率运算解析-1
3 公式13.3：高斯混合成分最大化后验概率运算解析-2
4 公式13.4：高斯混合成分最大化后验概率运算解析-3
5 公式13.5：高斯混合成分最大化后验概率运算解析-4
6 公式13.6：有标记样本数目运算推导-1
7 公式13.7：有标记样本数目运算推导-2
8 公式13.8：有标记样本数目运算推导-3
9 公式13.9：TSVM运算解析
10 公式13.12：能量函数运算推导-1
11 公式13.13：能量函数运算推导-2
12 公式13.14：能量函数运算推导-3
13 公式13.15：能量函数运算推导-4
14 公式13.16：能量函数运算推导-5
15 公式13.17：能量函数运算推导-6
16 公式13.20：迭代收敛运算解析
概率图模型
1 公式14.1：联合概率分布运算解析
2 公式14.2：联合概率定义运算解析
3 公式14.3：极大团定义运算解析
4 公式14.4：简化联合概率运算解析
5 公式14.8：势函数定义式运算解析-1
6 公式14.9：势函数定义式运算解析-2
7 公式14.10：马尔科夫性条件随机场运算解析
8 公式14.14：消去变量过程运算解析-1
9 公式14.15：消去变量过程运算解析-2
10 公式14.16：消去变量过程运算解析-3
11 公式14.17：消去变量过程运算解析-4
12 公式14.18：边际分布运算解析
13 公式14.19：信念传播运算解析-1
14 公式14.20：信念传播运算解析-2
15 公式14.22：样本均值运算推导
16 公式14.26：马尔可夫满足平稳条件运算解析
17 公式14.27：MH算法运算解析
18 公式14.28：MH算法平稳运算推导
19 公式14.29：变分推断运算解析-1
20 公式14.30：变分推断运算解析-2
21 公式14.31：变分推断运算解析-3
22 公式14.32：近似分布运算推导-1
23 公式14.33：近似分布运算推导-2
24 公式14.34：近似分布运算推导-3
25 公式14.35：条件独立假设运算解析
26 公式14.36：指数族分布推导
27 公式14.39：可知变量子集服从最优分布运算解析
28 公式14.40：可知变量子集服从最优分布运算推导
29 公式14.41：LDA模型对应概率分布运算解析-1
30 公式14.42：LDA模型对应概率分布运算解析-2
31 公式14.43：LDA模型对应概率分布运算解析-3
32 公式14.44：LDA模型对应概率分布运算解析-4
规则学习
1 公式15.2：似然率统计量定义式运算解析
2 公式15.3：FOIL增益定义式运算解析
3 公式15.6：析合范式删除操作定义式运算解析
4 公式15.7：逆归结原理运算解析-1
5 公式15.9：逆归结原理运算解析-2
6 公式15.10：吸收操作定义式运算解析
7 公式15.11：辨识操作定义式运算解析
8 公式15.12：内构操作定义式运算解析
9 公式15.13：互构操作定义式运算解析
10 公式15.14：一阶逻辑归结运算解析
11 公式15.16：一阶逆归结运算推导
强化学习
1 公式16.2：ε-贪婪平均奖赏运算推导
2 公式16.3：平均奖赏更新运算解析
3 公式16.4：Softmax算法中摇臂概率分配运算解析
4 公式16.7：T步累积奖赏运算解析
5 公式16.8：折扣累积奖赏运算推导
6 公式16.10：动作-状态值函数运算推导
7 公式16.14：动作求和取最优运算解析
8 公式16.16：递推不等式运算推导
9 公式16.31：增量求和运算推导