一、资源简介
普林斯顿大学在 19 年开设了 COS 598D《机器学习优化》课程的讲义，这个课程主要介绍机器学习中出现的优化问题，以及解决这些问题的有效算法。这份讲义内容详实循序渐进，非常适合想要入门机器学习优化的同学阅读。
官网：
https://sites.google.com/view/optimization4machinelearning/home
作者简介：
Elad Hazan ：普林斯顿大学计算机系的教授，重点研究机器学习和优化的基本问题。曾获得贝尔实验室奖、2012 年和 2008 年 IBM 哥德堡最佳论文奖、欧洲研究理事会奖、居里夫人奖和谷歌研究奖。曾担任计算学习协会指导委员会委员，并担任 COLT 2015 项目主席。2017 年，创立了专注于高效优化与控制的In8 inc，并于 2018 年被谷歌收购。普林斯顿大学商学院的联合创始人和联合董事。
二、主要内容
下面是这份讲义的主要目录：
- 介绍
- 优化和分析的基本概念
- 随机梯度下降法
- 泛化和非光滑优化
- 正则化
- 自适应正则化
- 方差减少
- Nesterov加速度(Nesterov Acceleration)
- 条件梯度法
- 机器学习的二阶方法
- Hyperparameter优化(Hyperparameter Optimization)