继续之前的：
- 《深度学习知识卡片：深度学习基本概念》
- 《深度学习知识卡片：Logistic 回归》
- 《深度学习知识卡片：浅层网络的特点》
- 《深度学习知识卡片：深度神经网络的特点》
- 《深度学习知识卡片：偏差与方差》
- 《深度学习知识卡片：正则化》
- 《深度学习知识卡片：最优化训练》
- 《深度学习知识卡片：最优化算法》
以下是介绍超参数的知识卡片，它在神经网络中占据了重要的作用，因为它们可以直接提升模型的性能。
众所周知学习率、神经网络隐藏单元数、批量大小、层级数和正则化系数等超参数可以直接影响模型的性能，而怎么调就显得非常重要。目前最常见的还是手动调参，开发者会根据自身建模经验选择「合理」的超参数，然后再根据模型性能做一些小的调整。而自动化调参如随机过程或贝叶斯优化等仍需要非常大的计算量，且效率比较低。不过近来关于使用强化学习、遗传算法和神经网络等方法搜索超参数有很大的进步，研究者都在寻找一种高效而准确的方法。
目前的超参数搜索方法有：
- 依靠经验：聆听自己的直觉，设置感觉上应该对的参数然后看看它是否工作，不断尝试直到累趴。
- 网格搜索：让计算机尝试一些在一定范围内均匀分布的数值。
- 随机搜索：让计算机尝试一些随机值，看看它们是否好用。
- 贝叶斯优化：使用类似 MATLAB BayesOpt 的工具自动选取最佳参数 —— 结果发现贝叶斯优化的超参数比你自己的机器学习算法还要多，累觉不爱，回到依靠经验和网格搜索方法上去。
该知识卡片，相信对高校人工智能实验室建设，以及对人工智能专业学生都十分有帮助。