深度学习模型在很多任务上都取得了不错的效果,但调参对于深度模型来说是一项非常苦难的事情,众多的超参数和网络结构参数会产生爆炸性的组合,常规的 random search 和 grid search 效率非常低,因此最近几年神经网络的架构搜索和超参数优化成为一个研究热点。
机器之心的译文,从网络架构搜索的三个方面进行了分类综述,包括:
- 搜索空间
- 搜索策略
- 评价预估
问题定义
网络架构和超参数优化的问题,有以下的特点:
- 评价函数未知,是一个黑箱优化问题,因为评价往往是在 unseed dataset 上进行评价;
- 非线性;
- 非凸;
- 混[……]