- 系列文章：《神经架构搜索研究指南 -1》
- 系列文章：《神经架构搜索研究指南 -2》
- 系列文章：《神经架构搜索研究指南 -3》
7. Auto-Keras：高效的神经结构搜索系统
（2018：Auto-Keras: An Efficient Neural Architecture Search System）
本文提出了一个框架，使用贝叶斯优化引导网络形变，以提升 NAS 的效率。基于他们的方法，作者构建了一个名为 Auto-Keras 的开源 AutoML 系统。
该方法中，网络的主要组成模块，是在贝叶斯优化算法的指导下，通过神经结构的形变来寻找搜索空间。NAS 空间不是欧氏空间，因此作者设计了一个神经网络核函数来解决这一问题。核函数是将一个神经结构变形为另一个神经结构的编辑距离。
shows how the layers of fa can be changed to the same as fb. Similarly, the skip-connections in fa also need to be changed to the same as fb according to a given matching.
利用贝叶斯优化来指导网络形态的第二个挑战是获取函数的优化。这些方法不适用于网络形态的树结构的搜索。通过优化树结构空间的获取函数，解决了这一难题。置信度上界 (UCB) 被选择作为获取函数。
该体系结构的搜索模块是包含贝叶斯优化器和高斯过程的模块。搜索算法在 CPU 上运行，模型训练器模块在 GPU 上进行计算。
该模块在分离的进程中用训练数据训练神经网络，以实现并行化。图模块处理神经网络的计算图，并由搜索模块控制，进行网络形态学操作。模型存储是一个包含经过训练的模型的池子。由于这些模型很大，所以它们存储在存储设备上。
下面是该模型与其他模型在不同数据集上的性能比较：
8. 基于贝叶斯优化和最优传输的神经结构搜索
（2018：Neural Architecture Search with Bayesian Optimisation and Optimal Transport）
这篇论文提出了一种基于高斯过程 (贝叶斯优化，即 BO) 的神经结构搜索框架 NASBOT。这是通过在神经网络体系结构的空间中开发一个距离度量来实现的，该距离度量可以通过最优传输程序来计算。
作者提出了一种神经网络结构的 (伪) 距离，称为 OTMANN (神经网络结构的最优传输度量)，可以通过最优传输程序进行快速计算。他们还开发了一个 BO 框架来优化神经网络结构上的函数，称为 NASBOT (使用贝叶斯优化和最优传输的神经结构搜索)。
为了实现 BO 方案，本文提出了一种神经网络结构的核函数，并给出了一种优化神经网络结构获取函数的方法，它采用进化算法对获取函数进行优化。
这个方法有一个初始的网络池，并计算这些网络上的获取函数。然后该网络池的一组 Nmut 个突变被生成出来。首先要做的就是从被评估的网络集合中随机选择 Nmut 个候选对象，这样那些具有较高的函数值的网络更有可能被选中。然后对每个候选对象进行修改，以生成一个新的体系结构。
可以通过增加或减少一个层中的计算单元数量、添加或删除层，或更改现有层的连接结构来更改体系结构。
最后一步是评估这些 Nmut 突变的获取函数，将其添加到初始池中，并重复指定的次数。在实验中，作者使用 NASBOT 来优化获取。通过实验，他们得出结论，NASBOT 的性能优于用于优化采集的进化算法。
与其他模型相比，NASBOT 的性能如下图所示：
