- 系列文章：《神经架构搜索研究指南 -1》
- 系列文章：《神经架构搜索研究指南 -2》
5. 高效结构搜索的层次化表示
（ICLR 2018：Hierarchical Representations for Efficient Architecture Search）
该网络中提出的算法在 CIFAR-10 上实现了 3.6% 的 top-1 误差，在 ImageNet 上实现了 20.3% 的 top-1 误差。作者提出了一种描述神经网络结构的层次化表示方法，证明了用简单的随机搜索可以得到具有竞争力的图像分类网络结构，并提出了一种可扩展的进化搜索方法变体。
对于平面体系结构表示，他们研究了由单源、单汇聚（single-sink）计算图组成的神经网络体系结构家族，该计算图将源处的输入转换为汇聚处的输出。图中的每个节点都对应一个特征图，每个有向边都和某个操作关联，比如池化操作或者卷积操作。此操作转换输入节点中的特征图，并将其传递给输出节点。
对于层次化结构，将在不同层次上有若干个不同的 motifs。在较高层次的 motifs 构建过程中，较低层次的 motifs 被作为构建模组。
这是 CIFAR-10 测试集中不同模型的错误率：
well as the best-performing architecture found using the proposed architecture search framework.
Existing models are grouped as (from top to bottom): handcrafted architectures, architectures found
using reinforcement learning, and architectures found using random or evolutionary search.
6. 渐进神经结构搜索
（ECCV 2018：Progressive Neural Architecture Search）
该方法采用基于序列模型的优化策略 (SMBO) 学习卷积神经网络 (CNNs) 的结构。本文基于神经结构搜索 (NAS) 方法。
本文中，搜索算法的任务是识别一个好的卷积单元，而不是一个完整的 CNN。每个单元格包含 B 个块，每个块是应用于两个输入数据的组合运算符。每个输入都可以在组合之前进行转换 —— 例如，通过卷积进行转换。然后根据训练集的大小和最终 CNN 所要求的运行时间，决定叠加起来的单元的数量。
通过使用步长为 1 或步长为 2 的基本单元叠加预定数量的副本，可以将单元叠加转换为 CNN，如上图所示。然后，在步长为 2 的单元之间的步长为 1 的单元数量，调整为最多可以有 N 个。在网络的顶层引入了平均池化和 softmax 分类层。下图显示了模型在 CIFAR 测试集上的性能：
