深度学习最常见的 26 个模型 – 含实现代码 – 广州跨象乘云软件技术有限公司

本文首先从 4 个方面（张量、生成模型、序列学习、深度强化学习）追踪深度学习几十年的发展史，然后再介绍主流的 26 个深度学习模型。

主要按最早研究出现的时间，从 4 个方面来追踪深度学习的发展史。

1958 年 Frank 提出感知机，但后来被一些学者发现因算力的不足，制约了较大神经网络的计算，导致很长时间发展缓慢。
Fukushima 在 1979 年左右提出 Neocognitron，感觉这是卷积和池化的雏形。
Hinton 在 1986 年提出反向传播的思想和多层感知机（BPNN/MLP），有非常大的意义，对未来几十年（可以说直到现在）影响深远。
接下来比较重要的发展是，LeCun 在 1998 年提出 LeNet-5，7 层的 CNN 做数字识别。
然后 AlexNet 在 12 年在 ImageNet 夺冠，主要是 CNN+Dropout+Relu，又是 Hinton 极大的带动了 DL 的发展，大佬的地位毋庸置疑。另外相似的还有 15 年的 GoogLeNet。
总算有华人大佬作出大贡献了，16 年何恺明（CV领域应该无人不知）提出 Resnet，还拿了 best paper，影响较大，当然效果也很好。另外相似的还有 17 年的 DenseNet。
17年 Capsule Network 登场了，又是 Hinton。我比较看好胶囊网络在 NLP 领域的发展，虽然现在还没太明显的效果。因为用胶囊网络来做文本的特征表示的话，可以极大的丰富特征，更适合处理文本这种比较灵活的数据。

上世纪 80 年代提出 RBM，06 年叠加成 Deep Belief Network（DBN），这算是重新叠加网络的一个比较重要的开始吧。
上世纪 80 年代 Hinton 提出 Auto-Encode，过了较长时间 Bengio 在 08 年提出 Denoise Auto-Encode。Welling 在 13 年提出 Variational Auto-Encode。
接下来，在 14 年 Goodfellow 和 Bengio 等提出 GAN，从此生成网络不仅是 AE 以及其变种（Denoise Auto-Encode、Variational Auto-Encode等）了，可以这么说：GAN 的出现极大的提高了生成模型的地位和热点，GAN 也是席卷 NLP、CV、AI 等领域的各大顶会，甚至是一些 best paper。另外，陆续出现很多很多 GAN 的变种，比如 DCGAN、CGAN、PGGAN、LAPGAN、InfoGAN、WGAN、F-GAN、SeqGAN、LeakGAN 等。

1982 年提出 hopfield network，1997 年 Schmidhuber 提出 LSTM。Hinton 组在 13 年把 RNN 用在语音识别上取得巨大突破，RNN 立马爆火。
03 年提出 LM（语言模型），13 年提出 w2v，佩服 Bengio，这也是我为啥千里迢迢跑去找 Benign 合影的原因之一。w2v 带来的影响不言而喻，目前 NLP 领域基本上所有 Paper 都会用到词向量，包括也影响了后面出现的 Glove、FastText、ELMo（ 18 年 2 月）、Transformer（ 18 年 6 月）、Bert （ 18 年 10 月提出，Jacob 一战封神，我感觉至少是 18 年 NLP 领域最大的发展，甚至可以说是近几年最大的发展）等。Bert 的出现，很可能改变所有主流 NLP 任务的打法和 Baseline。
还有一个分支，14 年出现 Seq2Seq，这个重要性也无需赘述了，NLP 领域的都知道。然后 15 年出现Charater CNN ，17 年出现 self-attention。

提到强化学习就不得不提这 Deep Mind 、AlphaGo 以及其变种、Silve r。13 年提出 Deep Q-learning 15 年提出 Double DQN，16 年提出 Dueling Net。 15 年的 DDPG 和 16 年的 A3C 都是 NN+Policy Gradient，也应用在不少领域。16 年的 AlphaGo（除了 AI 领域，很多不懂AI的人都知道，甚至可以说是 AI 爆火的最大助力），17 年出现更疯狂的 Alpha Zero。