继续之前的：
- 《深度学习知识卡片：深度学习基本概念》
- 《深度学习知识卡片：Logistic 回归》
- 《深度学习知识卡片：浅层网络的特点》
- 《深度学习知识卡片：深度神经网络的特点》
- 《深度学习知识卡片：偏差与方差》
- 《深度学习知识卡片：正则化》
- 《深度学习知识卡片：最优化训练》
- 《深度学习知识卡片：最优化算法》
- 《深度学习知识卡片：超参数调优》
- 《深度学习知识卡片：结构化机器学习过程》
- 《深度学习知识卡片：误差分析》
- 《深度学习知识卡片：训练集、开发集与测试集》
- 《深度学习知识卡片：学习方法扩展》
- 《深度学习知识卡片：卷积神经网络基础》
- 《深度学习知识卡片：卷积运算的主要参数》
- 《深度学习知识卡片：深度卷积神经网络架构》
- 《深度学习知识卡片：经典卷积神经网络》
- 《深度学习知识卡片：特殊卷积神经网络》
- 《深度学习知识卡片：实践建议》
- 《深度学习知识卡片：目标检测算法》
- 《深度学习知识卡片：人脸识别》
- 《深度学习知识卡片：风格迁移》
如上所示，命名实体识别等序列问题在现实生活中占了很大的比例，而隐马尔可夫链等传统机器学习算法只能作出很强的假设而处理部分序列问题。但近来循环神经网络在这些问题上有非常大的突破，RNN 隐藏状态的结构以循环形的形式成记忆，每一时刻的隐藏层的状态取决于它的过去状态，这种结构使得 RNN 可以保存、记住和处理长时期的过去复杂信号。
循环神经网络（RNN）能够从序列和时序数据中学习特征和长期依赖关系。RNN 具备非线性单元的堆叠，其中单元之间至少有一个连接形成有向循环。训练好的 RNN 可以建模任何动态系统；但是，训练 RNN 主要受到学习长期依赖性问题的影响。