深度学习知识卡片:深度学习基本概念

此前,跨象乘云™ 发布《Python 知识卡片完整中文版》,覆盖:Bokeh,Jupyter Notebook,Keras,Matplotlib 绘图,Numpy 基础,Pandas 基础,Pandas 进阶,Python 基础,Scikit-Learn,SciPy,Seaborn,Spark RDD 基础,Spark SQL 基础,导入数据等核心技术领域。覆盖了 Python 在数据科学与大数据专业建设课程体系中的绝大部分领域,作为教育资源对学生学习 Python 数据分析,数据处理,科学运算,数据可视化,机器学习等具有极大的参考复习意义。

本期,跨象乘云™ 将继续连载《深度学习知识卡片完整中文注释版》系列知识卡片,原英文手绘版本,由
Tess Ferrandez 原创,基于吴恩达在 Coursera 的《Deep Learning Specialization》课程制作。《深度学习知识卡片完整中文注释版》覆盖深度学习技术的各大方向,同时照顾到深度学习的各个技术细节,并配套中文解析,作为教育资源,为人工智能专业学生提供完整的知识复习辅导。

深度学习基本概念
深度学习基本概念

监督学习:所有输入数据都有确定的对应输出数据,在各种网络架构中,输入数据和输出数据的节点层都位于网络的两端,训练过程就是不断地调整它们之间的网络连接权重。

  • 左上:列出了各种不同网络架构的监督学习,比如标准的神经网络(NN)可用于训练房子特征和房价之间的函数,卷积神经网络(CNN)可用于训练图像和类别之间的函数,循环神经网络(RNN)可用于训练语音和文本之间的函数。
  • 左下:分别展示了 NN、CNN 和 RNN 的简化架构。这三种架构的前向过程各不相同,NN 使用的是权重矩阵(连接)和节点值相乘并陆续传播至下一层节点的方式;CNN 使用矩形卷积核在图像输入上依次进行卷积操作、滑动,得到下一层输入的方式;RNN 记忆或遗忘先前时间步的信息以为当前计算过程提供长期记忆。
  • 右上:NN 可以处理结构化数据(表格、数据库等)和非结构化数据(图像、音频等)。
  • 右下:深度学习能发展起来主要是由于大数据的出现,神经网络的训练需要大量的数据;而大数据本身也反过来促进了更大型网络的出现。深度学习研究的一大突破是新型激活函数的出现,用 ReLU 函数替换 sigmoid 函数可以在反向传播中保持快速的梯度下降过程,sigmoid 函数在正无穷处和负无穷处会出现趋于零的导数,这正是梯度消失导致训练缓慢甚至失败的主要原因。要研究深度学习,需要学会「idea — 代码 — 实验 — idea」的良性循环。