CNN 101:卷积神经网络的交互式视觉学习

为了应对深度学习模型中的复杂性挑战,日前,佐治亚理工学院研究人员开发了 CNN 101,这是另一个交互式的可视化卷积神经网络系统,可以帮助深度学习、人工智能实验室的科研人员以及学生更好地了解和学习卷积神经网络,它是基础的深度学习模型体系结构。

交互式可视化卷积神经网络系统
CNN 101 :交互式可视化卷积神经网络系统

使用现代 Web 技术构建的 CNN 101 无需专用硬件即可在用户的 Web 浏览器中本地运行。通过紧密集成的交互式视图,CNN 101 通过解释单神经元级别以及层级别的卷积,激活和池化操作,提供了模型工作方式的概述和详细说明。CNN 101 进一步扩大了公众对深度学习技术的教育途径。它应用了交互式可视化技术,为用户提供了一种更简单的方法来学习深度学习机制并建立神经网络直觉。并且,对于现有的通过交互式可视化来解释复杂机器学习算法的研究工作,CNN 101 可以与他们结合在一起。

同时,作者为 CNN 101 录制了演示视频,为了方便观看,跨象乘云™ 提供了源视频下载 ——

《机器学习实用指南》第二版发布

Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》(《机器学习实用指南》),这本书最大的特色从理论上讲就是言简意赅,全书基本上没有太多复杂的数学公式推导。这一点正是国内很多高校教材所欠缺的。这本超赞的机器学习实用指南终于正式出版了第二版:《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems 2nd Edition》,并且在美国亚马逊上开售(包括 Kindle 版本)。

Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow Concepts, Tools, and Techniques to Build Intelligent Systems 2nd Edition
Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow Concepts, Tools, and Techniques to Build Intelligent Systems 2nd Edition

本教材作者是 Aurélien Géron,法国人,毕业于AgroParisTech,曾任 Google Youtube 视频分类项目组负责人,创建过多家公司并担任 CTO,也曾在 AgroParisTech 担任讲师。现在是一名机器学习的顾问。第二版相比第一版增加了许多新的内容,最直白的就是第一版使用了 Scikit-LearnTensorFlow,而第二版增加了 Keras 深度学习框架。从内容上来说,第二版增加了更多的机器学习前沿知识,包括:无监督学习,训练深度网络,计算机视觉自然语言处理等等。作者将本书所有章节的详细代码都开源了并发布在 GitHub 上,目前已经收获了 5.5k star。

GitHub地址项目 GitHub 地址

深度学习知识卡片:序列到序列之二

继续之前的:

  1. 深度学习知识卡片:深度学习基本概念
  2. 深度学习知识卡片:Logistic 回归
  3. 深度学习知识卡片:浅层网络的特点
  4. 深度学习知识卡片:深度神经网络的特点
  5. 深度学习知识卡片:偏差与方差
  6. 深度学习知识卡片:正则化
  7. 深度学习知识卡片:最优化训练
  8. 深度学习知识卡片:最优化算法
  9. 深度学习知识卡片:超参数调优
  10. 深度学习知识卡片:结构化机器学习过程
  11. 深度学习知识卡片:误差分析
  12. 深度学习知识卡片:训练集、开发集与测试集
  13. 深度学习知识卡片:学习方法扩展
  14. 深度学习知识卡片:卷积神经网络基础
  15. 深度学习知识卡片:卷积运算的主要参数
  16. 深度学习知识卡片:深度卷积神经网络架构
  17. 深度学习知识卡片:经典卷积神经网络
  18. 深度学习知识卡片:特殊卷积神经网络
  19. 深度学习知识卡片:实践建议
  20. 深度学习知识卡片:目标检测算法
  21. 深度学习知识卡片:人脸识别
  22. 深度学习知识卡片:风格迁移
  23. 深度学习知识卡片:循环神经网络基础
  24. 深度学习知识卡片:循环神经网络应用
  25. 深度学习知识卡片:NLP 中的词表征
  26. 深度学习知识卡片:词嵌入常见方法
  27. 深度学习知识卡片:序列到序列之一

编码器解码器架构加上注意力机制可以解决非常多的自然语言处理问题,以下介绍了 BLEU 分值和注意力机制。它们在机器翻译的架构和评估中都是不能缺少的部分。

序列到序列之二
序列到序列之二

以上是所有关于吴恩达深度学习专项课程的知识卡片,由于它们包含的信息较多,跨象乘云™ 提供完整的《深度学习知识卡片》原图下载,以便人工智能专业学生,在学习过程中慢慢理解与优化。

深度学习知识卡片:序列到序列之一

继续之前的:

  1. 深度学习知识卡片:深度学习基本概念
  2. 深度学习知识卡片:Logistic 回归
  3. 深度学习知识卡片:浅层网络的特点
  4. 深度学习知识卡片:深度神经网络的特点
  5. 深度学习知识卡片:偏差与方差
  6. 深度学习知识卡片:正则化
  7. 深度学习知识卡片:最优化训练
  8. 深度学习知识卡片:最优化算法
  9. 深度学习知识卡片:超参数调优
  10. 深度学习知识卡片:结构化机器学习过程
  11. 深度学习知识卡片:误差分析
  12. 深度学习知识卡片:训练集、开发集与测试集
  13. 深度学习知识卡片:学习方法扩展
  14. 深度学习知识卡片:卷积神经网络基础
  15. 深度学习知识卡片:卷积运算的主要参数
  16. 深度学习知识卡片:深度卷积神经网络架构
  17. 深度学习知识卡片:经典卷积神经网络
  18. 深度学习知识卡片:特殊卷积神经网络
  19. 深度学习知识卡片:实践建议
  20. 深度学习知识卡片:目标检测算法
  21. 深度学习知识卡片:人脸识别
  22. 深度学习知识卡片:风格迁移
  23. 深度学习知识卡片:循环神经网络基础
  24. 深度学习知识卡片:循环神经网络应用
  25. 深度学习知识卡片:NLP 中的词表征
  26. 深度学习知识卡片:词嵌入常见方法
序列到序列之一
序列到序列之一

序列到序列的方法,使用最多的就是编码器解码器框架,其它还有束搜索等模块的介绍。

深度学习知识卡片:词嵌入常见方法

继续之前的:

  1. 深度学习知识卡片:深度学习基本概念
  2. 深度学习知识卡片:Logistic 回归
  3. 深度学习知识卡片:浅层网络的特点
  4. 深度学习知识卡片:深度神经网络的特点
  5. 深度学习知识卡片:偏差与方差
  6. 深度学习知识卡片:正则化
  7. 深度学习知识卡片:最优化训练
  8. 深度学习知识卡片:最优化算法
  9. 深度学习知识卡片:超参数调优
  10. 深度学习知识卡片:结构化机器学习过程
  11. 深度学习知识卡片:误差分析
  12. 深度学习知识卡片:训练集、开发集与测试集
  13. 深度学习知识卡片:学习方法扩展
  14. 深度学习知识卡片:卷积神经网络基础
  15. 深度学习知识卡片:卷积运算的主要参数
  16. 深度学习知识卡片:深度卷积神经网络架构
  17. 深度学习知识卡片:经典卷积神经网络
  18. 深度学习知识卡片:特殊卷积神经网络
  19. 深度学习知识卡片:实践建议
  20. 深度学习知识卡片:目标检测算法
  21. 深度学习知识卡片:人脸识别
  22. 深度学习知识卡片:风格迁移
  23. 深度学习知识卡片:循环神经网络基础
  24. 深度学习知识卡片:循环神经网络应用
  25. 深度学习知识卡片:NLP 中的词表征
词嵌入常见方法
词嵌入常见方法

GloVe 词向量是很常见的词向量学习方法,它学到的词表征可进一步用于语句分类等任务。GloVe 的全称叫:Global Vectors for Word Representation,它是一个基于全局词频统计(Count-based & Overall Statistics)的词表征(Word Representation)工具,它可以把一个单词表达成一个由实数组成的向量,这些向量捕捉到了单词之间一些语义特性,比如相似性(Similarity)、类比性(Analogy)等。我们通过对向量的运算,比如欧几里得距离或者 Cosine 相似度,可以计算出两个单词之间的语义相似性。

 

深度学习知识卡片:NLP 中的词表征

继续之前的:

  1. 深度学习知识卡片:深度学习基本概念
  2. 深度学习知识卡片:Logistic 回归
  3. 深度学习知识卡片:浅层网络的特点
  4. 深度学习知识卡片:深度神经网络的特点
  5. 深度学习知识卡片:偏差与方差
  6. 深度学习知识卡片:正则化
  7. 深度学习知识卡片:最优化训练
  8. 深度学习知识卡片:最优化算法
  9. 深度学习知识卡片:超参数调优
  10. 深度学习知识卡片:结构化机器学习过程
  11. 深度学习知识卡片:误差分析
  12. 深度学习知识卡片:训练集、开发集与测试集
  13. 深度学习知识卡片:学习方法扩展
  14. 深度学习知识卡片:卷积神经网络基础
  15. 深度学习知识卡片:卷积运算的主要参数
  16. 深度学习知识卡片:深度卷积神经网络架构
  17. 深度学习知识卡片:经典卷积神经网络
  18. 深度学习知识卡片:特殊卷积神经网络
  19. 深度学习知识卡片:实践建议
  20. 深度学习知识卡片:目标检测算法
  21. 深度学习知识卡片:人脸识别
  22. 深度学习知识卡片:风格迁移
  23. 深度学习知识卡片:循环神经网络基础
  24. 深度学习知识卡片:循环神经网络应用
NLP 中的词表征
NLP 中的词表征

词嵌入在自然语言处理中非常重要,因为不论执行怎样的任务,将词表征出来都是必须的。上图展示了词嵌入的方法,我们可以将词汇库映射到一个 200 或 300 维的向量,从而大大减少表征词的空间。此外,这种词表征的方法还能表示词的语义,因为词义相近的词在嵌入空间中距离相近。

深度学习知识卡片:循环神经网络应用

继续之前的:

  1. 深度学习知识卡片:深度学习基本概念
  2. 深度学习知识卡片:Logistic 回归
  3. 深度学习知识卡片:浅层网络的特点
  4. 深度学习知识卡片:深度神经网络的特点
  5. 深度学习知识卡片:偏差与方差
  6. 深度学习知识卡片:正则化
  7. 深度学习知识卡片:最优化训练
  8. 深度学习知识卡片:最优化算法
  9. 深度学习知识卡片:超参数调优
  10. 深度学习知识卡片:结构化机器学习过程
  11. 深度学习知识卡片:误差分析
  12. 深度学习知识卡片:训练集、开发集与测试集
  13. 深度学习知识卡片:学习方法扩展
  14. 深度学习知识卡片:卷积神经网络基础
  15. 深度学习知识卡片:卷积运算的主要参数
  16. 深度学习知识卡片:深度卷积神经网络架构
  17. 深度学习知识卡片:经典卷积神经网络
  18. 深度学习知识卡片:特殊卷积神经网络
  19. 深度学习知识卡片:实践建议
  20. 深度学习知识卡片:目标检测算法
  21. 深度学习知识卡片:人脸识别
  22. 深度学习知识卡片:风格迁移
  23. 深度学习知识卡片:循环神经网络基础
循环神经网络应用
循环神经网络应用

循环神经网络在语言建模等序列问题上有非常强大的力量,但同时它也存在很严重的梯度消失问题。因此像 LSTMGRU 等基于门控的 RNN 有非常大的潜力,它们使用门控机制保留或遗忘前面时间步的信息,并形成记忆以提供给当前的计算过程。

深度学习知识卡片:循环神经网络基础

继续之前的:

  1. 深度学习知识卡片:深度学习基本概念
  2. 深度学习知识卡片:Logistic 回归
  3. 深度学习知识卡片:浅层网络的特点
  4. 深度学习知识卡片:深度神经网络的特点
  5. 深度学习知识卡片:偏差与方差
  6. 深度学习知识卡片:正则化
  7. 深度学习知识卡片:最优化训练
  8. 深度学习知识卡片:最优化算法
  9. 深度学习知识卡片:超参数调优
  10. 深度学习知识卡片:结构化机器学习过程
  11. 深度学习知识卡片:误差分析
  12. 深度学习知识卡片:训练集、开发集与测试集
  13. 深度学习知识卡片:学习方法扩展
  14. 深度学习知识卡片:卷积神经网络基础
  15. 深度学习知识卡片:卷积运算的主要参数
  16. 深度学习知识卡片:深度卷积神经网络架构
  17. 深度学习知识卡片:经典卷积神经网络
  18. 深度学习知识卡片:特殊卷积神经网络
  19. 深度学习知识卡片:实践建议
  20. 深度学习知识卡片:目标检测算法
  21. 深度学习知识卡片:人脸识别
  22. 深度学习知识卡片:风格迁移
循环神经网络基础
循环神经网络基础

如上所示,命名实体识别等序列问题在现实生活中占了很大的比例,而隐马尔可夫链等传统机器学习算法只能作出很强的假设而处理部分序列问题。但近来循环神经网络在这些问题上有非常大的突破,RNN 隐藏状态的结构以循环形的形式成记忆,每一时刻的隐藏层的状态取决于它的过去状态,这种结构使得 RNN 可以保存、记住和处理长时期的过去复杂信号。

循环神经网络(RNN)能够从序列和时序数据中学习特征和长期依赖关系。RNN 具备非线性单元的堆叠,其中单元之间至少有一个连接形成有向循环。训练好的 RNN 可以建模任何动态系统;但是,训练 RNN 主要受到学习长期依赖性问题的影响。

深度学习知识卡片:风格迁移

继续之前的:

  1. 深度学习知识卡片:深度学习基本概念
  2. 深度学习知识卡片:Logistic 回归
  3. 深度学习知识卡片:浅层网络的特点
  4. 深度学习知识卡片:深度神经网络的特点
  5. 深度学习知识卡片:偏差与方差
  6. 深度学习知识卡片:正则化
  7. 深度学习知识卡片:最优化训练
  8. 深度学习知识卡片:最优化算法
  9. 深度学习知识卡片:超参数调优
  10. 深度学习知识卡片:结构化机器学习过程
  11. 深度学习知识卡片:误差分析
  12. 深度学习知识卡片:训练集、开发集与测试集
  13. 深度学习知识卡片:学习方法扩展
  14. 深度学习知识卡片:卷积神经网络基础
  15. 深度学习知识卡片:卷积运算的主要参数
  16. 深度学习知识卡片:深度卷积神经网络架构
  17. 深度学习知识卡片:经典卷积神经网络
  18. 深度学习知识卡片:特殊卷积神经网络
  19. 深度学习知识卡片:实践建议
  20. 深度学习知识卡片:目标检测算法
  21. 深度学习知识卡片:人脸识别
风格迁移
风格迁移

风格迁移,是一个热门话题,它会在视觉上给人耳目一新的感觉。例如你有一副图,然后将另一幅图的风格特征应用到这幅图上,比如用一位著名画家或某一副名画的风格来修改你的图像,因此我们可以获得独特风格的作品。

深度学习知识卡片:人脸识别

继续之前的:

  1. 深度学习知识卡片:深度学习基本概念
  2. 深度学习知识卡片:Logistic 回归
  3. 深度学习知识卡片:浅层网络的特点
  4. 深度学习知识卡片:深度神经网络的特点
  5. 深度学习知识卡片:偏差与方差
  6. 深度学习知识卡片:正则化
  7. 深度学习知识卡片:最优化训练
  8. 深度学习知识卡片:最优化算法
  9. 深度学习知识卡片:超参数调优
  10. 深度学习知识卡片:结构化机器学习过程
  11. 深度学习知识卡片:误差分析
  12. 深度学习知识卡片:训练集、开发集与测试集
  13. 深度学习知识卡片:学习方法扩展
  14. 深度学习知识卡片:卷积神经网络基础
  15. 深度学习知识卡片:卷积运算的主要参数
  16. 深度学习知识卡片:深度卷积神经网络架构
  17. 深度学习知识卡片:经典卷积神经网络
  18. 深度学习知识卡片:特殊卷积神经网络
  19. 深度学习知识卡片:实践建议
  20. 深度学习知识卡片:目标检测算法
人脸识别
人脸识别

人脸识别有两大类应用:人脸验证(二分分类)和人脸识别(多人分类)。

当样本量不足时,或者不断有新样本加入时,需要使用 one-shot learning,解决办法是学习相似性函数,即确定两张图像的相似性。比如在 Siamese Network 中学习人脸识别时,就是利用两个网络的输出,减少同一个人的两个输出的差别,增大不同人的两个输出之间的差别。