概述
开源框架总览：现如今开源生态非常完善，深度学习相关的开源框架众多，光是为人熟知的就有 caffe，tensorflow，pytorch/caffe2，keras，mxnet，paddldpaddle，theano，cntk，deeplearning4j，matconvnet 等。如何选择最适合你的开源框架是一个问题。一个合格的深度学习算法工程师怎么着得熟悉其中的 3 个以上吧。下面是各大开源框架的一个总览。
在这里我们还有一些框架没有放上来，是因为它们已经升级为大家更喜欢或者使用起来更加简单的版本，比如从 torch->pytorch，从 theano 到 lasagne。另外这些框架都支持 CUDA ，因此编程语言这里也没有写上 cuda 。
在选择开源框架时，要考虑很多原因，比如开源生态的完善性，比如自己项目的需求，比如自己熟悉的语言。当然，现在已经有很多开源框架之间进行互转的开源工具如 MMDNN 等，也降低了大家迁移框架的学习成本。
除此之外还有 tiny-dnn，ConvNetJS，MarVin，Neon 等等小众，以及 CoreML 等移动端框架，就不再一一介绍。总的来说对于选择什么样的框架，有三可以给出一些建议。
- 不管怎么说，tensorflow/pytorch 你都必须会，是目前开发者最喜欢，开源项目最丰富的框架。
- 如果你要进行移动端算法的开发，那么 Caffe 是不能不会的。
- 如果你非常熟悉 Matlab，matconvnet 你不应该错过。
- 如果你追求高效轻量，那么 darknet 和 mxnet 你不能不熟悉。
- 如果你很懒，想写最少的代码完成任务，那么用 keras 吧。
- 如果你是 java 程序员，那么掌握 deeplearning4j 没错的。
其他的框架，也自有它的特点，大家可以自己多去用用。
如何学习开源框架
要掌握好一个开源框架，通常需要做到以下几点：
- 熟练掌握不同任务数据的准备和使用。
- 熟练掌握模型的定义。
- 熟练掌握训练过程和结果的可视化。
- 熟练掌握训练方法和测试方法。
一个框架，官方都会开放有若干的案例，最常见的案例就是以 MNISI 数据接口+预训练模型的形式，供大家快速获得结果，但是这明显还不够，学习不应该停留在跑通官方的 demo 上，而是要解决实际的问题。我们要学会从自定义数据读取接口，自定义网络的搭建，模型的训练，模型的可视化，模型的测试与部署等全方位进行掌握。这是一个二分类任务，给大家准备了500 张微笑表情的图片、500 张无表情的图片，放置在 git 工程的data 目录下，图片预览如下，已经全部缩放到 60*60 的大小：
这是无表情的图片：
这是微笑表情的图片:
因此，我们的目标就是利用这 500 张图片完成好这个图像分类任务。
在下面的所有框架的学习过程中，我们都要完成下面这个流程，只有这样，才能叫做真正的完成了一个训练任务。
另外，所有的框架都使用同样的一个模型，这是一个 3 层卷积 +2 层全连接的网络，由卷积+BN 层+激活层组成，有的使用带步长的卷积，有的使用池化，差别不大。
- 输入图像，48*48*3 的 RGB 彩色图。
- 第一层卷积，通道数 12，卷积核 3*3。
- 第二层卷积，通道数 24，卷积核 3*3。
- 第三层卷积，通道数 48，卷积核 3*3。
- 第一层全连接，通道数 128。
- 第二层全连接，通道数 2，即类别数。
这是最简单的一种网络结构，优化的时候根据不同的框架，采用了略有不同的方案。因为此处的目标不是为了比较各个框架的性能，所以没有刻意保持完全一致。
开源框架
下面我们开始对各个框架进行简述。
1. Caffe
概述：Caffe 是伯克利的贾扬清主导开发，以 C++/CUDA 代码为主，最早的深度学习框架之一，比TensorFlow、Mxnet、Pytorch 等都更早，需要进行编译安装。支持命令行、Python 和 Matlab 接口，单机多卡、多机多卡等都可以很方便的使用。目前 master 分支已经停止更新，intel 分支等还在维护，caffe 框架已经非常稳定。
caffe 的使用通常是下面的流程：
以上的流程相互之间是解耦合的，所以 caffe 的使用非常优雅简单。
caffe 有很明显的优点和缺点。
优点：
- 以 C++/CUDA/python 代码为主，速度快，性能高。
- 工厂设计模式，代码结构清晰，可读性和拓展性强。
- 支持命令行、Python 和 Matlab 接口，使用方便。
- CPU 和 GPU 之间切换方便，多 GPU 训练方便。
- 工具丰富，社区活跃。
缺点:
- 源代码修改门槛较高，需要实现前向反向传播，以及 CUDA 代码。
- 不支持自动求导。
- 不支持模型级并行，只支持数据级并行
- 不适合于非图像任务。
2. Tensorflow
概述：TensorFlow 是 Google brain 推出的开源机器学习库，可用作各类深度学习相关的任务。TensorFlow = Tensor + Flow，Tensor 就是张量，代表 N 维数组，这与 Caffe 中的 blob 是类似的；Flow 即流，代表基于数据流图的计算。
特点：TensorFlow 最大的特点是计算图，即先定义好图，然后进行运算，所以所有的 TensorFlow 代码，都包含两部分：
- 创建计算图，表示计算的数据流。它做了什么呢？实际上就是定义好了一些操作，你可以将它看做是Caffe 中的 prototxt 的定义过程。
- 运行会话，执行图中的运算，可以看作是 Caffe 中的训练过程。只是 TensorFlow 的会话比 Caffe 灵活很多，由于是 Python 接口，取中间结果分析，Debug 等方便很多。
3 . Pytorch
概述：一句话总结 Pytorch = Python + Torch。Torch 是纽约大学的一个机器学习开源框架，几年前在学术界非常流行，包括 Lecun 等大佬都在使用。但是由于使用的是一种绝大部分人绝对没有听过的 Lua 语言，导致很多人都被吓退。后来随着 Python 的生态越来越完善，Facebook 人工智能研究院推出了 Pytorch 并开源。Pytorch 不是简单的封装 Torch 并提供Python 接口，而是对 Tensor 以上的所有代码进行了重构，同 TensorFlow 一样，增加了自动求导。
后来 Caffe2 全部并入 Pytorch，如今已经成为了非常流行的框架。很多最新的研究如风格化、GAN 等大多数采用 Pytorch 源码。
特点:
- 动态图计算。TensorFlow 从静态图发展到了动态图机制 Eager Execution ，pytorch 则一开始就是动态图机制。动态图机制的好处就是随时随地修改，随处 debug ，没有类似编译的过程。
- 简单。相比 TensorFlow1.0 中 Tensor、Variable、Session 等概念充斥，数据读取接口频繁更新，tf.nn、tf.layers、tf.contrib 各自重复，Pytorch 则是从 Tensor 到 Variable 再到 nn.Module ，最新的Pytorch 已经将 Tensor 和 Variable 合并，这分别就是从数据张量到网络的抽象层次的递进。有人调侃TensorFlow 的设计是 “make it complicated” ，那么 Pytorch 的设计就是 “keep it simple”。
4 . Mxnet
概述: Mxnet 是由李沐等人领导开发的非常灵活，扩展性很强的框架，被 Amazon 定为官方框架。
特点: Mxnet 同时拥有命令式编程和符号式编程的特点。在命令式编程上 MXNet 提供张量运算，进行模型的迭代训练和更新中的控制逻辑；在声明式编程中 MXNet 支持符号表达式，用来描述神经网络，并利用系统提供的自动求导来训练模型。Mxnet 性能非常高，推荐资源不够的同学使用。
5. Keras
概述: Keras 是一个对小白用户非常友好而简单的深度学习框架，严格来说并不是一个开源框架，而是一个高度模块化的神经网络库。
Keras 在高层可以调用 TensorFlow，CNTK，Theano ，还有更多的库也在被陆续支持中。 Keras 的特点是能够快速实现模型的搭建，是高效地进行科学研究的关键。
特点:
- 高度模块化，搭建网络非常简洁。
- API 很简单，具有统一的风格。
- 容易扩展，只需使用 python 添加新类和函数。
6. Paddlepaddle
概述: 正所谓 Google 有 Tensorflow，Facebook 有 Pytorch，Amazon 有 Mxnet，作为国内机器学习的先驱，百度也有 PaddlePaddle，其中 Paddle 即 Parallel Distributed Deep Learning (并行分布式深度学习)。
特点: paddlepaddle 的性能也很不错，整体使用起来与 tensorflow 非常类似，拥有中文帮助文档，在百度内部也被用于推荐等任务。另外，配套了一个可视化框架 visualdl，与 tensorboard 也有异曲同工之妙。国产框架不多，大家多支持啊！
7. CNTK
概述: CNTK 是微软开源的深度学习工具包，它通过有向图将神经网络描述为一系列计算步骤。在有向图中，叶节点表示输入值或网络参数，而其他节点表示其输入上的矩阵运算。
CNTK 允许用户非常轻松地实现和组合流行的模型，包括前馈 DNN，卷积网络（CNN）和循环网络（RNN / LSTM）。与目前大部分框架一样，实现了自动求导，利用随机梯度下降方法进行优化。
特点:
- CNTK 性能较高，按照其官方的说法，比其他的开源框架性能都更高。
- 适合做语音，CNTK 本就是微软语音团队开源的，自然是更合适做语音任务，使用 RNN 等模型，以及在时空尺度分别进行卷积非常容易。
8. Matconvnet
概述: 不同于各类深度学习框架广泛使用的语言 Python，MatConvnet 是用 matlab 作为接口语言的开源深度学习库，底层语言是 cuda。
特点: 因为是在 matlab 下面，所以 debug 的过程非常的方便，而且本身就有很多的研究者一直都使用 matlab 语言，所以其实该语言的群体非常大。
9. Deeplearning4j
概述: 不同于深度学习广泛应用的语言 Python，DL4J 是为 java 和 jvm 编写的开源深度学习库，支持各种深度学习模型。
特点: DL4J 最重要的特点是支持分布式，可以在 Spark 和 Hadoop 上运行，支持分布式 CPU 和 GPU 运行。DL4J 是为商业环境，而非研究所设计的，因此更加贴近某些生产环境。
10 . Chainer
概述: chainer 也是一个基于 python 的深度学习框架，能够轻松直观地编写复杂的神经网络架构，在日本企业中应用广泛。
特点: chainer 采用 “Define-by-Run” 方案，即通过实际的前向计算动态定义网络。更确切地说，chainer 存储计算历史而不是编程逻辑，pytorch 的动态图机制思想主要就来源于 chaine
11 . Lasagne/Theano
概述: Lasagen 其实就是封装了 theano，后者是一个很老牌的框架，在 2008 年的时候就由 Yoshua Bengio 领导的蒙特利尔 LISA 组开源了。
特点: theano 的使用成本高，需要从底层开始写代码构建模型，Lasagen 对其进行了封装，使得 theano 使用起来更简单。
12 . Darknet
概述: Darknet 本身是 Joseph Redmon 为了 Yolo 系列开发的框架。
Joseph Redmon 提出了 Yolo v1，Yolo v2，Yolo v3。
特点: Darknet 几乎没有依赖库，是从 C 和 CUDA 开始撰写的深度学习开源框架，支持 CPU 和 GPU。Darknet跟 caffe 颇有几分相似之处，却更加轻量级，非常值得学习使用。