神经网络「黑盒子」的正确打开方式!

现代神经网络经常被吐槽为「黑盒子」。尽管它们在各类问题上都取得了成功,但我们仍无法直观地理解它们是如何在内部做出决策的。随着人工智能系统被应用到更多重要的场景中,更好地了解其内部决策过程将有助于研究者能够及时发现其中的缺陷和错误。对此,谷歌 AI 研究院与 OpenAI 一起合作提出了能够弄清这个「黑盒子」里面到底有什么的新方法——激活图集。谷歌在博客上发布文章介绍了这一意义重大的成果 ——

神经网络已成为图像相关计算任务中的实际标准,目前已被部署在多种场景中:从自动标记图像库中的照片到自动驾驶系统,我们都能看到神经网络的身影。鉴于机器学习系统的在执行方面的准确性比不使用机器学习、直接由[……]

继续阅读

可解释人工智能分析平台

在神经网络中,数据从一层传递到另一层,每一步都经历一些简单的转变。在输入层,和输出层之间还隐藏着若干层,以及众多节点组和连接。其中往往找不出可被人类解读的规律,与输入或输出也没有明显的联系。所谓的『深度』网络,便是隐藏层的数量较多的神经网络。

机器学习的特征,便是从特定类型的数据中寻找规律。在大数据,算法模型,计算力三驾马车的推动下,以深度学习为核心的新一代人工智能,从语音识别到语言翻译,从下围棋的机器人到自动驾驶汽车,各行各业都在该技术的驱动下出现了新的突破。然而,在现代机器学习算法中,可解释性与精确度却难以两全其美。深度学习精确度最高,同时可解释性最低。—— 我们虽然知道神经[……]

继续阅读

算法模型科研加速库

深度学习(DL)在很多技术领域中都已获得广泛应用,包括机器翻译、语音识别、语法分析、图像信息描述和物体识别等。然而,大部分当前科研领域的深度学习系统大多为特定的任务进行了专门的设置,只适用于特定的问题和架构;对于一份新的数据,每个科研项目从一开始便需要大量的人力资源,进行特征工程,并耗费了大量的GPU硬件资源和时间,才最终获得一个表现优良的深度学习模型。

深度学习最佳算法模型科研加速库软件(简称:KXCY-AI-D2T),构建于 TensorFlow 框架之上,定义了深度学习系统所需的各个组件:数据集、模型架构、优化器、学习速率衰减方案、超参数等等。所有这些组件之间的标准对接形式,并且集[……]

继续阅读

计算机视觉各研究方向汇总

所谓计算机视觉,即 compute vision ,就是通过用计算机来模拟人的视觉工作原理,来获取和完成一系列图像信息处理的机器。计算机视觉属于机器学习在视觉领域的应用,是一个多学科交叉的研究领域,涉及数学,物理,生物,计算机工程等多个学科,由此也可以想象到计算机视觉的研究范围非常广,也是图像,语音,自然语言处理领域中从业人数最多的。

1. 图像分类

1.1 基本概念

图像分类是计算机视觉中最基础的一个任务,也是几乎所有的基准模型进行比较的任务,从最开始比较简单的 10 分类的灰度图像手写数字识别 mnist ,到后来更大一点的 10 分类的 cifar10 和 100 分类的cifar[……]

继续阅读

深度学习最常见的 26 个模型 – 含实现代码

本文首先从 4 个方面(张量、生成模型、序列学习、深度强化学习)追踪深度学习几十年的发展史,然后再介绍主流的 26 个深度学习模型。

1. 深度学习发展史

主要按最早研究出现的时间,从 4 个方面来追踪深度学习的发展史。

1.1 张量

  • 1958 年 Frank 提出感知机,但后来被一些学者发现因算力的不足,制约了较大神经网络的计算,导致很长时间发展缓慢。
  • Fukushima 在 1979 年左右提出 Neocognitron,感觉这是卷积和池化的雏形。
  • Hinton 在 1986 年提出反向传播的思想和多层感知机(BPNN/MLP),有非常大的意义,对未来几十年(可[……]

    继续阅读

旷视发布最大物体检测数据集

在 4 月 16 日的智源学者计划启动暨联合实验室发布会上,旷视科技发布了通用物体检测数据集Objects365,包含 63 万张图像,远超 ImageNet、COCO 等数据集。另外,还开办了针对此数据集的 CVPR Workshop 竞赛。数据集包括人、衣物、居室、浴室、厨房、办公、电器、交通、食物、水果、蔬菜、动物、运动、乐器 14 个大类,每一类都有数十个小类。[……]

继续阅读

深度学习新王者:AutoML

TowardDataScienc 最近发布文章 《Everything you need to know about AutoML and Neural Architecture Search 》,将 AutoML 和神经架构搜索(NAS),定义为深度学习领域的新一代王者。

神经架构搜索(NAS)

在开发神经网络的过程中,架构工程事关重大,架构先天不足,再怎么训练也难以得到优秀的结果。当然,提到架构,很多人会想到迁移学习:譬如:把 ImageNet 上训练的 ResNet 拿来,换个数据集再训练,并根据训练结果更新权重,便完成了。这种方法的确也可行,但是要想得到最好的效果,还是根据实际情况[……]

继续阅读

深度学习经典网络架构与数据集

卷积神经网络在视觉识别任务上的表现令人称奇。好的 CNN 网络是带有上百万参数和许多隐含层的『庞然怪物』。事实上,一个不好的经验规则是:网络越深,效果越好。AlexNet,VGG,Inception(GoogleNet)和 ResNet 是最近一些流行的 CNN 网络。

AlexNet

AlexNet 是一个较早应用在 ImageNet 上的深度网络,其准确度相比传统方法有一个很大的提升。它首先是5个卷积层,然后紧跟着是 3 个全连接层,如下图所示:

VGG16

VGG16 是牛津大学 VGG 组提出的。VGG16 相比 AlexNet 的一个改进是采用连续的几个 3×3[……]

继续阅读

机器学习库选型

选择一个机器学习(ML)库来解决预测问题,是个说起来容易做起来难的事情 —— 可选择性太多了。每一个库对于它擅长的特定问题都有着良好的特性与优势。 即使对于在机器学习和数据科学领域具有相当经验的人来说,逐个检查所有不同的方案也是一种煎熬。Mayukh Bhaowal —— Salesforce Einstein 的产品管理总监,负责自动化机器学习;向我们分享了关于机器学习库的最重要的五个特征,科研工作者可以在决定使用哪个库时进行参考。

1.编程模式

大多数机器学习库,在高级设计模式中分为两个模式:符号式(Symbolic)和命令式(Imperative)。

深度学习模型教育工具:Darkon

深度学习模型往往难以理解,通常被称为:黑箱;同时,由于模型运算过程复杂,往往很难通过精确的参数调整优化模型。Darkon 正是为了提升用户对深度学习模型理解能力的一个开源工具包。用于教学场景,它还可以更好地帮助学生理解深度学习模型,进而调试故障,解释决策流程,优化模型策略 …… 适用于所有 Tensorflow 模型。目前,Darkon 官方发布了基于影响值与Gradcam 的演示案例,未来将有更多的演示案例被发布到项目当中:

基于 Cifar-10 数据集的 ResNet 影响值案例: