AutoML 新书发布,告别调参?

近期,由 Frank Hutter, Lars Kotthoff, Joaquin Vanschoren 撰写的《AutoML:方法,系统,挑战》『AUTOML: METHODS, SYSTEMS, CHALLENGES (NEW BOOK)』,221页的草稿版本已经放出,详细讲解了所有 AutoML 系统背后的基础知识,以及对当前 AutoML 系统进行了深入描述,Auto-WEKA、Hyperopt-Sklearn、Auto-sklearn 等,最后介绍了 AutoML 的挑战。作者当前正在完成这本新书的编辑工作,它将由 NIPS 2018 出版发行。

如果你用过机器学习算法,那一定[……]

继续阅读

深度学习新王者:AutoML

TowardDataScienc 最近发布文章 《Everything you need to know about AutoML and Neural Architecture Search 》,将 AutoML 和神经架构搜索(NAS),定义为深度学习领域的新一代王者。

神经架构搜索(NAS)

在开发神经网络的过程中,架构工程事关重大,架构先天不足,再怎么训练也难以得到优秀的结果。当然,提到架构,很多人会想到迁移学习:譬如:把 ImageNet 上训练的 ResNet 拿来,换个数据集再训练,并根据训练结果更新权重,便完成了。这种方法的确也可行,但是要想得到最好的效果,还是根据实际情况[……]

继续阅读

2020 年人工智能开源生态圈

深度学习为核心的新一代人工智能技术发展到今天,已逐步形成一个庞大的生态结构,覆盖了:经典机器学习深度学习强化学习自然语言处理语音识别计算机视觉、分布式训练、自动建模、IDEs 系统、平台、评分推理系统等完整的细分领域 —— 正确合理的选择与开发内容相匹配的工具,常常会使科学研究工作事半功倍,同时,选择正确高效的工具也是技术应用类专业建设的重要环节。

跨象乘云™ 持续致力为高等院校打造深度学习与新一代人工智能科研教学一体化实验平台,在进一步将深度学习系统与容器化基础设施架构紧密集成的同时,对新一代人工智能开源生态系统提供全方位的支撑,加速高校科研效率及科研成果落地。详细项目列表[……]

继续阅读

2019 年机器学习/ 深度学习热门论文(含代码)

1. 《Contrastive Representation Distillation》

本文在模型蒸馏领域中利用了一系列对比目标来捕获相关性和高阶输出依存关系。在本文中对它们进行了修改,以将知识从一个神经网络提取到另一个。

本文考虑了三个蒸馏阶段:

  • 模型压缩
  • 将知识从一种方式(例如:RGB)转移到另一种方式(例如:深度)
  • 将一组网络精简为一个网络

对比学习的主要思想是学习在某个度量空间中对于正例对的表示尽可能接近,同时对于负例对的表示尽可能远。

GitHub地址项目 GitHub 地址

2. 《Network Pruning via Transformab[……]

继续阅读

神经架构搜索研究指南 -4

  1. 系列文章:《神经架构搜索研究指南 -1
  2. 系列文章:《神经架构搜索研究指南 -2
  3. 系列文章:《神经架构搜索研究指南 -3

7. Auto-Keras:高效的神经结构搜索系统

2018:Auto-Keras: An Efficient Neural Architecture Search System

本文提出了一个框架,使用贝叶斯优化引导网络形变,以提升 NAS 的效率。基于他们的方法,作者构建了一个名为 Auto-Keras 的开源 AutoML 系统。

该方法中,网络的主要组成模块,是在贝叶斯优化算法的指导下,通过神经结构的形变来寻找搜索空间[……]

继续阅读

Gartner:2019年人工智能成熟度曲线的超前趋势

Gartner 的这种成熟度周期凸显出人工智能正以多种不同的方式影响企业

根据 Gartner 对 2019 年的 CIO 议程调查,2018 年至 2019 年间,部署人工智能 (AI) 的组织从 4% 增长到了14%。与几年前相比,人工智能正在以多种不同的方式影响组织,当时没有其他方法可以替代使用机器学习 (ML) 构建自己的解决方案。AutoML 和智能应用拥有较明显的发展势头,其他方法也同样值得关注——即人工智能平台即服务(AIPaaS)或人工智能云服务。受亚马逊 Alexa、谷歌 Assistant 等公司在全球范围内取得成功的推动,对话人工智能仍是企业规划日程中的首要内容。与[……]

继续阅读

自动化机器学习平台

深度学习模型在很多任务上都取得了不错的效果,但参数调整,对于深度模型来说是一项非常苦难的事情,众多的超参数和网络结构参数会产生爆炸性的组合,常规的随机搜索与网格搜索效率非常低,因此最近几年神经网络的架构搜索和超参数优化成为一个研究热点。

在业内,Google 最先推出了神经网络架构搜索服务:Google 的 AutoML 是机器学习工具中新的『云计算』服务软件集。基于 Google 最先进的图像识别研究——神经网络自动架构搜索(Neural Architecture Search,NAS)。NAS 是一种在给定特定数据集中的算法,用于搜索在该数据集上完成特定任务的最优神经网络。AutoM[……]

继续阅读

Google发布端到端AI平台

Google 端到端 AI 平台是一个为开发人员和数据科学家提供的端到端的服务,可用于模型的构建、测试和部署。AI 平台上汇集了谷歌云上现有和今天新推的工具,开发者可以构建完整的数据 pipeline 来提取、标记数据,并且用现存的分类、物体识别和实体提取模型、AutoML 工具或云机器学习(Cloud Machine Learning )引擎来训练和部署自定义模型。在这个 AI 平台上,训练和部署一站式配齐,能帮助开发者能在每个开发阶段安全转移模型,并且操作方便,点击一下就可以部署了。[……]

继续阅读

MIT 全面解读 2019 深度学习最前沿课程

MIT 正在进行中的深度学习课程就全面描绘了当下的状态。最近一节课,Lex Fridman 老师展现了深度学习各方向的最领先状态,也回顾了过去两年间通往前沿的一步步进展。涉及自然语言处理、深度强化学习、训练和推断的加速等等。

这节课涉及的重大进展,共 12 个方面,分别是:

  • BERT 和自然语言处理(NLP
  • 特斯拉 Autopilot 二代(以上)硬件:规模化神经网络
  • AdaNet:可集成学习的 AutoML
  • AutoAugment:用强化学习做数据增强
  • 用合成数据训练深度神经网络
  • 用 Polygon-RNN++ 做图像分割自动标注
  • DAW[……]

    继续阅读

神经网络架构搜索(NAS)综述

深度学习模型在很多任务上都取得了不错的效果,但调参对于深度模型来说是一项非常苦难的事情,众多的超参数和网络结构参数会产生爆炸性的组合,常规的 random search 和 grid search 效率非常低,因此最近几年神经网络的架构搜索和超参数优化成为一个研究热点。

机器之心的译文,从网络架构搜索的三个方面进行了分类综述,包括:

  • 搜索空间
  • 搜索策略
  • 评价预估

问题定义

网络架构和超参数优化的问题,有以下的特点:

  1. 评价函数未知,是一个黑箱优化问题,因为评价往往是在 unseed dataset 上进行评价;
  2. 非线性;
  3. 非凸;
  4. 混[……]

    继续阅读