自动机器学习 (AutoML) 工业落地

机器学习方法已被用于各种现实世界的应用,从社交网络、在线图像/视频分享平台、电子商务到教育、医疗等。然而,机器学习方法的几个组成部分,包括:数据表示,超参数和模型架构,可以在很大程度上影响它们在实践中的性能。此外,数据规模和模型大小的爆炸式增长,使得机器学习开发人员对这些组件进行优化的时间越来越长。为了解决这些挑战,自动化机器学习 (AutoML) 的目标是自动化应用机器学习方法的过程,以解决现实世界的应用任务,减少调整机器学习方法的时间,同时保持良好的性能。

在 2021 年 KDD 大会上, 阿里团队介绍了 AutoML 的主要研究主题,包括:超参数优化,神经结构搜索和元学习。同时,[……]

继续阅读

AutoML 新书发布,告别调参?

近期,由 Frank Hutter, Lars Kotthoff, Joaquin Vanschoren 撰写的《AutoML:方法,系统,挑战》『AUTOML: METHODS, SYSTEMS, CHALLENGES (NEW BOOK)』,221页的草稿版本已经放出,详细讲解了所有 AutoML 系统背后的基础知识,以及对当前 AutoML 系统进行了深入描述,Auto-WEKA、Hyperopt-Sklearn、Auto-sklearn 等,最后介绍了 AutoML 的挑战。作者当前正在完成这本新书的编辑工作,它将由 NIPS 2018 出版发行。

如果你用过机器学习算法,那一定[……]

继续阅读

深度学习新王者:AutoML

TowardDataScienc 最近发布文章 《Everything you need to know about AutoML and Neural Architecture Search 》,将 AutoML 和神经架构搜索(NAS),定义为深度学习领域的新一代王者。

神经架构搜索(NAS)

在开发神经网络的过程中,架构工程事关重大,架构先天不足,再怎么训练也难以得到优秀的结果。当然,提到架构,很多人会想到迁移学习:譬如:把 ImageNet 上训练的 ResNet 拿来,换个数据集再训练,并根据训练结果更新权重,便完成了。这种方法的确也可行,但是要想得到最好的效果,还是根据实际情况[……]

继续阅读

开源自动化机器学习框架,轻松搞定机器学习

自动化机器学习 (AutoML) 可以帮助机器学习管道中的某些关键组件实现自动化。其中机器学习管道包括数据理解、数据工程、特征工程、模型训练、超参数调整、模型监控等。

在这篇文章中,分享 8 个开源的 autoML 框架:

  • Auto-Sklearn
  • TPOT
  • Auto-ViML
  • H2O AutoML
  • Auto-Keras
  • MLBox
  • Hyperopt Sklearn
  • AutoGluon

1、Auto-Sklearn

Auto-sklearn 是基于 scikit-learn 软件包构建的开源 AutoML 库。它为给定的数据集找[……]

继续阅读

2020 年人工智能开源生态圈

深度学习为核心的新一代人工智能技术发展到今天,已逐步形成一个庞大的生态结构,覆盖了:经典机器学习深度学习强化学习自然语言处理语音识别计算机视觉、分布式训练、自动建模、IDEs 系统、平台、评分推理系统等完整的细分领域 —— 正确合理的选择与开发内容相匹配的工具,常常会使科学研究工作事半功倍,同时,选择正确高效的工具也是技术应用类专业建设的重要环节。

跨象乘云™ 持续致力为高等院校打造深度学习与新一代人工智能科研教学一体化实验平台,在进一步将深度学习系统与容器化基础设施架构紧密集成的同时,对新一代人工智能开源生态系统提供全方位的支撑,加速高校科研效率及科研成果落地。详细项目列表[……]

继续阅读

2019 年机器学习/ 深度学习热门论文(含代码)

1. 《Contrastive Representation Distillation》

本文在模型蒸馏领域中利用了一系列对比目标来捕获相关性和高阶输出依存关系。在本文中对它们进行了修改,以将知识从一个神经网络提取到另一个。

本文考虑了三个蒸馏阶段:

  • 模型压缩
  • 将知识从一种方式(例如:RGB)转移到另一种方式(例如:深度)
  • 将一组网络精简为一个网络

对比学习的主要思想是学习在某个度量空间中对于正例对的表示尽可能接近,同时对于负例对的表示尽可能远。

GitHub地址项目 GitHub 地址

2. 《Network Pruning via Transformab[……]

继续阅读

神经架构搜索研究指南 -4

  1. 系列文章:《神经架构搜索研究指南 -1
  2. 系列文章:《神经架构搜索研究指南 -2
  3. 系列文章:《神经架构搜索研究指南 -3

7. Auto-Keras:高效的神经结构搜索系统

2018:Auto-Keras: An Efficient Neural Architecture Search System

本文提出了一个框架,使用贝叶斯优化引导网络形变,以提升 NAS 的效率。基于他们的方法,作者构建了一个名为 Auto-Keras 的开源 AutoML 系统。

该方法中,网络的主要组成模块,是在贝叶斯优化算法的指导下,通过神经结构的形变来寻找搜索空间[……]

继续阅读

Gartner:2019年人工智能成熟度曲线的超前趋势

Gartner 的这种成熟度周期凸显出人工智能正以多种不同的方式影响企业

根据 Gartner 对 2019 年的 CIO 议程调查,2018 年至 2019 年间,部署人工智能 (AI) 的组织从 4% 增长到了14%。与几年前相比,人工智能正在以多种不同的方式影响组织,当时没有其他方法可以替代使用机器学习 (ML) 构建自己的解决方案。AutoML 和智能应用拥有较明显的发展势头,其他方法也同样值得关注——即人工智能平台即服务(AIPaaS)或人工智能云服务。受亚马逊 Alexa、谷歌 Assistant 等公司在全球范围内取得成功的推动,对话人工智能仍是企业规划日程中的首要内容。与[……]

继续阅读

自动化机器学习平台

深度学习模型在很多任务上都取得了不错的效果,但参数调整,对于深度模型来说是一项非常苦难的事情,众多的超参数和网络结构参数会产生爆炸性的组合,常规的随机搜索与网格搜索效率非常低,因此最近几年神经网络的架构搜索和超参数优化成为一个研究热点。

在业内,Google 最先推出了神经网络架构搜索服务:Google 的 AutoML 是机器学习工具中新的『云计算』服务软件集。基于 Google 最先进的图像识别研究——神经网络自动架构搜索(Neural Architecture Search,NAS)。NAS 是一种在给定特定数据集中的算法,用于搜索在该数据集上完成特定任务的最优神经网络。AutoM[……]

继续阅读

Google发布端到端AI平台

Google 端到端 AI 平台是一个为开发人员和数据科学家提供的端到端的服务,可用于模型的构建、测试和部署。AI 平台上汇集了谷歌云上现有和今天新推的工具,开发者可以构建完整的数据 pipeline 来提取、标记数据,并且用现存的分类、物体识别和实体提取模型、AutoML 工具或云机器学习(Cloud Machine Learning )引擎来训练和部署自定义模型。在这个 AI 平台上,训练和部署一站式配齐,能帮助开发者能在每个开发阶段安全转移模型,并且操作方便,点击一下就可以部署了。[……]

继续阅读