《TensorFlow 2.0 框架》课程

TensorFlow 是由 Google 开发并开源发布的一种流行的机器学习框架及用于数据流编程的框架库。《TensorFlow 深度学习框架 (KXCY-AI-LAB-TF)》课程,通过深度学习交互平台、动画演示教育资源,以及交互式编程实验环境,让学生充分理解如何利用 TensorFlow 构建神经网络模型,神经网络网络构造、内核、池化 (Pooling) 和多级分类等核心概念,线性回归、损失函数和梯度下降等关键技术,用于卷积神经网络 (CNN) 的基本模板,以及可调整的不同参数。并且理解如何利用使用迁移学习(Transfer Learning)充分利用现有网络,即在现有网络之上建立新网络。[……]

继续阅读

《多框架人工智能开发》课程

当前,深度学习与新一代人工智能框架已进入百花齐放的时期,自 PyTorch 推出以来,其热度持续上升,一度有赶超 TensorFlow 的趋势。PyTorch 能在短时间内被众多研究人员和工程师接受并推崇是因为有着诸多优点,如采用 Python 语言、动态图机制、网络构建灵活以及拥有强大的社群等。因此,走上学习 PyTorch 的道路已刻不容缓。另一方面,MXNet 以其超强的分布式支持,明显的内存、显存优化为人所称道。同样的模型,MXNet 往往占用更小的内存和显存,并且在分布式环境下,MXNet 展现出了明显优于其他框架的扩展性能。2016 年 11 月,MXNet 被 AWS 正式选择为[……]

继续阅读

《机器学习实用指南》第二版发布

Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》(《机器学习实用指南》),这本书最大的特色从理论上讲就是言简意赅,全书基本上没有太多复杂的数学公式推导。这一点正是国内很多高校教材所欠缺的。这本超赞的机器学习实用指南终于正式出版了第二版:《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems 2nd Edit[……]

继续阅读

深度学习知识卡片:深度学习基本概念

此前,跨象乘云™ 发布《Python 知识卡片完整中文版》,覆盖:Bokeh,Jupyter Notebook,Keras,Matplotlib 绘图,Numpy 基础,Pandas 基础,Pandas 进阶,Python 基础,Scikit-Learn,SciPy,Seaborn,Spark RDD 基础,Spark SQL 基础,导入数据等核心技术领域。覆盖了 Python 在数据科学与大数据专业建设课程体系中的绝大部分领域,作为教育资源对学生学习 Python 数据分析,数据处理,科学运算,数据可视化,机器学习等具有极大的参考复习意义。

本期,跨象乘云™ 将继续连载《深度学习知识卡[……]

继续阅读

Python 知识卡片完整中文版

此前,跨象乘云™ 发布了一系列 Python 数据科学核心库的多份知识卡片,包括 ——

此前的知识卡片主要是英文原版,再次跨象乘云™ 发布《Python 知识卡片完整中文版》,覆盖:Bokeh,Jupyter Notebook,Keras,M[……]

继续阅读

2019 年机器学习/ 深度学习热门论文(含代码)

1. 《Contrastive Representation Distillation》

本文在模型蒸馏领域中利用了一系列对比目标来捕获相关性和高阶输出依存关系。在本文中对它们进行了修改,以将知识从一个神经网络提取到另一个。

本文考虑了三个蒸馏阶段:

  • 模型压缩
  • 将知识从一种方式(例如:RGB)转移到另一种方式(例如:深度)
  • 将一组网络精简为一个网络

对比学习的主要思想是学习在某个度量空间中对于正例对的表示尽可能接近,同时对于负例对的表示尽可能远。

GitHub地址项目 GitHub 地址

2. 《Network Pruning via Transformab[……]

继续阅读

TensorFlow 2.0 实现高水准的自然语言处理

Hugging Face 是一家专注于 NLP 的创业公司,拥有大型开源社区,在 Transformer 库方面表现尤为出色,包括 Bing、Apple 和 Monzo 在内的千余家企业均在使用该公司的库。Transformer 是基于 Python 的库,对外提供诸多热门转换器架构(例如 BERT、RoBERTa、GPT-2 或 DistilBERT)的 API。使用该API 可获得文本分类、信息提取、问题回答与文本生成等多种 NLP 任务的最高水准(SOTA)结果。我们已用多套权重对上述架构进行预训练。仅需安装 PIP 软件包管理工具,即可开始使用 Transformer。此库在 PyTo[……]

继续阅读

神经架构搜索研究指南 -4

  1. 系列文章:《神经架构搜索研究指南 -1
  2. 系列文章:《神经架构搜索研究指南 -2
  3. 系列文章:《神经架构搜索研究指南 -3

7. Auto-Keras:高效的神经结构搜索系统

2018:Auto-Keras: An Efficient Neural Architecture Search System

本文提出了一个框架,使用贝叶斯优化引导网络形变,以提升 NAS 的效率。基于他们的方法,作者构建了一个名为 Auto-Keras 的开源 AutoML 系统。

该方法中,网络的主要组成模块,是在贝叶斯优化算法的指导下,通过神经结构的形变来寻找搜索空间[……]

继续阅读

神经架构搜索研究指南 -1

从训练到用不同的参数做实验,设计神经网络的过程是劳力密集型的,非常具有挑战性,而且常常很麻烦。但是想象一下,如果能够将这个过程实现自动化呢?将这种想象转变为现实,就是本指南的核心内容。

我们将探索一系列的研究论文,这些论文试图解决具有挑战性的自动化神经网络设计任务。在本指南中,我们假设读者尝试过使用 KerasTensorFlow 等框架从头开始设计神经网络。

1. 基于强化学习的神经结构搜索

2016:Neural Architecture Search with Reinforcement Learning

本文利用递归神经网络 (RNN) 生成神经网络的模型描述[……]

继续阅读

TensorFlow 2.0 正式版发布

此前,Google 在 TensorFlow 开发者大会 (TensorFlow Dev Summit) 上发布了 TensorFlow 2.0 的 Alpha 版本。经过近 7 个月的努力,今天,TensorFlow 2.0 正式版现已推出!TensorFlow 2.0 由社区推动,社区的声音让 Google 了解到开发者需求的是一个灵活、强大且易于使用的平台,并且支持部署 TensorFlow 2.0 到任何平台上。TensorFlow 2.0 为开发者、企业与研究人员提供了一个全面的生态系统,以推动最先进的机器学习研究与构建大规模的机器学习应用。—— 同时,跨象乘云™ 也提供了 Tens[……]

继续阅读