神经网络架构搜索(NAS)综述

深度学习模型在很多任务上都取得了不错的效果,但调参对于深度模型来说是一项非常苦难的事情,众多的超参数和网络结构参数会产生爆炸性的组合,常规的 random search 和 grid search 效率非常低,因此最近几年神经网络的架构搜索和超参数优化成为一个研究热点。

机器之心的译文,从网络架构搜索的三个方面进行了分类综述,包括:

  • 搜索空间
  • 搜索策略
  • 评价预估

问题定义

网络架构和超参数优化的问题,有以下的特点:

  1. 评价函数未知,是一个黑箱优化问题,因为评价往往是在 unseed dataset 上进行评价;
  2. 非线性;
  3. 非凸;
  4. 混[……]

    继续阅读

Google 发布『多巴胺』开源强化学习框架

强化学习是一种非常重要 AI 技术,它能使用奖励(或惩罚)来驱动智能体(Agents)朝着特定目标前进,比如它训练的 AI 系统 AlphaGo 击败了顶尖围棋选手,它也是 DeepMind 的深度 Q 网络(DQN)的核心部分,它可以在多个 Workers 之间分步学习,例如,在 Atari 2600 游戏中实现『超人』性能。麻烦的是,强化学习框架需要花费大量时间来掌握一个目标,而且框架往往是不灵活和不总是稳定的。

但不用担心,Google 近日发布了一个替代方案:基于 TensorFlow 的开源强化学习框架 Dopamine(多巴胺)。 Google 的博文中提到,这个基于 Ten[……]

继续阅读

强化学习环境 Gym Retro

Gym 是 OpenAI 发布的用于开发和比较强化学习算法的工具包。使用它我们可以让 AI 智能体做很多事情,比如行走、跑动,以及进行多种游戏。目前,它运行在支持 Python 3.5 和 3.6 的 Linux、MacOS 和 Windows 系统上。

OpenAI 近日发布了完整版游戏强化学习研究平台 —— Gym Retro。在本次发布之后,OpenAI 公开发布的游戏数量将从大约 70 个雅达利和 30 个世嘉游戏增加到了 1,000 多个游戏,其中包括对任天堂 Game boy 等各种模拟器的支持。此外,OpenAI 还将发布用于向 Gym 平台添加新游戏的工具。

Ope[……]

继续阅读

UC Berkeley 深度强化学习开放课程

UC Berkeley 最近发布了 CS 294: Deep Reinforcement Learning, Fall 2017 —— 深度强化学习的开放课程资源(中文翻译),这个课适合已经有一定机器学习基础的同学学习。同时,该课程主题选择深度增强学习,即紧跟当前人工智能研究的热点,又可作为深度学习的后续方向,值得推荐。

深度强化学习可以说是人工智能领域现在最热门的方向,吸引了众多该领域优秀的科学家去发掘其能力极限。而深度强化学习本身也由于其通用性备受各个应用领域推崇,从端对端游戏控制、机器人手臂控制、推荐系统,甚至也来到了自然语言对话系统。然而如何在日新月异,几乎每日都在更新迭代的深度[……]

继续阅读

开源强化学习环境:Control Suite

DeepMind 最近开源的强化学习环境 Control Suite,相比 OpenAI Gym,它拥有更多的环境,更易于阅读的代码文档,同时更加专注于持续控制任务。Control Suite 基于 Python,由 MuJoCo 模拟物理引擎提供支持。

完整的 DeepMind Control Suite + MuJoCo 套件,既是一套面向科研强大的强化学习(Reinforcement Learning)智能体性能评估基准;同时,又是一套完整的机器人模拟全仿真教学 Python 库。

GitHub地址项目GitHub地址[……]

继续阅读