LSTM 网络可视化

目前,在卷积神经网络领域中有许多可视化方面的研究,但是对于 LSTM 却没有足够的类似工具。LSTM (长短期记忆单元)网络的可视化能带来很有意思的结果,由于其包含时间相关性,我们除了可以在可视化图像的空间维度上探索数据之间的关联,还可以在时间维度上探索关联的稳健性。

对于长序列建模而言,长短期记忆(LSTM)网络是当前最先进的工具。然而,理解 LSTM 所学到的知识并研究它们犯某些特定错误的原因是有些困难的。在卷积神经网络领域中有许多这方面的文章和论文,但是对于 LSTM 我们却没有足够的工具可以对它们进行可视化和调试。

Piotr Tempczyk 在这篇文章中,试图部分填补这[……]

继续阅读

LSTM:时间序列数据关联模型

此前,跨象乘云™介绍了《LSTM 模型预测电子货币价格》教程,实际上,LSTM 模型能够从时间序列数据中捕捉最重要的特征并进行关联建模。股票价格预测模型,是关于对冲基金如何使用此类系统的典型案例,使用了 Python 编写的 PyTorch 框架进行训练,设计实验并绘制结果。

对冲基金是深度学习应用中具有吸引力的领域之一,也是投资基金的一种形式。不少金融组织从投资者那里筹集资金后对其进行管理,并通过分析时间序列数据来做出一些预测。在深度学习中,有一种适用于时间序列分析的架构是:递归神经网络(RNNs),更具体地说,是一种特殊类型的递归神经网络:长短期记忆网络(LSTM)。NEVEN PI[……]

继续阅读

教程:LSTM 模型预测电子货币价格

深度学习区块链结合在一起的实验案例,看起来是一个不错的主意。David Sheehan 使用一个长短时记忆(LSTM)模型 —— 深度学习中一个非常适合分析时间序列数据的特定模型(或者任何时间/空间/结构序列数据,例如电影、语句等);做了一个预测加密电子货币的价格趋势的实验案例。除了此前的比特币价格预测以外,该实验案例还包含了对以太坊协议货币的趋势预测。

如果你真的想了解其中的基础理论,那么我推荐你阅读这三篇文章:《理解 LSTM 网络》、《探究 LSTM》、原始白皮书。为了尽量吸引更多的非专业机器学习爱好者,实验中大幅度减少代码的篇幅。如果你想自己使用这些数据或者建立自己的模型,本[……]

继续阅读

人工智能专业实验课程

当前,我国高等院校本科人工智能专业以培养人工智能应用型人才为主,在立足熟练应用先进的人工智能信息化工具的同时,为进一步向科研型人才深入探索与发展打下坚实的理论与技术基础。算法工程师,又称:人工智能工程师、机器学习/深度学习工程师;属于算法工程型人才,同时也是当前国内本科人工智能专业重点培养人才,在整个人工智能项目生命周期中充当关键的角色,是人工智能基础研究与产业应用之间的关键连接,采用最新的机器学习技术,使用适用于解决问题的数据集来获取解决特定的业务问题,并确保其能大规模部署上线服务。对口专业包括:人工智能、计算机科学,数据科学与大数据技术,数学,运筹学,物理,电气工程专业等。主要工作职责包括[……]

继续阅读

NumPy 中文官方教程

此前,跨象乘云 发布了《NumPy 教程:基础知识》与《Python 知识卡片:NumPy》两份教程。近日,NumPy 官方正式推出了 NumPy 中文版网站,涵盖 NumPy 的一切。在 Github 上一度蝉联最流行的机器学习和数据科学包 NumPy,已经有了非常之系统的中文文档。现在,如果有什么和 NumPy 的问题,只需要浏览这份官方中文文档就足够了。它足够的系统、全面且亲民。NumPy 是使用 Python 进行科学计算的基础软件包,是 Python 生态系统中数据分析、机器学习、科学计算的主力军,极大简化了向量与矩阵的操作处理。除了计算外,它还包括了:

领域智能聊天机器人

在过去几年里,处理语言的机器学习模型的进展一直在迅速加快,同时,领域智能服务聊天机器人逐渐成为新一代人工智能研究的重要领域。自然语言处理技术NLP)的进步,已经离开了研究实验室,开始为一些领先的数字产品提供动力。自 2016 年起,聊天机器人便成为最热门的技术发展趋势之一。最大的消息平台,如:Facebook Messenger,宣布启动开发人员计划来支持聊天机器人应用。与此同时,较小的消息平台,如:Slack 和 Telegram,启动了『机器人商店』和投资基金来吸引开发人员。Google 则直接投资于受其人工智能和大数据技术支持的聊天机器人应用程序上,如:Meena。自然语言处理技术在人[……]

继续阅读

《深度学习》课程

本课程,是更全面介绍深度学习各类神经网络:CNN、RNN、LSTM 及框架:TensorFlow,Keras,Caffe 等的进阶课程。学生在本课程中将进一步学习深度学习的技术、术语和数学原理,理解基础神经网络架构、前馈网络、卷积网络和循环网络结构,认识如何恰当地构建和训练这些模型,了解并解释深度学习的实际应用,并使用“预训练”模型达到最佳结果。同时,配合神经网络训练可视化引擎,以及项目实现代码,让学生更为直观的了解深度学习技术在经典数据集 MNIST,CIFAR-10 上的工作过程。学生在完成本课程后,将能独立完成时装服饰图片分类,电影评论文字分类,房地产价格回归预测,使用循环神经网络实现文[……]

继续阅读

深度学习知识卡片:循环神经网络应用

继续之前的:

  1. 深度学习知识卡片:深度学习基本概念
  2. 深度学习知识卡片:Logistic 回归
  3. 深度学习知识卡片:浅层网络的特点
  4. 深度学习知识卡片:深度神经网络的特点
  5. 深度学习知识卡片:偏差与方差
  6. 深度学习知识卡片:正则化
  7. 深度学习知识卡片:最优化训练
  8. 深度学习知识卡片:最优化算法
  9. 深度学习知识卡片:超参数调优
  10. 深度学习知识卡片:结构化机器学习过程
  11. 深度学习知识卡片:误差分析
  12. 深度学习知识卡片:训练集、开发集与测试集
  13. 深度学习知识卡片:学习方法扩展
  14. 深度学习[……]

    继续阅读

神经架构搜索研究指南 -2

系列文章:《神经架构搜索研究指南 -1

3. 可伸缩图像识别领域的可转移架构学习

2017:Learning Transferable Architectures for Scalable Image Recognition

在本文中,作者在一个小数据集上搜索结构上的一个组成模块,然后将该模块再转换到一个大数据集上。这是因为直接使用大型数据集将非常麻烦和耗时。

作者在 CIFAR-10 数据集上寻找最佳卷积层,并将其应用于 ImageNet 数据集。具体做法是将该层的更多副本堆叠在一起来实现的。每一层都有自己的参数,用于设计卷积架构。作者将这种体系结构称为 NASNet[……]

继续阅读

知识图谱教程:从海量文本中挖掘和构建异构信息网络

第 25 届 ACM SIGKDD 知识发现与数据挖掘大会于  2019 年 8 月 4 日- 8 日在美国阿拉斯加州安克雷奇市举行。一年一度的 KDD 大会是最重要的跨学科会议,汇聚了数据科学、数据挖掘、知识发现、大规模数据分析和大数据等领域的研究人员和实践者。

今天整理了关于数据挖掘方面的内容:从文本中构建和挖掘异构信息网络,本文提供了一个全面的综述,总结了在这个方向最近的研究和发展。

摘要:

现实世界中的数据主要以非结构化文本的形式存在。数据挖掘研究的一个重大挑战是开发有效的、可伸缩的方法,将非结构化文本转换为结构化知识。基于我们的愿景,将这些文本转换为结构化的[……]

继续阅读