LSTM 网络可视化

Visualizing LSTM Networks
LSTM 网络可视化

目前,在卷积神经网络领域中有许多可视化方面的研究,但是对于 LSTM 却没有足够的类似工具。LSTM (长短期记忆单元)网络的可视化能带来很有意思的结果,由于其包含时间相关性,我们除了可以在可视化图像的空间维度上探索数据之间的关联,还可以在时间维度上探索关联的稳健性。

对于长序列建模而言,长短期记忆(LSTM)网络是当前最先进的工具。然而,理解 LSTM 所学到的知识并研究它们犯某些特定错误的原因是有些困难的。在卷积神经网络领域中有许多这方面的文章和论文,但是对于 LSTM 我们却没有足够的工具可以对它们进行可视化和调试。

Piotr Tempczyk 在这篇文章中,试图部分填补这个空白 —— 从澳大利亚手语(Auslan)符号分类模型中对 LSTM 网络的激活行为进行可视化,通过在 LSTM 层的激活单元上训练一个降噪自编码器来实现。通过使用密集的自编码器,我们将 LSTM 激活值的 100 维向量投影到 2 维和 3 维。多亏了这一点,我们在一定程度上能够可视化地探索激活空间。我们对这个低维空间进行分析,并试图探索这种降维操作如何有助于找到数据集中样本之间的关系。最有意思的,是教程中同时提供了数据集与对应的操作代码 ——另外, 机器之心在这篇文章里做了第一部分的中文翻译(Piotr Tempczyk 仍在更新中 …)。

扩展阅读:从任务到可视化,如何理解LSTM网络中的神经元

GitHub地址项目 GitHub 地址

LSTM:时间序列数据关联模型

此前,跨象乘云™介绍了《LSTM 模型预测电子货币价格》教程,实际上,LSTM 模型能够从时间序列数据中捕捉最重要的特征并进行关联建模。股票价格预测模型,是关于对冲基金如何使用此类系统的典型案例,使用了 Python 编写的 PyTorch 框架进行训练,设计实验并绘制结果。

对冲基金是深度学习应用中具有吸引力的领域之一,也是投资基金的一种形式。不少金融组织从投资者那里筹集资金后对其进行管理,并通过分析时间序列数据来做出一些预测。在深度学习中,有一种适用于时间序列分析的架构是:递归神经网络(RNNs),更具体地说,是一种特殊类型的递归神经网络:长短期记忆网络(LSTM)。NEVEN PIČULJAN 以对冲基金如何使用深度学习系统为例进行典型案例分析,并展示实验过程及结果。同时文章将分析如何提高深度学习系统性能,以及需要什么样背景的深度学习人才,来搭建应用于对冲基金的深度学习系统。这里有对应的中文翻译

教程:LSTM 模型预测电子货币价格

深度学习区块链结合在一起的实验案例,看起来是一个不错的主意。David Sheehan 使用一个长短时记忆(LSTM)模型 —— 深度学习中一个非常适合分析时间序列数据的特定模型(或者任何时间/空间/结构序列数据,例如电影、语句等);做了一个预测加密电子货币的价格趋势的实验案例。除了此前的比特币价格预测以外,该实验案例还包含了对以太坊协议货币的趋势预测。

如果你真的想了解其中的基础理论,那么我推荐你阅读这三篇文章:《理解 LSTM 网络》、《探究 LSTM》、原始白皮书。为了尽量吸引更多的非专业机器学习爱好者,实验中大幅度减少代码的篇幅。如果你想自己使用这些数据或者建立自己的模型,本篇文章同样提供了Jupyter (Python) 笔记供参考。

本实验数据集基于 Kaggle 上过去几年比特币详细到每分钟的价格数据,与 coinmarketcap.com 上的数据作为基础。这里有详尽的中文文档翻译。