最近 AllenNLP 在 EMNLP2018 上做了一个主题分享，名为「写给 NLP 研究者的编程指南」（Writing Code for NLP Research）。该演讲从写原型和写模块两方面介绍了 NLP 研究该如何复制别人的代码、测试自己的代码块、记录及分享研究等，总之在研究者也要高效码代码的年代，这是一份浓缩的实践经验。
读者可以直接下载 PPT 了解详细内容，其中每一页 PPT 都带有简要的备注，根据这些备注可以将所有 PPT 以及整场演讲串联起来。
下载《Writing Code for NLP Research》
下面是整个分享的大纲。通过这次演讲，你可以学[……]
开源框架总览：现如今开源生态非常完善，深度学习相关的开源框架众多，光是为人熟知的就有 caffe，tensorflow，pytorch/caffe2，keras，mxnet，paddldpaddle，theano，cntk，deeplearning4j，matconvnet 等。如何选择最适合你的开源框架是一个问题。一个合格的深度学习算法工程师怎么着得熟悉其中的 3 个以上吧。下面是各大开源框架的一个总览。
在这里我们还有一些框架没有放上来，是因为它们已经升级为大家更喜欢或者使用起来更加简单的版本，比如从 torch->pytorch，从 theano 到 lasa[……]
本文首先从 4 个方面（张量、生成模型、序列学习、深度强化学习）追踪深度学习几十年的发展史，然后再介绍主流的 26 个深度学习模型。
主要按最早研究出现的时间，从 4 个方面来追踪深度学习的发展史。
RNN 是具有循环的网络，因此具有 “状态记忆”。这种网络可适时展开，以成为共享权重的前馈网络。正如 CNN 可跨 “空间” 共享权重一样，RNN 可跨 “时间” 共享权重。这使其能够处理并有效表示序列数据中的模式。
我们已开发出 RNN 模块的许多变体（包括 LSTM 和 GRU），以帮助学习较长序列中的模式。其应用包括自然语言建模、语音识别、语音生成等。递归神经网络的训练颇具挑战性，但同时也让我们可以对序列数据进行一些有趣而强大的建模。利用 TensorFlow 生成文本 是我最喜欢的教程之一，因为只需几行代码便可完成一些事情：逐字生成合理文本。[……]
8 月 8 日，吴恩达在他自己创办的在线教育平台 Coursera 上线了他的人工智能专项课程（Deep Learning Specialization）。此课程广受好评，通过视频讲解、作业与测验等让更多的人对人工智能有了了解与启蒙，国外媒体报道称：吴恩达这次深度学习课程是迄今为止，最全面、系统和容易获取的深度学习课程，堪称普通人的人工智能第一课。这些课程专为已有一定基础（基本的编程知识，熟悉 Python、对机器学习有基本了解），想要尝试进入人工智能领域的计算机专业人士准备。介绍显示：“深度学习是科技业最热门的技能之一，本课程将帮你掌握深度学习。”
在这 5 堂课中，学生将可以学习到深[……]
此前，跨象乘云™ 曾经介绍过多款包括：神经网络，LSTM 网络，以及 CapsNet 胶囊网络的数据可视化工具。由于深度神经网络的设计和训练非常之难，通常涉及大量的调整、修改网络结构和尝试各种优化算法和超参数。从理论角度看，深度神经网络架构的数学基础仍然不够完善，相关技术通常是以经验性的成果作为基础。
所幸的是，数据可视化与生俱来的视觉特性可以弥补上述的部分缺陷，并描绘出更高层次的图像，在深度神经网络训练过程中助研究人员一臂之力。例如，在模型训练过程中，如果可以实时地绘制出梯度数据分布，就可以快速检测并纠正消失梯度或爆炸梯度现象。
另外，对词嵌入（word embedding）向量[……]
