自然语言处理 – 深度学习与新一代人工智能科研教学一体化实验平台

语音数据处理指南

2019年11月18日跨象乘云

随着企业开始进行人工智能技术的探索，三个特定的领域引起了很多关注：计算机视觉、自然语言应用和语音技术。世界知识产权局（WIPO）最近的一份报告发现，这三个领域的专利占了人工智能相关专利的大部分：计算机视觉占49％，自然语言处理（NLP）占14％，语音技术占13％。

企业里有很多非结构化和半结构化的文本数据，而很多公司已经拥有了 NLP 和文本分析的经验。虽然比较少的公司拥有收集和存储图像或视频的基础设施，但计算机视觉是许多公司开始探索的领域。深度学习和其他技术的兴起促使初创公司商业化了一些计算机视觉的应用，包括安防和合规、媒体和广告以及内容生成。

一些企业也在探索话音和语音的应用。自然语言和语音模型的最新进步提升了准确性，从而开辟出了一些新的应用。在企业语音应用方面，呼叫中心、销售和客户支持以及个人助理等应用处于领先地位。在消费者应用方面，语音搜索、智能音箱和数字助理正越来越普及。虽然远非完美，但目前这一代话音和语音应用已经足够得好，从而推动了语音应用的爆炸性增长。语音技术的潜力的一个早期线索是语音驱动的搜索的增长。Comscore 估计，到 2020 年，大约一半的在线搜索将使用语音。Gartner 建议企业重新设计其网站，以支持视觉和语音搜索。此外，从 2018年到 2019 年，智能音箱预计将增长 82％以上。到今年年底，此类设备的安装数将超过 2 亿台。

音频内容数据也正在呈现爆炸式的增长。这就需要使用语音技术进行搜索和挖掘，从而能解锁这些新内容。例如，根据《纽约时报》最近的一篇文章，在美国“每个月中大概有三分之一的人会至少收听一次播客”。播客节目的增长并不仅限于美国，包括中国在内的世界各地的播客量都在增加。

语音和对话应用挑战性

在文本和 NLP 或计算机视觉领域里，程序员可以简单地开发出一个应用。但语音应用（不是简单的语音命令）对许多企业来说仍然具有挑战性。口语比书面文字有更多的“噪音”。例如，在阅读了许多播客脚本后，我们可以证明语音对话的脚本仍然需要大量的编辑工作。即使你可以获得最好的转录（语音到文本）技术，你也通常也会看到一个包含暂停、填充、重启、插话（在对话的场景里）和不合语法结构的句子的脚本数据。脚本还可能包含需要改进的段落，因为有人可能“在开脑洞”或难以准确地表达特定的观点。此外，由转录产生的脚本可能无有在正确的位置打标点或进行大写处理。因此，在许多应用中，脚本的后处理就需要人类编辑参与。

在计算机视觉（现在是 NLP ）中，我们已经处于数据至少与算法同等重要的阶段。具体而言，预先训练的模型已经在计算机视觉和 NLP 的若干任务中提供了最好的性能。那么语音领域怎么样？“一个模型能满足所有的”语音模型没能出现的原因有下述几个：

存在各种声学环境和背景噪音：室内或室外、在汽车里、在仓库里或在家庭等。
可能需要支持多种语言（英语、西班牙语、中文普通话等），特别是在说话人在对话过程中使用（或混用）多种语言的情况下。
应用类型（如搜索、个人助理等）会影响对话流程和词汇表。
根据应用的复杂程度，需要针对特定领域和主题来调整语言模型和词汇。这一点对于文本和自然语言应用也成立。

构建语音应用

尽管存在挑战，但正如前面我们所指出的那样，语音技术和语音应用已经出现了相当多的让人激动的内容。虽然我们尚未达到可以使用通用解决方案为各种语音应用“供电”的阶段，同时也没有能够跨多个领域的语音智能助理。

然而，已经有一些很好的基础模块可以被用来组装有趣的语音应用。为了帮助正在探索使用语音技术的公司，我们整理了以下指南：

集中你的注意力。正如我们所指出的那样，当前一代语音技术无法实现“一个模型能满足所有的”场景。因此最好将重点放在特定任务、某种语言和某个领域。
理解应用想要实现的目标，然后再去看所需要的技术类型。如果你能知道应用的 KPI，那么就可以使用这些 KPI 来找到为特定应用领域实现这些度量标准所需要的语言模型。
在“真实数据和真实场景”里进行实验。如果你计划开始使用现成的模型和服务，请注意“真实数据和真实场景”的重要性。在许多情况下，初始测试数据并不能代表用户与想部署的系统进行交互的方式。
获取每个特定任务的标记样本。例如，识别英语中的“cat”和中文普通话中的“猫”将需要不同的模型和不同的标记数据。
制定数据采集策略以保证收集到合适的数据。确保构建的系统可以随着收集到更多的数据而持续学习，以及制定一个支持持续改进的迭代流程。
语音应用的用户关心的是结果。语音模型只有在推导出洞察力并使用这些洞察力而采取行动时才有意义。例如，如果用户要求智能音箱播放特定的歌曲，那么对该用户唯一重要的就是音箱能播放那首歌曲。
自动化工作流程。理想情况下，所需的字典和语音模型可以在没有太多干预（来自机器学习或语音技术专家）的情况下进行更新。
语音应用是复杂的端到端系统，因此要尽可能地进行优化。单单一个语音识别系统就是由我们在前一篇文章中描述的多个模块所组成。训练和再训练模型的代价可能很高。根据应用和场景，延迟和持续连接也是重要的考虑因素。

从 NLU 到 SLU

我们仍处于企业级语音应用的早期阶段。在过去的12个月中，我们看到预训练的自然语言模型取得了快速进展，这些模型在多个 NLP 基准测试中创造了新记录。开发人员开始采用这些语言模型，并针对特定领域和应用对它们进行微调。

对 AI 应用来说，语音数据又增加了另一层的复杂性，它超越了自然语言理解（NLU）。口语理解（SLU）需要能够从口语中提取含义。虽然 SLU 还没有被用于语言或语音应用，但好消息是，已经可以使用现有的 SLU 模型构建简单、特定用途的语音应用。为了找到正确的应用场合，企业需要了解当前技术和算法的局限性。

与此同时，我们将会一步一步地进行。正如 Alan Nichol 在一篇关注基于文本的应用的博文中指出的那样，“聊天机器人只是实现真正的 AI 助手和自动组织的第一步。”同样地，今天的语音应用揭开了即将发生的事情的一角。

数据科学家常用自然语言处理Python库

2019年9月3日跨象乘云

此前，跨象乘云™ 发布过系列文章 ——

《Python自然语言处理工具库（含中文处理）》

《自然语言处理 (NLP) 库对比》

《开源 NLP（自然语言处理）库对比》

互联网上大约有 70% 以上的数据不是结构化格式的。非结构化数据包括传感器数据、图像、视频文件、音频文件、网站和 API 的数据、社交媒体数据、电子邮件以及更多与文本相关的信息。由于其特殊的特性，我们无法以一种简单的方式处理数据，为了解决这一问题，在大数据和数据科学环境下，出现了许多技术和工具来解决这一问题。

自然语言处理，是人工智能领域的前沿技术之一。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。NLP 的最终目标是以一种有价值的方式阅读、破译、理解和理解人类语言。大多数 NLP 技术依靠机器学习从人类语言中获得意义。基于 NLP 最著名的应用是：

Google Speech Recognition.
Apple’s Siri.
Microsoft’s Cortona.
Amazon’s Alexa.
Ok Google in Android Mobiles.
Interactive voice responses used in call centers.
Grammarly

1. spaCy

非常优化的 NLP 库，可以与 TensorFlow 或 PyTorch 等深度学习框架一起使用。它是一个高级的 NLP 库，可在 Python 和 Cython 中的使用，它帮助我们可以进行快速的开发，spaCy 提供了预先训练的统计模型和单词向量，目前支持 50 多种语言的标记化。它具有最先进的速度，卷积神经网络模型的标签，解析和命名实体识别和易于深入学习集成。

# Importing the Library
import spacy

NLPLagnguageType = spacy.load('en')
text = NLPLanguageType('Earth Revolves around the sun.')
# Iterating over the text
for token in text:
print(token.text,token_pos_)

在上面的例子中，我们实现了一个简单的 NLP 例子，他将输出文本，并加上每个单词的词性：

> > > 地球名词

> > > 是动词

这样的例子不胜枚举。它将生成给定文本中每个单词的词性。

2. Gensim

Gensim 是一个用于从文档中自动提取语义主题的 Python 库，目标受众是自然语言处理 (NLP) 和信息检索 (IR) 社区。具有以下特性：

内存独立：对于训练语料来说，没必要在任何时间将整个语料都驻留在RAM中
有效实现了许多流行的向量空间算法，包括 tf-idf，分布式 LSA，分布式 LDA 以及 RP；并且很容易添加新算法
对流行的数据格式进行了 IO 封装和转换
在其语义表达中，可以相似查询

Gensim 的创建的目的是，由于缺乏简单的（java 很复杂）实现主题建模的可扩展软件框架。

import gensim
id2word = gensim.corpora.Dictionary.load_from_text('wiki_en_wordids.txt')
mm = gensim.corpora.MmCorpus('wiki_en_tfidf.mm')

lda = gensim.models.ldamodel.LdaModel(corpus=mm, id2word=id2word, num_topics=10, update_every=1, chunksize=10000, passes=1)

lda.print_topics(1)

上面示例可以看到一个通过 LDA 从 Wikipedia 转储中提取主题的非常简单的示例。

3. Pattern

Pattern 是采用 Python 开发的数据挖掘库，用于抓取和解析各种数据源，如谷歌、Twitter、Wikipedia 等等。

它提供了各种 NLP 工具 (PoS 标签、n- gram、WordNet)、机器学习功能 (向量空间模型、聚类、分类) 和用于进行网络分析的各种工具。它是由 CLiPS 维护的，因此不仅有很好的文档和许多例子，而且有许多学术出版物正在利用图书馆。

# Importing Libraries
from pattern.web import Google
from pattern.en import ngrams

engine = Google(license=API_LICENSE)

for result in engine.search('NLP', cached=False):
print(result.url, result.text)
print(ngrams(result.text, n=2))

在上面的示例中，是爬取谷歌以获取包含关键字『NLP』的结果，它将输出所有的结果 url 和文本。虽然这确实是一个毫无意义的示例，但它展示了如何通过 Pattern 执行爬行和 NLP 任务。

4. Natural Language Tool KIT [NLTK]

NLTK 是可用来训练 NLP 模型的最好的库之一。这个库很容易使用。它是一个初学者友好的 NLP 库。它有很多预先训练好的模型和语料库，可以帮助我们很容易地分析事物。

# Importing Libraries
import nltk
text = 'Earth Revovles around the Sun.'
# Token Generator--> Separates the sentence into tokens
tokens = nltk.word_tokenize(text)
for token in tokens:
print(token)

word_tokenize() 将帮助我们将一组文本创建为简单的单词。我们把它叫做 token，输出 ——

Earth
Revolves
around
the
Sun

5. TextBlob

TextBlob 基于 Pattern 和 NLTK，后者为所有常见的 NLP 操作提供了一个很棒的 API 调用。它不是最快或最完整的库，但它以一种极容易访问和管理的方式提供了人们日常所需功能。

# Importing Module
from textblob import TextBlob

text = 'Earth Revolves around the sun.'

text_blob = TextBlob(text)

for sentence in blob.sentences:
print(sentence.sentiment.polarity)

在上面的示例中，我们考虑 NLTK 库中获取的相同示例文本。在这个程序中，textblob 首先将句子分割成 Token，并在标记上执行情感分析，这只是句子极性分析。希望你对 Python 中自然语言的流行库有一个完整，由于 NLP 是一门难学课程，初学者可能无法正确理解它。但是那些想要开始 NLP 的人，那么你应该使用上面的任何一个库。如果你是一名自然语言处理的新手，我强烈建议您从 NLTK 开始，这将是一个很好的开始。

哈工大NLP工具：PyLTP

2019年7月8日2019年7月8日 Nicole

一、哈工大 LTP

LTP（Language Technology Platform）中文为语言技术平台，是哈工大社会计算与信息检索研究中心开发的一整套中文语言处理系统。LTP 制定了基于 XML 的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块（包括词法、句法、语义等 6 项中文处理核心技术），以及基于动态链接库（Dynamic Link Library，DLL）的应用程序接口，可视化工具，并且能够以网络服务的形式进行使用。

LTP开发文档：
https://ltp.readthedocs.io/zh_CN/latest/index.html
语言云LTP-Cloud：
http://www.ltp-cloud.com/
模型下载地址：
http://ltp.ai/download.html

二 . pyltp 终极安装

下面介绍 Windows10 Python 环境下 LTP 的扩展包 pyltp 安装过程。

1. 常见错误

大家通常会调用 “pip install pyltp” 安装该扩展包，但会遇到各种错误，下面介绍一种可行的方法。

2. 安装pyltp包

首先，安装 Python3.6 环境，如下图所示“python-3.6.7-amd64.exe”。

接着，下载 pyltp 扩展包的 whl 文件至本地，调用 CMD 环境进行安装，注意需要将所在文件的路径写清楚。

pyltp-0.2.1-cp35-cp35m-win_amd64.whl （对应Python3.5版本）
pyltp-0.2.1-cp36-cp36m-win_amd64.whl （对应Python3.6版本）
pip install C:\Python36\Scripts\pyltp-0.2.1-cp36-cp36m-win_amd64.whl

whl下载地址：
https://download.csdn.net/download/qq_22521211/10460778

注意，如果报错“error：Microsoft Visual C++ 9.0 is required”，则安装下面 exe文件。

3 .下载模型文件

最后需要下载模型文件，其下载地址为：

百度云
https://pan.baidu.com/share/link?shareid=1988562907&uk=2738088569#list/path=%2F
七牛云
http://ltp.ai/download.html

本文下载 3.4 版本的模型，下载解压如下图所示：

在编写代码时，需要导入指定文件夹中的模型，再进行中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等分析。例如：

#词性标注

pdir='AgriKG\\ltp\\pos.model'

pos = Postagger()

pos.load(pdir)

postags = pos.postag(word) #基于分词得到的list将下词性标注

postags = list(postags)

print(u"词性:", postags)

分词、词性标注、句法分析一系列任务之间存在依赖关系。举例来讲，对于词性标注，必须在分词结果之上进行才有意义。LTP 中提供的 5 种分析之间的依赖关系如下所示：

讲到这里，哈工大 pyltp 基本安装成功，接下来将介绍它的基本用法。
基础性文章，希望对入门者有所帮助。

三.中文分句和分词

官方文档：
https://pyltp.readthedocs.io/zh_CN/latest/api.html#id13
实现原理：
https://ltp.readthedocs.io/zh_CN/latest/theory.html#customized-cws-reference-label

1.中文分句

# -*- coding: utf-8 -*-

from pyltp import SentenceSplitter

from pyltp import Segmentor

from pyltp import Postagger

from pyltp import NamedEntityRecognizer

#分句

text = "贵州财经大学要举办大数据比赛吗？那让欧几里得去问问看吧！其实是在贵阳花溪区吧。"

sents = SentenceSplitter.split(text)

print('\n'.join(sents))

中文分句的输出结果如下所示：

贵州财经大学要举办大数据比赛吗？
那让欧几里得去问问看吧！
其实是在贵阳花溪区吧。

2.中文分词

# -*- coding: utf-8 -*-

from pyltp import SentenceSplitter

from pyltp import Segmentor

from pyltp import Postagger

from pyltp import NamedEntityRecognizer

 

text = "贵州财经大学要举办大数据比赛吗？那让欧几里得去问问看吧！其实是在贵阳花溪区吧。"

 

#中文分词

segmentor = Segmentor() #初始化实例

segmentor.load("AgriKG\\ltp\\cws.model") #加载模型

words = segmentor.segment(text) #分词

print(type(words))

print(' '.join(words))

segmentor.release() #释放模型

输出结果如下所示（人工换行）：

<class ‘pyltp.VectorOfString’>
贵州财经大学要举办大数据比赛吗？
那让欧几里得去问问看吧！
其实是在贵阳花溪区吧。

开源NLP（自然语言处理）库对比

2019年5月31日跨象乘云

自然语言处理（NLP）在越来越多的AI应用程序中至关重要。如果您正在构建聊天机器人，搜索专利数据库，将患者与临床试验相匹配，对客户服务或销售电话进行评级，从财务报告中提取事实，必须从自由文本中提取准确信息。在开发和生产中，最受欢迎的 NLP 库列表如下：

显然，NLP 领域还有更多的库。但是，这些库更通用，涵盖更多功能，而不只是专注于特定用例。例如，gensim 是一个 NLP 库，一开始是为构建文本主题模型而创建的，不能用于完整的 NLP 管道。此前，Maziyar Panahi 和 David Talby 提供了一个选择开源 NLP 库的备忘单。在本文的分析中，我们只考虑提供如下核心功能集合的库：

句子检测
单字/单词的细粒度单位化
词干提取
语法标记
词性（POS）
命名实体识别（NER）
依赖分析器
训练特定域的语言模型

以及，提供以下的部分或全部功能：

文本匹配
日期匹配
文本分块
拼写检查
情绪检测
很多其他功能！

这里比较的所有五个库都有一些可以定义的 NLP 数据管线的概念 – 因为大多数 NLP 任务需要组合这些功能中的某些，来获得有用的结果。这些管线，可以是『传统』的管线，也可以是基于深度学习的管线。

这是最受欢迎的 NLP 库的功能比较：

名称	SparkNLP	NLTK	SpaCy	CoreNLP
句子检测	是	是	是	是
细粒度单位化	是	是	是	是
词干提取	是	是	是	是
语法	是	是	是	是
磁性标注	是	是	是	是
命名实体识别	是	是	是	是
依赖分析	是	是	是	是
文本匹配	是	否	否	是
日期匹配	是	否	否	是
段落分解	是	是	是	是
拼写检查	是	否	否	否
情绪检测	是	否	否	是
预训练模型	是	是	是	是
训练模型	是	是	是	是

NLP 研究者的编程指南

2019年5月25日2019年5月26日 Nicole

最近 AllenNLP 在 EMNLP2018 上做了一个主题分享，名为「写给 NLP 研究者的编程指南」（Writing Code for NLP Research）。该演讲从写原型和写模块两方面介绍了 NLP 研究该如何复制别人的代码、测试自己的代码块、记录及分享研究等，总之在研究者也要高效码代码的年代，这是一份浓缩的实践经验。

读者可以直接下载 PPT 了解详细内容，其中每一页 PPT 都带有简要的备注，根据这些备注可以将所有 PPT 以及整场演讲串联起来。

下载《Writing Code for NLP Research》

下面是整个分享的大纲。通过这次演讲，你可以学到如何写代码来促进你的研究，以及可复现的实验。当然读者最好还是知道一点 NLP 相关的知识，因为这一份分享会以深度学习中的 NLP 问题作为案例。此外，能够大致读懂 Python 代码也是很好的背景，这篇文章都是以 Python 接口调用 DL 框架为例。

这里有两种写研究代码的模式，一种是写原型，一种是写组件。作为一名研究者，大多数时候我们都希望写原型，但是在没写好组件前是写不好原型的。而通过原型设计，有时候做出来的东西又是希望下次再复用的组件。因此这是编写代码的两种模式，它们并不独立。

我们先从写原型的方式开始介绍:

写原型

当我们开始写一个原型代码的时候，我们要做到下面三点:

1. 写代码要快
2. 跟踪实验结果
3. 分析模型结果

快速开发

要做到快速编程，不要从头开始写所有内容，而是使用框架。这里的框架不仅指 tensorflow 或 pytorch 之类的框架，也可以理解为模板。比如上图中如果写 training loop 的部分，已经有人写好了。我们只要看懂后，直接拿来用就行，没有必要从头开始自己写所有部分。

上面提到的一些内容，都是可以找到现成框架来套用的。很多时候我们在编程时遇到的问题不是构建模型，而是数据读取、预处理和写训练循环等部分。如果有人把你想用的东西模块化了，还等什么，直接拿来用啊！

当然拿来用也是有步骤的，首先我们应该获得基线模型的性能，这也是一个很好的研究实践。基线模型可能是别人的代码，你要是能修修改改就更好了。其次复现 SOTA 基线结果对于理解模型和做更多的研究是非常有帮助的。

要想快速开发，另一个建议就是先复制，再重构。要记住，我们是在写原型，不用在乎什么可用性，先把代码写 work 了再说。如果实现的效果不错的话，再回去重构。

另外，我们要有好的编程习惯。比如起有意义的变量名，写注释帮助理解。记住，我们是写给人看的，不是机器！此外在使用基线模型做试验的时候，我们可以现在小数据集上做测试，并确保模型能准确读取数据。

如果在做原型设计时，我们将 LSTM 写死了（hard-code），那么在我们希望使用 Transformer 等模块的时候就需要重新改代码。因此使用多态可以借助更高级的抽象扩展代码，这样在换模块时就能只修改少量代码。

跟踪实验结果

在写原型的时候你需要运行很多东西，这导致很难追踪发生了什么以及对应的代码部分。

可以准备一个 Excel 表格，来记录实验结果。

黑箱对比对于上下文理解有帮助，但不能深入理解两个结果之间的关系，因为有太多的变量在同时变化。我们需要每次仅改变一个变量，可以在代码中设置「开关」，将开关配置一些全局状态/依赖注入。

每次只改变一个部分，方便跟踪实验结果的变化其原因在于哪里。

这里光是 embedder，我们就有很多种选择

使用设定文件来记录模型的改变，方便我们以后查询当时的设定。

分析模型结果

在训练的时候，可视化对于分析模型表现是非常重要的。这个技能必须掌握。

Tensorboard 可以提供很多分析结果。

Tensorboard 能帮我们找到优化的 bug。比如上图中的 embedding 梯度有两个数量级的差别。

原因在于 embedding 的梯度是稀疏梯度，即只有一部分会被更新。但是 ADAM 中的动量系数是针对整个 embedding 计算的，所以解决方法是直接引入特定的优化器：DenseSparseAdam。

在解释你的模型的预测输出时，好的展示是静态预测；更好的展示是交互地查看预测；最好的展示是交互地查看内部过程。

对于预测结果，如果可以做到交互式的方式来查看的话，是最好的。

开发组件

与写原型不同，开发可重复使用的组件有很多要注意的地方。我们的代码需要写清楚，这样就能聚焦于建模决策，而不考虑代码到底在做什么。

Code Reveiw 是必不可少的。Review 的时候，不仅能发现错误，还能提高代码的可读性。

如果我们不是软件开发人员的话，对于持续整合以及构建自动化这两个词可能比较陌生。通常我们只说持续整合的时候，也包含了构建自动化的意思。想要做到这点，要多写测试才行。

当然，如果我们不是开发一个很多人都会用到的库，上面这些步骤是用不到的。不过测试很重要，如果是原型开发，也要做一些最基本的测试。

如上对读取的数据进行测试，看是否正确。这里在进行单元测试时常用的就是 assert 语句，如果程序有问题，运行到这边就自然会报错，这样可以让我们尽快找到错误。

如上所示，当然我们也可以使用 assert 语句检查维度是否一致。这在模型运算部分经常会用到，例如判断每个卷积层输出结果的尺寸和深度等。可以看到这两种测试的代码都不会很多。所以不要犯懒了，好好写测试吧。

关于 AllenNLP 库的一些介绍，这里就不花时间讨论了，感兴趣的可以看 slide 中 p141~p205 的部分。下面直接进入分享的部分。

GitHub地址项目 GitHub 地址

分享研究

简化安装的流程，令代码运行在任何平台，使用隔离的环境。

下面是使用 Docker 的一些优点。

用 docker 开发的好处不用多说，大家想必也已经都知道了。当然，缺点也是有的。

至于 Python 的包管理系统，AllenNLP 采用了 ANACONDA

Docker 是不错，但不适合做本地开发，这样的话，使用一些本地的包管理系统反而更方便。

最后做个总结

快速开发原型（要安全）
写安全的产品代码（要快）
好的流程有利于做出好的研究
使用正确的抽象
查看 AllenNLP（广告）

这次分享的 slide 看了几遍，很多地方看得自己脸上发热，不写测试什么的说到了痛处。现在人工智能领域对于算法工程师的要求已经不是能掉个包，谈谈研究那么简单了，工程实践能力已经变得越来越重要。写优秀的代码，做优秀的研究，二者是一个互相促进的过程。

NLP最新科研福利！MSRA开源学术界最全面语义分析数据集

2019年5月12日 Nicole

微软亚洲研究院（MSRA），刚刚送出最新一批 AI 资源和福利。

在“中国高校人工智能人才国际培养计划” 2019 国际人工智能专家论坛暨 2019 微软新一代人工智能开放科研教育平台合作论坛，MSRA 面向高校提供最新的人工智能技术、工具、科研成果，以及数据集。

新增业界最全面的语义分析数据集

在新一代人工智能开放科研教育平台的合作框架下，微软开放了自身人工智能领域的数据集供合作高校在科研和教育工作上进行引用，如微软机器阅读理解（MS MARCO）、微软研究院社交媒体对话语料库、18K 数学文字题测试集 SigmaDolphin 等。

高校也通过平台贡献了各自在多个领域的数据集，如中国科学技术大学类脑实验室的海量类脑数据等。

2019 年，微软亚洲研究院正式发布自然语言处理（NLP）领域全新的语义分析数据集 MSParS （Multi-perspective Semantic ParSing Dataset）。

作为智能音箱、搜索引擎、自动问答和对话系统等人工智能产品中的核心技术，语义分析（Semantic Parsing）面临着因人工标注代价高昂而导致的数据缺乏问题，目前已有的语义分析数据集在数据规模和问题类型覆盖度上非常有限。

为此，微软亚洲研究院提出并构建了 MSParS，该数据集（1.0版本）包含 81,826 个自然语言问题及其对应的结构化语义表示，覆盖 12 种不同的问题类型和 2,071 个知识图谱谓词，是学术界目前最全面的语义分析数据集。未来，微软将与各高校一起开放、共享更多数据，促进产教融合合作生态的建设。

MSParS 数据集：

https://github.com/msra-nlc/MSParS

大规模中文自然语言处理语料

2019年2月18日跨象乘云

中文的信息无处不在，但如果想要获得大量的中文语料，却是不太容易，有时甚至非常困难。在 2019 年初这个时点上 —— 普通的从业者、研究人员或学生，并没有一个比较好的渠道获得极大量的中文语料。笔者想要训练一个中文的词向量，在百度和 Github 上上搜索了好久，收获却很少：要么语料的量级太小，要么数据过于成旧，或需要的处理太复杂。

为此，徐亮创建了一个中文自然语言处理语料库项目：nlp_chinese_corpus ，初步贡献了几个已经预处理好的中文语料，包括维基、新闻和百科语料。包括 ——

维基百科(wiki2019zh)，100万个结构良好的中文词条；
新闻语料(news2016zh)，250万篇新闻，含关键词、描述；
百科问答(baike2018qa)，150万个带问题类型的问答；
社区问答json版(webtext2019zh)，410万个高质量社区问答，适合训练超大模型；
翻译语料(translation2019zh)，520万个中英文句子对；

GitHub地址项目 GitHub 地址

中文 NLP 词库

2018年11月20日跨象乘云

最近，在 GitHub 上，有人收罗了一份资源，汇集了 40 个关于中文 NLP 词库，涵盖了各个方面。中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌 & 零件词库、时间抽取、连续英文切割、中文词向量大全、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据。

在应用这些语料库同时，你或者还需要 pyHanLP 和 JieBa 等中文分词组件支持。

GitHub地址项目 GitHub 地址

NLP 科研编程指南

2018年11月11日跨象乘云

最近 AllenNLP 在 EMNLP 2018 上做了一个主题分享，名为「NLP 科研编程指南」（Writing Code for NLP Research）。该演讲从写原型和写模块两方面介绍了 NLP 研究该如何复制别人的代码、测试自己的代码块、记录及分享研究等，总之在研究者也要高效码代码的年代，这是一份浓缩的实践经验。

这份内容干货满满，仅仅只是看了 PPT 就知道是非常有意思的一次演讲了。PPT 共有 254 页之多，在「赤乐君」知乎专栏分享。深度学习与新一代人工智能科研人员可以直接下载 PPT 了解详细内容，其中每一页 PPT 都带有简要的备注，根据这些备注可以将所有 PPT 以及整场演讲串联起来。

平行语料库数据集

2018年11月8日跨象乘云

与大部分机器学习模型一样，有效的机器翻译系统需要大量的训练数据才能产生可读性强的结果。平行文本翻译语料库是两种语言之间的结构化翻译文本集。此类平行语料库对训练机器翻译算法至关重要。但从哪里可以获得这些外语数据集呢？

机器之心整理了一份完整的名单：《囊括欧亚非大陆多种语言的 25 个平行语料库数据集》

Google 开源全面超越人类的最强 NLP 预训练模型：BERT

2018年11月1日2018年11月1日跨象乘云

近日，谷歌 AI 的一篇 NLP 论文引起了社区极大的关注与讨论，被认为是 NLP 领域的极大突破。谷歌大脑研究科学家 Thang Luong Twitter 表示，这项研究开启了 NLP 领域的新时代。该论文介绍了一种新的语言表征模型 BERT —— 来自 Transformer 的双向编码器表征。BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型，其性能超越许多使用任务特定架构的系统，刷新了 11 项 NLP 任务的当前最优性能记录。

刚刚，谷歌正式将其开源！这意味着所有 NLP 从业者都可以试用这个强大的 NLP 预训练模型并结合到自己的工作中。

GitHub地址项目 GitHub 地址

Tencent AI Lab 开源大规模 NLP 数据集

2018年10月28日2018年11月1日跨象乘云

10 月19 日，Tencent AI Lab 宣布开源大规模、高质量的中文词向量数据。该数据集包含 800 多万中文词汇。Tencent AI Lab 表示，相比现有的公开数据，该数据在覆盖率、新鲜度及准确性上大幅提高，为对话回复质量预测和医疗实体识别等自然语言处理方向的业务应用带来显著的效能提升。

Tencent AI Lab 此次公开的中文词向量数据包含 800 多万中文词汇，其中每个词对应一个 200 维的向量。相比现有的中文词向量数据，Tencent AI Lab 的中文词向量着重提升了以下 3 个方面：

覆盖率（Coverage）：该词向量数据包含很多现有公开的词向量数据所欠缺的短语，比如『不念僧面念佛面』、『冰火两重天』、『煮酒论英雄』、『皇帝菜』、『喀拉喀什河』等。
新鲜度（Freshness）：该数据包含一些最近一两年出现的新词，如『恋与制作人』、『三生三世十里桃花』、『打call”、『十动然拒』、『供给侧改革』、『因吹斯汀』等。
准确性（Accuracy）：由于采用了更大规模的训练数据和更好的训练算法，所生成的词向量能够更好地表达词之间的语义关系。

Tencent AI Lab Embedding Corpus for Chinese Words and Phrases

Twitter 情感分析项目

2018年9月3日2018年9月3日跨象乘云

本文为 Python 实战之 Twitter 情感分析项目系列，原作者为 Ricky Kim，全文共分 11 个子项目：

GitHub地址项目 GitHub 地址

自然语言处理 (NLP) 库对比

2018年8月6日跨象乘云

本文概述和比较当前六大常用自然语言处理库 ——

NLTK、spaCy、scikit-learn、gensim、Pattern、polyglot。

现在自然语言处理（NLP）变得越来越流行，这在深度学习发展的背景下尤其引人注目。NLP 是人工智能的一个分支，旨在从文本中理解和提取重要信息，进而基于文本数据进行训练。NLP 的主要任务包括语音识别和生成、文本分析、情感分析、机器翻译等。

近几十年，只有适当受过语言学教育的专家才能从事自然语言处理方向的工作。除了数学和机器学习，他们还应该熟悉一些重要的语言概念。但是现在，我们可以使用写好的 NLP 库。它们的主要目的是简化文本预处理过程，这样我们可以专注于构建机器学习模型和超参数调整。

人们设计了很多工具和库来解决 NLP 问题。今天，我们想基于自身经验，概述和比较最流行、最有用的自然语言处理库。kdnuggets 近日发文介绍了所有库只有部分任务会重合。因此，有时候很难直接将它们进行对比。该文介绍了一些特征，然后对比这些库。详情查看：对比图片。

NLTK（自然语言工具包）用于分词、词形还原、词干提取、解析、句法分析、词性标注等任务。该库具备可用于几乎所有 NLP 任务的工具。
spaCy 是 NLTK 的主要竞争者。这两个库可用于同样的任务。
scikit-learn 提供一个用于机器学习的大型库，包含用于文本预处理的工具。
gensim 是用于话题空间建模、向量空间建模和文档相似度的工具包。
Pattern 库是作为 web 挖掘模块提供服务的，因此，它也支持 NLP 任务。
polyglot 是另一个用于 NLP 的 Python 包。它不是很流行，但也可以用于大量 NLP 任务。

本文对比了几个流行的 NLP 库的特征。尽管大部分库适用的任务有重合，但一些库需要用独特的方法来解决特定的问题。确切来说，现在最流行的 NLP 包是 NLTK 和 spaCy。它们是 NLP 领域中的主要竞争者。我们认为，二者之间的差别在于解决问题的一般哲学。

NLTK 更加学术。你可以用它尝试不同的方法和算法，结合使用等等。spaCy 为每个问题提供一个开箱即用的解决方案。你不用思考哪种方法更好：spaCy 的作者已经替你考虑了。此外，spaCy 速度很快（是 NLTK 的好几倍）。它的一个缺陷在于支持的语言种类有限。但是，它所支持的语言数量在持续增加。因此，我们认为 spaCy 在大部分情况下是最优选，但是如果你想尝试一些特别的任务，可以使用 NLTK。

自然语言处理最新教材开放下载

2018年6月14日2018年6月14日跨象乘云

乔治亚理工大学 Jacob Eisenstein 教授开放了自然语言处理领域的最新教材《Natural Language Processing》，该教材 2018 年 6 月第一版的 PDF 已经在 GitHub 上开放下载。这本书的内容主要分为四大章节，即 NLP 中监督与无监等学习问题、序列与解析树等自然语言的建模方式、语篇语义的理解，以及后这些技术最在信息抽取、机器翻译和文本生成等具体任务中的应用。

Eisenstein 将这一本非常完善的教材称之为「Notes」，它是在乔治亚理工大学学习自然语言处理相关领域所需要了解的基础。例如在介绍自然语言处理理论与方法的课程 CS4650/7650 中，这本开放书籍就作为标准的课程教材。

CS4650/7650 2018 春季课程需要阅读 GitHub 目录下 eisenstein-nlp-notes-jan-10-2018.pdf 文件，而另外一个文件 eisenstein-nlp-notes.pdf 会包含一些章节上的更新，不过它会在整个学期内进行。Eisenstein 表示这本开放书籍也可以用于其它研究或课程，书籍上的任何误差或反馈都能直接发邮件给作者。

自然语言处理是令计算机能访问人类语言的一组方法。在过去的十年中，自然语言处理已经深入了我们的日常生活：自动机器翻译在网站和社交媒体中已经无处不在、文本分类确保了电子邮箱在海量垃圾邮件中屹立不倒、搜索引擎已经不再只是字符匹配与网络分析，它已经能理解高维度的复杂语言，还有近来对话系统的兴起也令信息的分享与交互更高效。

这些强大的应用其实都基于一套通用的思想，即利用算法、语言规则、逻辑和统计知识理解自然语言。这本书的目的是提供这些思想与技术的基础，并应用于各种实际的任务中。此外，这本书除了详细的概念与算法，同时还包括一些高阶主题，读者可按需求学习与阅读。

此前，机器之心网站做了详细的课程介绍。

GitHub地址项目 GitHub 地址