标签：自然语言处理

一、哈工大 LTP

LTP（Language Technology Platform）中文为语言技术平台，是哈工大社会计算与信息检索研究中心开发的一整套中文语言处理系统。LTP 制定了基于 XML 的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块（包括词法、句法、语义等 6 项中文处理核心技术），以及基于动态链接库（Dynamic Link Library，DLL）的应用程序接口，可视化工具，并且能够以网络服务的形式进行使用。

• LTP开发文档：
  https://ltp.readthedocs.io/zh_CN/latest/index.html
• 语言云LTP-Cloud：
  http://www.ltp-cloud.com/
• 模型下载地址：
  http://ltp.ai/download.html

二 . pyltp 终极安装

下面介绍 Windows10 Python 环境下 LTP 的扩展包 pyltp 安装过程。

1. 常见错误

大家通常会调用 “pip install pyltp” 安装该扩展包，但会遇到各种错误，下面介绍一种可行的方法。

2. 安装pyltp包

首先，安装 Python3.6 环境，如下图所示“python-3.6.7-amd64.exe”。

接着，下载 pyltp 扩展包的 whl 文件至本地，调用 CMD 环境进行安装，注意需要将所在文件的路径写清楚。

1. pyltp-0.2.1-cp35-cp35m-win_amd64.whl （对应Python3.5版本）
2. pyltp-0.2.1-cp36-cp36m-win_amd64.whl （对应Python3.6版本）
3. pip install C:\Python36\Scripts\pyltp-0.2.1-cp36-cp36m-win_amd64.whl

whl下载地址：
https://download.csdn.net/download/qq_22521211/10460778

注意，如果报错“error：Microsoft Visual C++ 9.0 is required”，则安装下面 exe文件。

3 .下载模型文件

最后需要下载模型文件，其下载地址为：

• 百度云
  https://pan.baidu.com/share/link?shareid=1988562907&uk=2738088569#list/path=%2F
• 七牛云
  http://ltp.ai/download.html

本文下载 3.4 版本的模型，下载解压如下图所示：

在编写代码时，需要导入指定文件夹中的模型，再进行中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等分析。例如：

分词、词性标注、句法分析一系列任务之间存在依赖关系。举例来讲，对于词性标注，必须在分词结果之上进行才有意义。LTP 中提供的 5 种分析之间的依赖关系如下所示：

讲到这里，哈工大 pyltp 基本安装成功，接下来将介绍它的基本用法。
基础性文章，希望对入门者有所帮助。

三.中文分句和分词

• 官方文档：
  https://pyltp.readthedocs.io/zh_CN/latest/api.html#id13
• 实现原理：
  https://ltp.readthedocs.io/zh_CN/latest/theory.html#customized-cws-reference-label

1.中文分句

中文分句的输出结果如下所示：

1. 贵州财经大学要举办大数据比赛吗？
2. 那让欧几里得去问问看吧！
3. 其实是在贵阳花溪区吧。

2.中文分词

输出结果如下所示（人工换行）：

1. <class ‘pyltp.VectorOfString’>
2. 贵州 财经 大学 要 举办 大 数据 比赛 吗 ？
3. 那 让 欧 几 里 得 去 问问 看 吧 ！
4. 其实 是 在 贵阳 花溪区 吧 。

自然语言处理（NLP）在越来越多的AI应用程序中至关重要。如果您正在构建聊天机器人，搜索专利数据库，将患者与临床试验相匹配，对客户服务或销售电话进行评级，从财务报告中提取事实，必须从自由文本中提取准确信息。在开发和生产中，最受欢迎的 NLP 库列表如下：

• Spark NLP
• spaCy
• NLTK
• OpenNLP
• Stanford CoreNLP

显然，NLP 领域还有更多的库。但是，这些库更通用，涵盖更多功能，而不只是专注于特定用例。例如，gensim 是一个 NLP 库，一开始是为构建文本主题模型而创建的，不能用于完整的 NLP 管道。此前，Maziyar Panahi 和 David Talby 提供了一个选择开源 NLP 库的备忘单。在本文的分析中，我们只考虑提供如下核心功能集合的库：

• 句子检测
• 单字/单词的细粒度单位化
• 词干提取
• 语法标记
• 词性（POS）
• 命名实体识别（NER）
• 依赖分析器
• 训练特定域的语言模型

以及，提供以下的部分或全部功能：

• 文本匹配
• 日期匹配
• 文本分块
• 拼写检查
• 情绪检测
• 很多其他功能！

这里比较的所有五个库都有一些可以定义的 NLP 数据管线的概念 – 因为大多数 NLP 任务需要组合这些功能中的某些，来获得有用的结果。这些管线，可以是『传统』的管线，也可以是基于深度学习的管线。

这是最受欢迎的 NLP 库的功能比较：

最近 AllenNLP 在 EMNLP 2018 上做了一个主题分享，名为「NLP 科研编程指南」（Writing Code for NLP Research）。该演讲从写原型和写模块两方面介绍了 NLP 研究该如何复制别人的代码、测试自己的代码块、记录及分享研究等，总之在研究者也要高效码代码的年代，这是一份浓缩的实践经验。

这份内容干货满满，仅仅只是看了 PPT 就知道是非常有意思的一次演讲了。PPT 共有 254 页之多，在「赤乐君」知乎专栏分享。深度学习与新一代人工智能科研人员可以直接下载 PPT 了解详细内容，其中每一页 PPT 都带有简要的备注，根据这些备注可以将所有 PPT 以及整场演讲串联起来。

近日，谷歌 AI 的一篇 NLP 论文引起了社区极大的关注与讨论，被认为是 NLP 领域的极大突破。谷歌大脑研究科学家 Thang Luong Twitter 表示，这项研究开启了 NLP 领域的新时代。该论文介绍了一种新的语言表征模型 BERT —— 来自 Transformer 的双向编码器表征。BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型，其性能超越许多使用任务特定架构的系统，刷新了 11 项 NLP 任务的当前最优性能记录。

刚刚，谷歌正式将其开源！这意味着所有 NLP 从业者都可以试用这个强大的 NLP 预训练模型并结合到自己的工作中。

项目 GitHub 地址

本文概述和比较当前六大常用自然语言处理库 ——

NLTK、spaCy、scikit-learn、gensim、Pattern、polyglot。

现在自然语言处理（NLP）变得越来越流行，这在深度学习发展的背景下尤其引人注目。NLP 是人工智能的一个分支，旨在从文本中理解和提取重要信息，进而基于文本数据进行训练。NLP 的主要任务包括语音识别和生成、文本分析、情感分析、机器翻译等。

近几十年，只有适当受过语言学教育的专家才能从事自然语言处理方向的工作。除了数学和机器学习，他们还应该熟悉一些重要的语言概念。但是现在，我们可以使用写好的 NLP 库。它们的主要目的是简化文本预处理过程，这样我们可以专注于构建机器学习模型和超参数调整。

人们设计了很多工具和库来解决 NLP 问题。今天，我们想基于自身经验，概述和比较最流行、最有用的自然语言处理库。kdnuggets 近日发文介绍了所有库只有部分任务会重合。因此，有时候很难直接将它们进行对比。该文介绍了一些特征，然后对比这些库。详情查看：对比图片。

• NLTK（自然语言工具包）用于分词、词形还原、词干提取、解析、句法分析、词性标注等任务。该库具备可用于几乎所有 NLP 任务的工具。
• spaCy 是 NLTK 的主要竞争者。这两个库可用于同样的任务。
• scikit-learn 提供一个用于机器学习的大型库，包含用于文本预处理的工具。
• gensim 是用于话题空间建模、向量空间建模和文档相似度的工具包。
• Pattern 库是作为 web 挖掘模块提供服务的，因此，它也支持 NLP 任务。
• polyglot 是另一个用于 NLP 的 Python 包。它不是很流行，但也可以用于大量 NLP 任务。

本文对比了几个流行的 NLP 库的特征。尽管大部分库适用的任务有重合，但一些库需要用独特的方法来解决特定的问题。确切来说，现在最流行的 NLP 包是 NLTK 和 spaCy。它们是 NLP 领域中的主要竞争者。我们认为，二者之间的差别在于解决问题的一般哲学。

NLTK 更加学术。你可以用它尝试不同的方法和算法，结合使用等等。spaCy 为每个问题提供一个开箱即用的解决方案。你不用思考哪种方法更好：spaCy 的作者已经替你考虑了。此外，spaCy 速度很快（是 NLTK 的好几倍）。它的一个缺陷在于支持的语言种类有限。但是，它所支持的语言数量在持续增加。因此，我们认为 spaCy 在大部分情况下是最优选，但是如果你想尝试一些特别的任务，可以使用 NLTK。