此前，跨象乘云™ 发布过系列文章 ——
互联网上大约有 70% 以上的数据不是结构化格式的。非结构化数据包括传感器数据、图像、视频文件、音频文件、网站和 API 的数据、社交媒体数据、电子邮件以及更多与文本相关的信息。由于其特殊的特性，我们无法以一种简单的方式处理数据，为了解决这一问题，在大数据和数据科学环境下，出现了许多技术和工具来解决这一问题。
自然语言处理，是人工智能领域的前沿技术之一。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。NLP 的最终目标是以一种有价值的方式阅读、破译、理解和理解人类语言。大多数 NLP 技术依靠机器学习从人类语言中获得意义。基于 NLP 最著名的应用是：
- Google Speech Recognition.
- Apple’s Siri.
- Microsoft’s Cortona.
- Amazon’s Alexa.
- Ok Google in Android Mobiles.
- Interactive voice responses used in call centers.
- Grammarly
1. spaCy
非常优化的 NLP 库，可以与 TensorFlow 或 PyTorch 等深度学习框架一起使用。它是一个高级的 NLP 库，可在 Python 和 Cython 中的使用，它帮助我们可以进行快速的开发，spaCy 提供了预先训练的统计模型和单词向量，目前支持 50 多种语言的标记化。它具有最先进的速度，卷积神经网络模型的标签，解析和命名实体识别和易于深入学习集成。
import spacy
NLPLagnguageType = spacy.load('en')
text = NLPLanguageType('Earth Revolves around the sun.')
# Iterating over the text
for token in text:
print(token.text,token_pos_)
在上面的例子中，我们实现了一个简单的 NLP 例子，他将输出文本，并加上每个单词的词性：
> > > 地球名词
> > > 是动词
这样的例子不胜枚举。它将生成给定文本中每个单词的词性。
2. Gensim
Gensim 是一个用于从文档中自动提取语义主题的 Python 库，目标受众是自然语言处理 (NLP) 和信息检索 (IR) 社区。具有以下特性：
- 内存独立：对于训练语料来说，没必要在任何时间将整个语料都驻留在RAM中
- 有效实现了许多流行的向量空间算法，包括 tf-idf，分布式 LSA，分布式 LDA 以及 RP；并且很容易添加新算法
- 对流行的数据格式进行了 IO 封装和转换
- 在其语义表达中，可以相似查询
Gensim 的创建的目的是，由于缺乏简单的（java 很复杂）实现主题建模的可扩展软件框架。
id2word = gensim.corpora.Dictionary.load_from_text('wiki_en_wordids.txt')
mm = gensim.corpora.MmCorpus('wiki_en_tfidf.mm')
lda = gensim.models.ldamodel.LdaModel(corpus=mm, id2word=id2word, num_topics=10, update_every=1, chunksize=10000, passes=1)
lda.print_topics(1)
上面示例可以看到一个通过 LDA 从 Wikipedia 转储中提取主题的非常简单的示例。
3. Pattern
Pattern 是采用 Python 开发的数据挖掘库，用于抓取和解析各种数据源，如谷歌、Twitter、Wikipedia 等等。
它提供了各种 NLP 工具 (PoS 标签、n- gram、WordNet)、机器学习功能 (向量空间模型、聚类、分类) 和用于进行网络分析的各种工具。它是由 CLiPS 维护的，因此不仅有很好的文档和许多例子，而且有许多学术出版物正在利用图书馆。
from pattern.web import Google
from pattern.en import ngrams
engine = Google(license=API_LICENSE)
for result in engine.search('NLP', cached=False):
print(result.url, result.text)
print(ngrams(result.text, n=2))
在上面的示例中，是爬取谷歌以获取包含关键字『NLP』的结果，它将输出所有的结果 url 和文本。虽然这确实是一个毫无意义的示例，但它展示了如何通过 Pattern 执行爬行和 NLP 任务。
4. Natural Language Tool KIT [NLTK]
NLTK 是可用来训练 NLP 模型的最好的库之一。这个库很容易使用。它是一个初学者友好的 NLP 库。它有很多预先训练好的模型和语料库，可以帮助我们很容易地分析事物。
import nltk
text = 'Earth Revovles around the Sun.'
# Token Generator--> Separates the sentence into tokens
tokens = nltk.word_tokenize(text)
for token in tokens:
print(token)
word_tokenize() 将帮助我们将一组文本创建为简单的单词。我们把它叫做 token，输出 ——
Revolves
around
the
Sun
5. TextBlob
TextBlob 基于 Pattern 和 NLTK，后者为所有常见的 NLP 操作提供了一个很棒的 API 调用。它不是最快或最完整的库，但它以一种极容易访问和管理的方式提供了人们日常所需功能。
from textblob import TextBlob
text = 'Earth Revolves around the sun.'
text_blob = TextBlob(text)
for sentence in blob.sentences:
print(sentence.sentiment.polarity)
在上面的示例中，我们考虑 NLTK 库中获取的相同示例文本。在这个程序中，textblob 首先将句子分割成 Token，并在标记上执行情感分析，这只是句子极性分析。希望你对 Python 中自然语言的流行库有一个完整，由于 NLP 是一门难学课程，初学者可能无法正确理解它。但是那些想要开始 NLP 的人，那么你应该使用上面的任何一个库。如果你是一名自然语言处理的新手，我强烈建议您从 NLTK 开始，这将是一个很好的开始。