自然语言处理(NLP)的力量令人叹服。NLP 改变了文本的处理方式,几乎到了无法用语言描述的程度。在最先进的一系列 NLP 库中,PyTorch-Transformers 出现最晚,却已打破各种 NLP 任务中已有的一切基准。它最吸引人的地方在于涵盖了 PyTorch 实现、预训练模型权重及其他重要元素,可以帮助用户快速入门。运行最先进的模型需要庞大的计算能力。PyTorch-Transformers 在很大程度上解决了这个问题,它能够帮助这类人群建立起最先进的 NLP 模型。包括 ——
- BERT (from Google):深层双向 Transformers 语言理解的预训练模型
- GPT (from OpenAI):通过生成性预训练模型,提高语言理解能力
- GPT-2 (from OpenAI): 无监督的多任务学习任务语言模型
- Transformer-XL (from Google/CMU): 定长语境下的注意力语言模型
- XLNet (from Google/CMU):语言理解的广义自回归预训练模型(BERT 目前最大的挑战者)
- XLM (from Facebook): 跨语言预训练模型