最先进的 NLP 模型库：PyTorch-Transformers

Posted on by 跨象乘云

自然语言处理（NLP）的力量令人叹服。NLP 改变了文本的处理方式，几乎到了无法用语言描述的程度。在最先进的一系列 NLP 库中，PyTorch-Transformers 出现最晚，却已打破各种 NLP 任务中已有的一切基准。它最吸引人的地方在于涵盖了 PyTorch 实现、预训练模型权重及其他重要元素，可以帮助用户快速入门。运行最先进的模型需要庞大的计算能力。PyTorch-Transformers 在很大程度上解决了这个问题，它能够帮助这类人群建立起最先进的 NLP 模型。包括 ——

  • BERT (from Google)：深层双向 Transformers 语言理解的预训练模型
  • GPT (from OpenAI)：通过生成性预训练模型，提高语言理解能力
  • GPT-2 (from OpenAI)： 无监督的多任务学习任务语言模型
  • Transformer-XL (from Google/CMU)： 定长语境下的注意力语言模型
  • XLNet (from Google/CMU)：语言理解的广义自回归预训练模型（BERT 目前最大的挑战者）
  • XLM (from Facebook)： 跨语言预训练模型

GitHub地址项目 GitHub 地址

Published by 跨象乘云