最先进的 NLP 模型库:PyTorch-Transformers

自然语言处理NLP)的力量令人叹服。NLP 改变了文本的处理方式,几乎到了无法用语言描述的程度。在最先进的一系列 NLP 库中,PyTorch-Transformers 出现最晚,却已打破各种 NLP 任务中已有的一切基准。它最吸引人的地方在于涵盖了 PyTorch 实现、预训练模型权重及其他重要元素,可以帮助用户快速入门。运行最先进的模型需要庞大的计算能力。PyTorch-Transformers 在很大程度上解决了这个问题,它能够帮助这类人群建立起最先进的 NLP 模型。包括 ——

  • BERT (from Google):深层双向 Transformers 语言理解的预训练模型
  • GPT (from OpenAI):通过生成性预训练模型,提高语言理解能力
  • GPT-2 (from OpenAI): 无监督的多任务学习任务语言模型
  • Transformer-XL (from Google/CMU): 定长语境下的注意力语言模型
  • XLNet (from Google/CMU):语言理解的广义自回归预训练模型(BERT 目前最大的挑战者)
  • XLM (from Facebook): 跨语言预训练模型

GitHub地址项目 GitHub 地址