上下文词向量与预训练语言模型：BERT 到 T5

BERT 的出现革新了众多自然语言处理任务中的模型架构范式，由此以 BERT 为代表预训练语言模型（PLM）在多项任务中刷新了榜单，引起了学术界和工业界的大量关注。斯坦福大学经典自然语言处理课程 2020 年 CS224N 邀请了 BERT 作者，Google 研究员 Jacob Devlin 做了关于上下文词表示 BERT 以及预训练语言模型的课程讲座，亲授大厂实战经验，值得关注。为此，跨象乘云™ 提供了对应的 PPT 下载。