Eleuther AI 推出的名为 GPT-Neo 的开源项目,开源了复现版 GPT-3 的模型参数( 1.3B 和 2.7B 级别),并将其更新在 Colab notebook 之上。需要指出的是这次开源的模型里较大的那个版本也只是到了 GPT-3 商用版里最小模型的参数量,不过 Eleuther AI 表示未来会进一步开源 10B 版本和原始大小版本的 GPT3 模型参数。
但关于复现模型的性能,目前只说『实验表现与原版 GPT-3 相当』。风靡一时的拥有 1,750 亿超大参数量,一出道便被视作 NLP 领域最强 AI 模型的 GPT-3,得益于其庞大的参数量,使得 GPT-3 拥[……]