Eleuther AI 推出的名为 GPT-Neo 的开源项目，开源了复现版 GPT-3 的模型参数（ 1.3B 和 2.7B 级别），并将其更新在 Colab notebook 之上。需要指出的是这次开源的模型里较大的那个版本也只是到了 GPT-3 商用版里最小模型的参数量，不过 Eleuther AI 表示未来会进一步开源 10B 版本和原始大小版本的 GPT3 模型参数。
但关于复现模型的性能，目前只说『实验表现与原版 GPT-3 相当』。风靡一时的拥有 1,750 亿超大参数量，一出道便被视作 NLP 领域最强 AI 模型的 GPT-3，得益于其庞大的参数量，使得 GPT-3 拥有不用接受特定训练与微调，就能在不同 NLP 领域达到领先水平的强大能力。去年七月，GPT-3 被 Open-AI 以商业 API 的形式向公众开放，并被人们探索出了形形色色的应用，从基于问题的搜索，到文本样式转换，从 UI 界面设计，再到自动生成 SQL 代码，GPT-3 以其卓越的性能展现了其广阔的应用场景，深度学习之父Hinton 甚至这样评价道:
如果以 GPT-3 的出色性能推算未来、生命、宇宙和万物的答案也不过是 4.398 万亿个参数
但是，由于目前 GPT-3 的使用模式仍然是付费的商业 API，因此并不是所有 NLP 的研究者都能使用 GPT-3 完成自己领域的任务与工作。而由 Connor Leahy、Leo Gao 和 Sid Black 三人联合创立的 Eleuther AI 的团队，于去年 11 月宣布推出 GPT-Neo 的开源项目，该项目基于 GPT 系列的设计原理，旨在复现 GPT 系列的各种项目，在该项目发布之初，其团队成员已经预测可以完成 GPT-3 级别大小的语言模型。
毫无疑问，GPT-3 的开源将会催生出一大批 NLP 技术的崭新应用，也会以更为低廉的成本释放人们对 NLP 未来的想象力。
项目 GitHub 地址