非官方 GPT-3 开源

Eleuther AI 推出的名为 GPT-Neo 的开源项目,开源了复现版 GPT-3 的模型参数( 1.3B 和 2.7B 级别),并将其更新在 Colab notebook 之上。需要指出的是这次开源的模型里较大的那个版本也只是到了 GPT-3 商用版里最小模型的参数量,不过 Eleuther AI 表示未来会进一步开源 10B 版本和原始大小版本的 GPT3 模型参数。

但关于复现模型的性能,目前只说『实验表现与原版 GPT-3 相当』。风靡一时的拥有 1,750 亿超大参数量,一出道便被视作 NLP 领域最强 AI 模型的 GPT-3,得益于其庞大的参数量,使得 GPT-3 拥[……]

继续阅读

《机器学习》公式数学推导补充

深入掌握机器学习的两大核心包括:数学推导与编码实现。机器学习原理大多都是由数学支撑,基本的机器学习数学公式推导对于深入掌握机器学习十分重要;另一方面,通过在不调用算法库的前提下,通过基础编码实现机器学习算法,深入理解算法细节,进一步提高算法实现的代码能力。其中,《机器学习》教材中,推导细节没有详述,比较难理解的公式需要加以解析,以及对部分公式补充跳过的解题步骤。包括 ——

绪论

  1. 公式1.2:二分类按均匀分布对误差求和运算解析

模型评估

  1. 公式2.20:AUC估算运算解析
  2. 公式2.21:排序损失运算解析
  3. 公式2.27:二次校验结论置信度勘误与运算推导
  4. [……]

    继续阅读