深度学习知识卡片:最优化算法

继续之前的:

深度学习知识卡片:最优化训练

继续之前的:

最优化是机[……]

继续阅读

深度学习知识卡片:正则化

继续之前的:

正则化是解决高方差或模型过拟合的主要手段,过去[……]

继续阅读

深度学习知识卡片:偏差与方差

继续之前的:

那么部署你的机器学习模型需要注意些什么?下图展示了构建 ML 应用所需要的数据集分割、[……]

继续阅读

深度学习知识卡片:深度神经网络的特点

继续之前的:

  • 左上:神经网络的参数化容量随层数增加而指数式地增长,即某些深度神经网络能解决的问题,浅层神经网络需要相对的指数量级的计算才[……]

    继续阅读

超越 ReLU 的激活函数:GeLU

NLP 领域里,GeLU 已经成为了众多业内最佳模型的选择。

作为决定神经网络是否传递信息的「开关」,激活函数对于神经网络而言至关重要。不过今天被人们普遍采用的 ReLU 真的是最高效的方法吗?最近在社交网络上,人们找到了一个看来更强大的激活函数:GeLU,这种方法早在 2016 年即被人[……]

继续阅读

深度学习知识卡片:Logistic 回归

继续之前的:

  • 左上:logistic 回归主要用于二分类问题,如图中所示,logistic 回归可以求解一张图像是不是猫的问题,其中图像是输入(x),猫(1)或非猫(0)是输出。我们可以将 logistic 回归看成将两组数据点分离[……]

    继续阅读

《数据竞赛白皮书上/下篇》PDF 下载

近年来,数据竞赛已经成为大数据与人工智能领域的热门话题。据不完全统计,2014 年开始,全球赛事超 1000 场,仅中国的竞赛场次年均增长达 108.8%,累计超 120 万人次参加,奖金累计达到 2.8 亿人民币。拥有这样的增长趋势,数据竞赛已经呈现出了独特的技术价值、业务价值和创新价值,等待着产[……]

继续阅读