继续之前的：
下面就是具体的最优化算法了，包括最基本的小批量随机梯度下降、带动量的随机梯度下降和 RMSProp 等适应性学习率算法。
小批量随机梯度下降（通常 SGD 指的就是这种）使用一个批量的数据更新参数，因此大大降低了一次迭代所需的计算量。这种方法降低了更新参数[……]
继续之前的：
最优化是机器学习模型中非常非常重要的模块，它不仅主导了整个训练过程，同时还决定了最后模型性能的好坏和收敛需要的时长。以下两张信息图都展示了最优化方法需要关注的知识点，包括最优化的准备和具体的最优化方法。
以上展示了最优化常常出现的问题和所需要的操作。首先在执行最优化前，我们需要归一化输入数据，而[……]
继续之前的：
那么部署你的机器学习模型需要注意些什么？下图展示了构建 ML 应用所需要的数据集分割、偏差与方差等问题。
如上所示，经典机器学习和深度学习模型所需要的样本数有非常大的差别，深度学习的样本数是经典 ML 的成千上万倍。因此训练集、开发集和测试集的分配也有很大的区别，当然我们假设这些不同的数据集都服从同分布。
偏差与方差问题同样是机器学习模型中常见的挑战，上图依次展示[……]
继续之前的：
在 NLP 领域里，GeLU 已经成为了众多业内最佳模型的选择。
作为决定神经网络是否传递信息的「开关」，激活函数对于神经网络而言至关重要。不过今天被人们普遍采用的 ReLU 真的是最高效的方法吗？最近在社交网络上，人们找到了一个看来更强大的激活函数：GeLU，这种方法早在 2016 年即被人提出，然而其论文迄今为止在 Google Scholar 上的被引用次数却只有 34 次。其实，GeLU 已经被很多目前最为领先的模型所采用。据不完全统计，BERT、RoBERTa、ALBERT 等目前业内顶尖的 NLP 模型都使用了这种激活函数。另外，在 OpenAI 声名远播的无监督预训练模型[……]
继续之前的：
左上：浅层网络即隐藏层数较少，如图所示，这里仅有一个隐藏层。
左下：这里介绍了不同激活函数的特点：
继续之前的：
此前，跨象乘云™ 发布《Python 知识卡片完整中文版》，覆盖：Bokeh，Jupyter Notebook，Keras，Matplotlib 绘图，Numpy 基础，Pandas 基础，Pandas 进阶，Python 基础，Scikit-Learn，SciPy，Seaborn，Spark RDD 基础，Spark SQL 基础，导入数据等核心技术领域。覆盖了 Python 在数据科学与大数据专业建设课程体系中的绝大部分领域，作为教育资源对学生学习 Python 数据分析，数据处理，科学运算，数据可视化，机器学习等具有极大的参考复习意义。
本期，跨象乘云™ 将继续连载《深度学习知识卡[……]
近年来，数据竞赛已经成为大数据与人工智能领域的热门话题。据不完全统计，2014 年开始，全球赛事超 1000 场，仅中国的竞赛场次年均增长达 108.8%，累计超 120 万人次参加，奖金累计达到 2.8 亿人民币。拥有这样的增长趋势，数据竞赛已经呈现出了独特的技术价值、业务价值和创新价值，等待着产业、学界、政府机构去进一步发现和运用。
日前，数据科学协同平台厂商 —— 和鲸科技联合大数据系统软件国家工程实验室、AWS 发布了《数据竞赛白皮书》。跨象乘云™ 提供全文 PDF 原文下载 —— 整个白皮书分为：《数据竞赛白皮书 – 上篇 – 1000 场竞赛的深度分析》和《数据竞赛白皮书 -[……]
