新一代 MNIST 数据集 – QMNIST

在机器学习研究中，MNIST 手写数字图像数据集已经作为基准使用了二十余年。该数据集虽然经典，但也存在测试集过小等问题。近日，来自 Facebook 和纽约大学的研究者重建并扩展了该数据集，在测试集中新增了 50,000 个样本。MNIST 作者之一的 Yann LeCun 在推特中表示：

如果多次使用原版的 MNIST 测试集，你的模型可能在测试集上已经过拟合了。是时候在新增的样本上试一下了。

MNIST 是一个由 Yann Lecun 等人创建的手写数字图像数据集，是研究者研究机器学习、模式识别等任务的高质量数据库。它包含训练集和测试集，训练集包含 60,000 个样本，测试集包含 10,000 个样本。

MNIST 数据集抽取自 NIST 数据库。NIST 手写字符集第一个分区的发布要早一年，其训练集是由 2,000 名人口普查局雇员手写的，而测试集更加有挑战性，是由 500 名在校生手写的。

LeCun、Cortes 和 Burges 的其中一个目的是创建一个分布相似的训练集和测试集。据他们描述，这个过程产生了两个 60,000 个样本的集合。然后通过下采样将测试集样本数降低到 10,000 个，可能是因为用当时的电脑处理这样一个数据集会非常慢。剩余的 50,000 个样本从此就丢失了。

20 多年来，MNIST 数据集都被认为是标准的机器学习基准。在过去的十年来，许多研究者都表达过这个数据集已经被过度使用的观点。尤其是其测试集过小，只有 10,000 样本，这引起了很多担忧。数以百计的论文都依据这同一个测试集，得到的性能越来越高。那么模型是否已经在测试集上过拟合？我们还能否相信在该数据集上取得的新结论？机器学习数据集到底能用多久？

为了解决原版 MNIST 测试集过小等问题，来自 Facebook 和研究者决定重建该数据集。QMNIST 的 GitHub 页上提供了 Pytorch 平台的 QMNIST 数据加载器，需要将数据集下载至与 pytorch.py 相同的文件夹下将网络下载选项设置为 download=’True’。

它与标准的 Pytorch MNIST 数据加载器兼容。

项目 GitHub 地址