2020 年数据集资源更新

Posted on by 跨象乘云

新增数据集

自然图像数据集

  • MNIST：手写数字图像。最常用的可用性检查。格式 25×25、居中、黑白手写数字。这是一项简单的任务 —— 仅某部分适用于 MNIST，不意味着它有效。
  • CIFAR10 / CIFAR100：32×32 彩色图像，10/100 类。虽然仍有趣却不再常用的可用性检查。
  • Caltech 101：101 类物体的图片。
  • Caltech 256：256 类物体的图片。
  • STL-10 数据集：用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。像修改过的 CIFAR-10。
  • The Street View House Numbers (SVHN)：Google 街景中的门牌号码。可以把它想象成复现的户外 MNIST。
  • NORB：玩具摆件在各种照明和姿势下的双目图像。
  • Pascal VOC：通用图像分割/分类，对于构建真实世界图像注释不是非常有用，但对基线很有用。
  • Labelme：带注释图像的大型数据集。
  • ImageNet：新算法的客观图像数据集（de-facto image dataset）。许多图像 API 公司都有来自其 REST 接口的标签，这些标签近 1,000 类；WordNet；ImageNet 的层次结构。
  • LSUN：具有很多辅助任务的场景理解（房间布局估计，显著性预测（saliency prediction）等），有关联竞赛（associated competition）。
  • MS COCO：通用图像理解/说明，有关联竞赛。
  • COIL 20：不同物体在 360 度旋转中以每个角度成像。
  • COIL100：不同物体在 360 度旋转中以每个角度成像。
  • Google 开源图像：有 900 万张图像的网址集合，这些图像通过知识共享（Creative Commons）被标注成 6,000 多个类别。

地理空间数据

  • OpenStreetMap：免费提供整个星球的矢量数据。它包含（旧版）美国人口普查局的数据。
  • Landsat8：整个地球表面的卫星视角图，每隔几周更新一次。
  • NEXRAD：美国大气层的多普勒雷达扫描图。

人工数据集

人脸数据集

视频数据集

Youtube-8M：用于视频理解研究的大型多样化标记视频数据集。

文本数据集

  • 20 newsgroups：分类任务，将出现的单词映射到新闻组 ID。用于文本分类的经典数据集之一，通常可用作纯分类的基准或任何 IR /索引算法的验证。
  • 路透社新闻数据集：（较旧）纯粹基于分类的数据集，包含来自新闻专线的文本。常用于教程。
  • 宾州树库：用于下一个单词或字符预测。
  • UCI‘s Spambase：来自著名的 UCI 机器学习库的（旧版）经典垃圾邮件数据集。根据数据集的组织细节，可以将它作为学习私人垃圾邮件过滤的基线。
  • Broadcast News：大型文本数据集，通常用于下一个单词预测。
  • 文本分类数据集：来自 Zhang et al., 2015。用于文本分类的八个数据集合集。这些是用于新文本分类基线的基准。样本大小从 120K 至 3.6M 不等，范围从二进制到 14 个分类问题。数据集来自 DBPedia、亚马逊、Yelp、Yahoo！和 AG。
  • WikiText：来自维基百科高质量文章的大型语言建模语料库，由 Salesforce MetaMind 策划。
  • SQuAD：斯坦福问答数据集——应用广泛的问答和阅读理解数据集，其中每个问题的答案都以文本形式呈现。
  • Billion Words 数据集：一种大型通用语言建模数据集。通常用于训练分布式单词表征，如 word2vec。
  • Common Crawl：网络的字节级抓取——最常用于学习单词嵌入。可从 Amazon S3 上免费获取。也可以用作网络数据集，因为它可在万维网进行抓取。
  • Google Books Ngrams：来自 Google book 的连续字符。当单词首次被广泛使用时，提供一种简单的方法来探索。
  • Yelp 开源数据集：Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集。

问答数据集

  • Maluuba News QA 数据集：CNN 新闻文章中的 12 万个问答对。
  • Quora 问答对：Quora 发布的第一个数据集，包含重复/语义相似性标签。
  • CMU Q / A 数据集：手动生成的仿真问/答对，维基百科文章对其难度评分很高。
  • Maluuba 面向目标的对话：程序性对话数据集，对话旨在完成任务或做出决定。常用于聊天机器人。
  • bAbi：来自 Facebook AI Research（FAIR）的综合阅读理解和问答数据集。
  • The Children’s Book Test：Project Gutenberg 提供的儿童图书中提取的（问题+背景、答案）对的基线。用于问答（阅读理解）和仿真查找。

情感数据集

  • 多领域情绪分析数据集：较旧的学术数据集。
  • IMDB：用于二元情感分类的较旧、较小数据集。对文献中的基准测试无法支持更大的数据集。
  • Stanford Sentiment Treebank：标准情感数据集，在每个句子解析树的每个节点都有细粒度的情感注释。

推荐和排名系统

  • Movielens：来自 Movielens 网站的电影评分数据集，各类大小都有。
  • Million Song 数据集：Kaggle 上元数据丰富的大型开源数据集，可以帮助人们使用混合推荐系统。
  • Last.fm：音乐推荐数据集，可访问深层社交网络和其它可用于混合系统的元数据。
  • Book-Crossing 数据集：来自 Book-Crossing 社区。包含 278,858 位用户提供的约 271,379 本书的 1,149,780 个评分。
  • Jester：来自 73,421 名用户对 100 个笑话的 410 万个连续评分（分数从-10 至 10）。
  • Netflix Prize：Netflix 发布了他们的电影评级数据集的匿名版；包含 480,000 名用户对 17,770 部电影的 1 亿个评分。首个主要的 Kaggle 风格数据挑战。随着隐私问题的出现，只能提供非正式版。

网络和图形

  • Amazon Co-Purchasing：亚马逊评论从「购买此产品的用户也购买了……」这一部分抓取数据，以及亚马逊相关产品的评论数据。适合在网络中试行推荐系统。
  • Friendster 社交网络数据集：在变成游戏网站之前，Friendster 以朋友列表的形式为 103,750,348 名用户发布了匿名数据。

语音数据集

  • 2000 HUB5 English：最近在 Deep Speech 论文中使用的英语语音数据，从百度获取。
  • LibriSpeech：包含文本和语音的有声读物数据集。由多个朗读者阅读的近 500 小时的各种有声读物演讲内容组成，包含带有文本和语音的章节。
  • VoxForge：带口音的清晰英语语音数据集。适用于提升不同口音或语调鲁棒性的案例。
  • TIMIT：英语语音识别数据集。
  • CHIME：嘈杂的语音识别挑战数据集。数据集包含真实、仿真和干净的录音。真实录音由 4 个扬声器在 4 个嘈杂位置的近 9,000 个录音构成，仿真录音由多个语音环境和清晰的无噪声录音结合而成。
  • TED-LIUM：TED 演讲的音频转录。1,495 个 TED 演讲录音以及这些录音的文字转录。

音符音乐数据集

其它数据集

健康 &. 生物数据

政府 &. 统计数据

Published by 跨象乘云