胸部放射影像数据集:CheXpert

在这次新冠肺炎『战疫』中,面向医疗医学的深度学习与新一代人工智能科研攻关越显重要。如:在 Keras 中通过递归神经网络(RNN)为时间序列数据建模;使用 MedNIST 数据集进行医学图像分类;应用深度学习数据科学工作流在医疗领域;使用 DIGITS 实现医学影像分割;使用 TensorFlow 实现图像分类;使用 R 和 MXNet 实现医学影像分析;使用 GAN 对医学图像进行数据集扩展与图像分割;将由粗到细的上下文记忆应用于医学影像 …… 都是非常热门的研究方向。

其中,胸部放射影像是全球最常见的影像检查,对很多威胁终身的疾病的筛查、诊断和治疗至关重要。在论文《CheXpert: A Large Chest Radiograph Dataset with Uncertainty Labels and Expert Comparison》中,作者介绍了一种用于解释胸部放射影像的大型数据集 —— CheXpert(Chest eXpert)。该数据集包含来自 65,240 个病人的 224,316 张胸部放射影像,这些影像中标注了 14 种常见的胸部放射影像观察结果。作者设计了一个标注工具,它能够从放射报告文本中提取观察结果并使用不确定性标签捕捉报告中存在的不确定性。

CheXpert 的任务是要根据多视角胸部放射影像来预测 14 种不同观察结果的概率。作者尤其关注数据集中的不确定性标签,并研究了结合这些不确定性标签来训练模型的不同方法。然后在包含 200 项标记的验证集上评估了这些不确定性方法的性能,这些标注真值由 3 位放射科医生一致确定,他们用放射影像注释了该验证集。作者根据病理的临床意义和在数据集中的流行程度,在 5 个选定的观察结果上评估其方法,发现不同的不确定性方法能够用于不同的观察结果。

新冠肺炎开放知识图谱数据集

『山川异域,风月同天』—— 新冠肺炎疫情牵动着举国上下的心,包括跨象乘云™ 在内,众多高科技企业除了向灾区捐赠物资,配合疫情防控工作,延期复工 / 远程办公的同时,也在积极探索如何利用大数据、新一代人工智能等新技术为『战疫』助力。

近日,OpenKG 联合国内多家科研机构,发布了新冠肺炎开放知识图谱数据集,包括 ——

  • 新冠百科图谱 —— 包括病毒、细菌、流行病、传染病等相关实体。图谱以病毒、细菌为主体,扩展了治疗,疾病等相关内容,通过了这些概念的百科知识,形成了新冠百科图谱。可应用于面向新冠相关术语的语义检索、智能问答,并可用于新冠相关文档的智能搜索和推荐。
  • 新冠科研图谱 ——  VirusNetwork 图谱搜集、整理、关联与新冠病毒相关的科研基础数据和科研文献,为后续进一步研究提供数据支撑。数据集来源于 NCBI(美国国家生物技术信息中心网站)中的 Taxonomy 板块,从其中 Viruses 『超界』开始,逐层爬取构建数据集。涉及的概念主要是病毒的家族层级,比如病毒的属、种、目等,即从顶层到分支、枝叶,构建出一颗病毒的家族树。
  • 新冠临床图谱 —— 从目前已有的规范文件入手,基于诊疗规范(流行病学 + 症状 + 实验室指标 + 治疗)、研究进展(测序、药物开发、疫苗)、发病统计(丁香园), 将研究进展与科研相关联。图谱以新冠肺炎为核心延展至病毒、治疗方案、症状、方剂等各类概念,形成新冠临床知识图谱,可基于该图谱进行知识问答。
  • 新冠英雄图谱 —— 包括了医疗专家组、因公殉职英雄、武汉当地和全国各地的意见领袖等,涉及生平事迹和基本属性,并与新冠百科、新冠科研、新冠临床等图谱中的一些概念或实体关联。图谱以新冠病毒专家为核心延展至履历、成果、事件、战役等各类概念,形成新冠英雄知识图谱,可基于图谱进行英雄人物动态展示。
  • 新冠热点事件图谱 —— 包含了疫情发生以来一系列的重大事件的知识,事件之间遵循顺承关系,从发生时间,信息来源,标题,事件内容简介等各个维度来揭示疫情。和上面的新冠百科、新冠科研、新冠临床、新冠防控、新冠英雄等图谱均能建立关联,后续版本还会对事件简介中的非结构化内容进行语义标注和实体链接。支持对新型冠状病毒的事件在时间上的正向和反向索引。并提供系列事件发展脉络的枚举。支持热点事件的查证溯源。和区块链技术结合可具备对事件的存真鉴伪的功能。

The Car Connection 汽车数据集

关于汽车的项目很多,比如拍照识车、汽车比价等等,尽管这些项目本身难度不大,但是往往受制于数据集的质量,模型的效果不能很好的发挥。Nicolas Gervais 近日发布了一个关于汽车的数据集,数据相当全质量也相当高,为面向汽车工程类的大数据分析机器学习自动驾驶等方向的科研实验室项目,提供有效的支撑帮助。数据集的来源是 The Car Connection 网站,该网站是全球最大的汽车评测网站之一,致力于让汽车研究更加容易。

The Car Connection
The Car Connection

数据集包括 297,000 张图片,但是其中许多是汽车的内部图像,关于汽车的外观大概有 60,000 张照片。所有的文件都对汽车的 15 个参数进行了标注:’Make’, ‘Model’, ‘Year’, ‘MSRP’, ‘Front Wheel Size (in)’, ‘SAE Net Horsepower @ RPM’, ‘Displacement’, ‘Engine Type’, ‘Width, Max w/o mirrors (in)’, ‘Height, Overall (in)’, ‘Length, Overall (in)’, ‘Gas Mileage’, ‘Drivetrain’, ‘Passenger Capacity’, ‘Passenger Doors’, ‘Body Style’

GitHub地址项目 GitHub 地址

Google 再发布改进自然语言理解模型的新数据集

此前,《Google 发布两个全新的自然语言对话数据集》,然而,词序和语法结构对句意有很大影响,换而言之细微的词序调整也可能会完全改变句意。请思考以下例句:

  • Flights from New York to Florida. – 从纽约飞往佛罗里达的航班。
  • Flights to Florida from New York. – 从纽约飞往佛罗里达的航班。
  • Flights from Florida to New York. – 从佛罗里达飞往纽约的航班。

和第 3 句的意思截然不同,称为 非释义对 (Non-Paraphrase Pairs)。识别对应语句对是否为释义对的任务称为释义识别 (Paraphrase Identification),对自然语言理解 (Natural Language Understanding, NLU) 的实际应用(如问答系统)至关重要。

可能有些出乎意料,但如果仅在现有的数据集上训练,即使是 BERT 等最高水准 (SOTA) 模型也无法正确识别许多非释义对之间的差异(如上文中的第 1 句和第 3 句)。这是由于现有的数据集缺乏针对这种情况的训练数据。因此,即使能够理解复杂的上下文句式的机器学习模型,也很难理解此类任务。

为解决这一问题,Google 发布两个新数据集以帮助社区进行相关研究:

  • PAWS (Paraphrase Adversaries from Word Scrambling) 英文数据集;
  • PAWS-X 数据集,基于 PAWS 数据集并扩展为六种不同语言:法语、西班牙语、德语、中文、日语和朝鲜语。

两个数据集均包含结构完整、单词重叠度较高的句对,其中约有一半是释义对,而另一半是非释义对。通过在 SOTA 模型的训练数据中加入新数据,我们将算法的精确度从低于 50% 提升至 85-90%。

德语 (DE) 和中文 (ZH) 的人工翻译句对示例
德语 (DE) 和中文 (ZH) 的人工翻译句对示例

与之前相比,即便使用新的训练示例,无法获得非本地上下文信息的模型同样会训练失败。因此,新数据集也成为了测量模型对词序和单词结构敏感度的实用工具。

PAWS 数据集包含 108,463 个由人工标记的英文句对,这些数据来源于 Quora Question Pairs (QQP) 和维基百科。PAWS-X 包含 23,659 个由人工翻译的 PAWS 评估句对 (Evaluation Pairs) 和 296,406 个机器翻译的训练句对。下表列出了两个数据集的详细统计数据。

PAWS-X 的训练集是 PAWS Wiki 英文数据集中某个子集的机器翻译
PAWS-X 的训练集是 PAWS Wiki 英文数据集中某个子集的机器翻译

GitHub地址项目 GitHub 地址

新一代人工智能科研数据集

近日,skymind.ai 发布了一份非常全面的开源数据集。内容包括生物识别、自然图像以及深度学习图像等数据集,现将最近新增数据集整理如下 ——

  • 开源生物识别数据。
    http://openbiometrics.org/
  • Google Audioset:扩展了 632 个音频分类样本,并从 YouTube 视频中提取了 2,084,320 个人类标记的 10 秒声音片段。
    地址:https://research.google.com/audioset/
  • Uber 2B trip data:首次展示 2 百万公里的出行数据。
    地址:https://movement.uber.com/cities
  • Yelp Open Dataset:Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集。
    地址:https://www.yelp.com/dataset
  • Core50:用于连续目标识别的新数据集和基准。
    地址:https://vlomonaco.github.io/core50/
  • Kaggle 数据集:https://www.kaggle.com/datasets
  • Data Portal:http://dataportals.org/
  • Open Data Monitor:https://opendatamonitor.eu/
  • Quandl Data Portal:https://www.quandl.com/
  • Mut1ny 头部/面部分割数据集:http://www.mut1ny.com/face-headsegmentation-dataset
  • Github 上的优秀公共数据集:https://www.kdnuggets.com/2015/04/awesome-public-datasets-github.html
  • 头部 CT 扫描数据集:491 次扫描的 CQ500 数据集。
    地址:http://headctstudy.qure.ai/

自然图像数据集

  • MNIST:手写数字图像。最常用的可用性检查。格式 25×25、居中、黑白手写数字。这是一项简单的任务——仅某部分适用于 MNIST,不意味着它有效。
    地址:http://yann.lecun.com/exdb/mnist/
  • CIFAR10 / CIFAR100:32×32 彩色图像,10/100 类。虽然仍有趣却不再常用的可用性检查。
    地址:http://www.cs.utoronto.ca/~kriz/cifar.html
  • Caltech 101:101 类物体的图片。
    地址:http://www.vision.caltech.edu/Image_Datasets/Caltech101/
  • Caltech 256:256 类物体的图片。
    地址:http://www.vision.caltech.edu/Image_Datasets/Caltech256/
  • STL-10 数据集:用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。像修改过的 CIFAR-10。
    地址:http://cs.stanford.edu/~acoates/stl10/
  • The Street View House Numbers (SVHN):Google 街景中的门牌号码。可以把它想象成复现的户外 MNIST。
    地址:http://ufldl.stanford.edu/housenumbers/
  • NORB:玩具摆件在各种照明和姿势下的双目图像。
    地址:http://www.cs.nyu.edu/~ylclab/data/norb-v1.0/
  • Pascal VOC:通用图像分割/分类——对于构建真实世界图像注释不是非常有用,但对基线很有用。
    地址:http://pascallin.ecs.soton.ac.uk/challenges/VOC/
  • Labelme:带注释图像的大型数据集。
    地址:http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php
  • ImageNet:新算法的客观图像数据集(de-facto image dataset)。许多图像 API 公司都有来自其 REST 接口的标签,这些标签近 1000 类;WordNet; ImageNet 的层次结构。
    地址:http://image-net.org/
  • LSUN:具有很多辅助任务的场景理解(房间布局估计,显著性预测(saliency prediction)等),有关联竞赛。(associated competition)。
    地址:http://lsun.cs.princeton.edu/2016/
  • MS COCO:通用图像理解/说明,有关联竞赛。
    地址:http://mscoco.org/
  • COIL 20:不同物体在 360 度旋转中以每个角度成像。
    地址:http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.php
  • COIL100:不同物体在 360 度旋转中以每个角度成像。
    地址:http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php
  • Google 开源图像:有 900 万张图像的网址集合,这些图像通过知识共享(Creative Commons)被标注成 6000 多个类别。
    地址:https://research.googleblog.com/2016/09/introducing-open-images-dataset.html

地理空间数据

  • OpenStreetMap:免费提供整个星球的矢量数据。它包含(旧版)美国人口普查局的数据。
    地址:http://wiki.openstreetmap.org/wiki/Planet.osm
  • Landsat8:整个地球表面的卫星视角图,每隔几周更新一次。
    地址:https://landsat.usgs.gov/landsat-8
  • NEXRAD:美国大气层的多普勒雷达扫描图。
    地址:https://www.ncdc.noaa.gov/data-access/radar-data/nexrad

人工数据集

  • Arcade Universe:一个人工数据集生成器,图像包含街机游戏 sprite,如 tetris pentomino / tetromino。该生成器基于 O. Breleux 的 bugland 数据集生成器。
    地址:https://github.com/caglar/Arcade-Universe
  • 以 Baby AI School 为灵感的数据集集合。
    地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAISchool
  • Baby AI Shapes Dataset:区分 3 种简单形状。
    地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAIShapesDatasets
  • Baby AI Image And Question Dataset:一个问题-图像-答案数据集。
    地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAIImageAndQuestionDatasets
  • Deep Vs Shallow Comparison ICML2007:为实证评估深层架构而生成的数据集。
    地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/DeepVsShallowComparisonICML2007
  • MnistVariations:在 MNIST 中引入受控变化。
    地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/MnistVariations
  • RectanglesData:区分宽矩形和垂直矩形。
    地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/RectanglesData
  • ConvexNonConvex:区分凸形和非凸形状。
    地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/ConvexNonConvex
  • BackgroundCorrelation:嘈杂 MNIST 背景下相关度的控制
    地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BackgroundCorrelation

人脸数据集

  • Labelled Faces in the Wild:13000 个经过裁剪的人脸区域(使用已经用名称标识符标记过的 Viola-Jones)。数据集中每个人员的子集里包含两个图像——人们常用此数据集训练面部匹配系统。
    地址:http://vis-www.cs.umass.edu/lfw/
  •  UMD Faces:有 8501 个主题的 367,920 个面孔的带注释数据集。
    地址:http://www.umdfaces.io/
  • CASIA WebFace:超过 10,575 个人经面部检测的 453,453 张图像的面部数据集。需要一些质量过滤。
    地址:http://www.cbsr.ia.ac.cn/english/CASIA-WebFace-Database.html
  • MS-Celeb-1M:100 万张全世界的名人图片。需要一些过滤才能在深层网络上获得最佳结果。
    地址:https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/
  • Olivetti:一些人类的不同图像。
    地址:http://www.cs.nyu.edu/~roweis/data.html
  • Multi-Pie:The CMU Multi-PIE Face 数据库。
    地址:http://www.multipie.org/
  • Face-in-Action:http://www.flintbox.com/public/project/5486/
  • JACFEE:日本和白种人面部情绪表达的图像。
    地址:http://www.humintell.com/jacfee/
  • FERET:面部识别技术数据库。
    地址:http://www.itl.nist.gov/iad/humanid/feret/feret_master.html
  • mmifacedb:MMI 面部表情数据库。
    地址:http://www.mmifacedb.com/
  • IndianFaceDatabase:http://vis-www.cs.umass.edu/~vidit/IndianFaceDatabase/
  • 耶鲁人脸数据库:http://vision.ucsd.edu/content/yale-face-database
  • 耶鲁人脸数据库 B:http://vision.ucsd.edu/~leekc/ExtYaleDatabase/ExtYaleB.html
  •  Mut1ny 头部/面部分割数据集:像素超过 16K 的面部/头部分割图像
    地址:http://www.mut1ny.com/face-headsegmentation-dataset

视频数据集

  • Youtube-8M:用于视频理解研究的大型多样化标记视频数据集。
    地址:https://research.googleblog.com/2016/09/announcing-youtube-8m-large-and-diverse.html

文本数据集

  • 20 newsgroups:分类任务,将出现的单词映射到新闻组 ID。用于文本分类的经典数据集之一,通常可用作纯分类的基准或任何 IR /索引算法的验证。
    地址:http://qwone.com/~jason/20Newsgroups/
  • 路透社新闻数据集:(较旧)纯粹基于分类的数据集,包含来自新闻专线的文本。常用于教程。
    地址:https://archive.ics.uci.edu/ml/datasets/Reuters-21578+Text+Categorization+Collection
  • 宾州树库:用于下一个单词或字符预测。
    地址:http://www.cis.upenn.edu/~treebank/
  • UCI‘s Spambase:来自著名的 UCI 机器学习库的(旧版)经典垃圾邮件数据集。根据数据集的组织细节,可以将它作为学习私人垃圾邮件过滤的基线。
    地址:https://archive.ics.uci.edu/ml/datasets/Spambase
  • Broadcast News:大型文本数据集,通常用于下一个单词预测。
    地址:http://www.ldc.upenn.edu/Catalog/CatalogEntry.jsp?catalogId=LDC97S44
  • 文本分类数据集:来自 Zhang et al., 2015。用于文本分类的八个数据集合集。这些是用于新文本分类基线的基准。样本大小从 120K 至 3.6M 不等,范围从二进制到 14 个分类问题。数据集来自 DBPedia、亚马逊、Yelp、Yahoo!和 AG。
    地址:https://drive.google.com/drive/u/0/folders/0Bz8a_Dbh9Qhbfll6bVpmNUtUcFdjYmF2SEpmZUZUcVNiMUw1TWN6RDV3a0JHT3kxLVhVR2M
  • WikiText:来自维基百科高质量文章的大型语言建模语料库,由 Salesforce MetaMind 策划。
    地址:http://metamind.io/research/the-wikitext-long-term-dependency-language-modeling-dataset/
  • SQuAD:斯坦福问答数据集——应用广泛的问答和阅读理解数据集,其中每个问题的答案都以文本形式呈现。
    地址:https://rajpurkar.github.io/SQuAD-explorer/
  • Billion Words 数据集:一种大型通用语言建模数据集。通常用于训练分布式单词表征,如 word2vec。
    地址:http://www.statmt.org/lm-benchmark/
  • Common Crawl:网络的字节级抓取——最常用于学习单词嵌入。可从 Amazon S3 上免费获取。也可以用作网络数据集,因为它可在万维网进行抓取。
    地址:http://commoncrawl.org/the-data/
  • Google Books Ngrams:来自 Google book 的连续字符。当单词首次被广泛使用时,提供一种简单的方法来探索。
    地址:https://aws.amazon.com/datasets/google-books-ngrams/
  • Yelp 开源数据集:Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集。
    地址:https://www.yelp.com/dataset

问答数据集

  • Maluuba News QA 数据集:CNN 新闻文章中的 12 万个问答对。
    地址:https://datasets.maluuba.com/NewsQA
  • Quora 问答对:Quora 发布的第一个数据集,包含重复/语义相似性标签。
    地址:https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs
  • CMU Q / A 数据集:手动生成的仿真问/答对,维基百科文章对其难度评分很高。
    地址:http://www.cs.cmu.edu/~ark/QA-data/
  • Maluuba 面向目标的对话:程序性对话数据集,对话旨在完成任务或做出决定。常用于聊天机器人。
    地址:https://datasets.maluuba.com/Frames
  • bAbi:来自 Facebook AI Research(FAIR)的综合阅读理解和问答数据集。
    地址:https://research.fb.com/projects/babi/
  • The Children’s Book Test:Project Gutenberg 提供的儿童图书中提取的(问题+背景、答案)对的基线。用于问答(阅读理解)和仿真查找。
    地址:http://www.thespermwhale.com/jaseweston/babi/CBTest.tgz

情感数据集

  • 多领域情绪分析数据集:较旧的学术数据集。
    地址:http://www.cs.jhu.edu/~mdredze/datasets/sentiment/
  • IMDB:用于二元情感分类的较旧、较小数据集。对文献中的基准测试无法支持更大的数据集。
    地址:http://ai.stanford.edu/~amaas/data/sentiment/
  • Stanford Sentiment Treebank:标准情感数据集,在每个句子解析树的每个节点都有细粒度的情感注释。
    地址:http://nlp.stanford.edu/sentiment/code.html

推荐和排名系统

  • Movielens:来自 Movielens 网站的电影评分数据集,各类大小都有。
    地址:https://grouplens.org/datasets/movielens/
  • Million Song 数据集:Kaggle 上元数据丰富的大型开源数据集,可以帮助人们使用混合推荐系统。
    地址:https://www.kaggle.com/c/msdchallenge
  • Last.fm:音乐推荐数据集,可访问深层社交网络和其它可用于混合系统的元数据。
    地址:http://grouplens.org/datasets/hetrec-2011/
  • Book-Crossing 数据集:来自 Book-Crossing 社区。包含 278,858 位用户提供的约 271,379 本书的 1,149,780 个评分。
    地址:http://www.informatik.uni-freiburg.de/~cziegler/BX/
  • Jester:来自 73,421 名用户对 100 个笑话的 410 万个连续评分(分数从-10 至 10)。
    地址:http://www.ieor.berkeley.edu/~goldberg/jester-data/
  • Netflix Prize:Netflix 发布了他们的电影评级数据集的匿名版;包含 480,000 名用户对 17,770 部电影的 1 亿个评分。首个主要的 Kaggle 风格数据挑战。随着隐私问题的出现,只能提供非正式版。
    地址:http://www.netflixprize.com/

网络和图形

  • Amazon Co-Purchasing:亚马逊评论从「购买此产品的用户也购买了……」这一部分抓取数据,以及亚马逊相关产品的评论数据。适合在网络中试行推荐系统。
    地址:http://snap.stanford.edu/data/#amazon
  • Friendster 社交网络数据集:在变成游戏网站之前,Friendster 以朋友列表的形式为 103,750,348 名用户发布了匿名数据。
    地址:https://archive.org/details/friendster-dataset-201107

语音数据集

  • 2000 HUB5 English:最近在 Deep Speech 论文中使用的英语语音数据,从百度获取。
    地址:https://catalog.ldc.upenn.edu/LDC2002T43
  • LibriSpeech:包含文本和语音的有声读物数据集。由多个朗读者阅读的近 500 小时的各种有声读物演讲内容组成,包含带有文本和语音的章节。
    地址:http://www.openslr.org/12/
  • VoxForge:带口音的清晰英语语音数据集。适用于提升不同口音或语调鲁棒性的案例。
    地址:http://www.voxforge.org/
  • TIMIT:英语语音识别数据集。
    地址:https://catalog.ldc.upenn.edu/LDC93S1
  • CHIME:嘈杂的语音识别挑战数据集。数据集包含真实、仿真和干净的录音。真实录音由 4 个扬声器在 4 个嘈杂位置的近 9000 个录音构成,仿真录音由多个语音环境和清晰的无噪声录音结合而成。
    地址:http://spandh.dcs.shef.ac.uk/chime_challenge/data.html
  • TED-LIUM:TED 演讲的音频转录。1495 个 TED 演讲录音以及这些录音的文字转录。
    地址:http://www-lium.univ-lemans.fr/en/content/ted-lium-corpus

音符音乐数据集

  • Piano-midi.de: 古典钢琴曲
    地址:http://www.piano-midi.de/
  • Nottingham : 超过 1000 首民谣
    地址:http://abc.sourceforge.net/NMD/
  • MuseData: 古典音乐评分的电子图书馆
    地址:http://musedata.stanford.edu/
  • JSB Chorales: 四部协奏曲
    地址:http://www.jsbchorales.net/index.shtml

其它数据集

  • CMU 动作抓取数据集:http://mocap.cs.cmu.edu/
  • Brodatz dataset:纹理建模。
    地址:http://www.ux.uis.no/~tranden/brodatz.html
  • 来自欧洲核子研究中心的大型强子对撞机(LHC)的 300TB 高质量数据。
    地址:http://opendata.cern.ch/search?ln=en&p=Run2011A+AND+collection:CMS-Primary-Datasets+OR+collection:CMS-Simulated-Datasets+OR+collection:CMS-Derived-Datasets
  • 纽约出租车数据集:由 FOIA 请求而获得的纽约出租车数据,导致隐私问题。
    地址:http://www.nyc.gov/html/tlc/html/about/trip_record_data.shtml
  • Uber FOIL 数据集:来自 Uber FOIL 请求的纽约 4.5M 拾取数据。
    地址:https://github.com/fivethirtyeight/uber-tlc-foil-response
  • Criteo 点击量数据集:来自欧盟重新定位的大型互联网广告数据集。
    地址:http://research.criteo.com/outreach/

健康 & 生物数据

  • 欧盟传染病监测图集:http://ecdc.europa.eu/en/data-tools/atlas/Pages/atlas.aspx
  • 默克分子活动挑战:http://www.kaggle.com/c/MerckActivity/data
  • Musk dataset: Musk dataset 描述了以不同构造出现的分子。每个分子都是 musk 或 non-musk,且其中一个构造决定了这一特性。
    地址:https://archive.ics.uci.edu/ml/datasets/Musk+(Version+2)

政府 & 统计数据

  • Data USA: 最全面的可视化美国公共数据。
    地址:http://datausa.io/
  • 欧盟性别统计数据库:http://eige.europa.eu/gender-statistics
  • 荷兰国家地质研究数据 :http://www.nationaalgeoregister.nl/geonetwork/srv/dut/search#fast=index&from=1&to=50&any_OR_geokeyword_OR_title_OR_keyword=landinrichting*&relation=within
  • 联合国开发计划署项目:http://open.undp.org/#2016

Google 发布两个全新的自然语言对话数据集

如今的智能助理功能十分强大,被寄希望于完成多类任务并对不同主题的请求返回个性化结果,例如获取上映电影列表、预订餐厅和做计划旅行等。

然而,尽管智能助理近年来已取得巨大进步,但依旧未能达到人类的理解力水平。

这在一定程度上是由于我们缺乏优质训练数据,无法将人们的需求和偏好准确的反映给智能助理。系统的局限性导致在理解人类话语时会有偏差,我们为了让智能助理能够理解,不得不调整自己的措辞。换言之,现今智能助理的对话仍旧十分简单,远未达到人类理解所需的对话复杂度。

为解决该问题,Google 发布 Coached Conversational Preference Elicitation (CCPE)Taskmaster-1 英文对话数据集。

偏好导向 (Preference Elicitation) 数据集

在电影导向型 CCPE 数据集中,扮演“用户”的人员对着麦克风讲话,之后我们会向扮演“智能助理”的人员直接播放所录的音频。“智能助理”则以文字形式输出其响应,然后通过文字转语音向“用户”播放。这些双人对话中难免会出现双方之间自然发生的卡顿问题和错误,而这很难通过合成对话复制出来。由此,我们便能针对人们的电影偏好,创建一系列自然的结构化对话集合。

通过深入分析此数据集,我们发现人们会采用极其丰富的方式来描述自己的偏好。该数据集首次大规模展现了这种 丰富性。

我们还发现,人们的偏好与智能助理(或本例中的推荐网站)描绘选项的方式并不总是相符。换言之,您在搜索自己喜欢的电影或服务时所使用的的关键词,与您在向他人推荐您喜欢的电影时,使用的描述词汇可能会并不相同。

任务导向型对话数据集

askmaster-1 数据集结合使用上述方法和单人书面会话这两种方式来增加语料库规模和发言者的 多样性,最终得出约 7700 条书面的“自我对话”以及约 5500 个双人口语对话。

在书面对话中,我们会为每个任务概述相关场景,让人们据此自行创建完整对话,从而同时扮演“用户”和“助理”的角色。虽然口语对话更能真实反映双方语言上的交互,但书面对话在丰富度和复杂度方面都表现良好,并且收集这些数据的难度和成本也更低。我们基于以下 六项任务 之一来创建数据集:订披萨、进行汽车维修预约、租车、订购电影票、订咖啡和预订餐厅。

该数据集还使用简单的注释架构,为数据提供丰富的背景信息,同时让工作人员为对话添加标签时,能更好的保持一致性。传统意义上的详细策略很难使工作人员再添加标签时保持稳定的一致性,与之相比,我们只关注每类会话的 API 参数,即执行事务所需的变量。

如:在一个有关拼车安排的对话中,我们会为“目的地”和“出发地”位置以及车型(经济车、豪华车、拼车等)分别附加标签。在预定电影票时,我们为电影名称、影院、时间和票数附加标签,有时还会为放映类型(如 3D 或标准版)附加标签。语料库发布中随附有完整的标签列表。

我们希望这些数据集将能在对话系统和会话推荐的研究课题中,助力学术圈顺利开展实验和分析。

DeepFashion:服装公开数据集

Large-scale Fashion (DeepFashion) Database
Large-scale Fashion (DeepFashion) Database

DeepFashion 是香港中文大学开放的一个 large-scale 数据集。包含 80 万张图片,包含不同角度,不同场景,买家秀,买家秀等图片。

每张图片也有非常丰富的标注信息,包括 50 种类别,1000 种属性,Bbox,特征点。

还有约 30 万的不同姿势/不同场景的图片 pairs。

实际上 DeepFashion 是由4个子集组成的。它们分别是:

1. Category and Attribute Prediction Benchmark

这个子集是用来做分类和属性预测的。共有 50 分类标记,1000 属性标记。包含 289,222 张图像。每张图像都有 1 个类别标注,1000 个属性标注,Bbox 边框,landmarks。数据集下载后可以直接使用。

 Category and Attribute Prediction Benchmark
Category and Attribute Prediction Benchmark

2. In-shop Clothes Retrieval Benchmark

这个是卖家秀图片集,每个商品 id,有多张不同角度的卖家秀,放在同一个文件夹内。7982 件商品,共 52712 张图像,每张图片都有 463 中属性,Bbox,landmarks,以及店铺描述。数据集下载后解压需要密码,密码需要邮件联系作者获取。

In-shop Clothes Retrieval Benchmark
In-shop Clothes Retrieval Benchmark

3. Consumer-to-shop Clothes Retrieval Benchmark

这个子集是卖家秀买家秀对应的数据集,每个商品id对应的文件夹中包含一张卖家秀和几张买家秀。33 881 种商品,共 239 557 张图片。每张图片都有 Bbox,303 种属性,以及来源说明(卖家,买家)。数据集解压同样需要密码。

Consumer-to-shop Clothes Retrieval Benchmark
Consumer-to-shop Clothes Retrieval Benchmark

4. Fashion Landmark Detection Benchmark:

这个子集主要是做 landmark和 Bbox 用的,包含 123 016 张图片,每张图片都有 landmarks 和 Bbox 的标记,还有类别标注(上衣,下装,全身),以及姿态(正常姿势,大幅度姿势等)信息。数据集可直接使用。

Fashion Landmark Detection Benchmark
Fashion Landmark Detection Benchmark

2019 年中国人工智能基础数据服务白皮书

人工智能基础数据服务:指为 AI 算法训练及优化提供的数据采集、清洗、信息抽取、标注等服务,以采集和标注为主。《2019 年中国人工智能基础数据服务白皮书》由艾瑞和百度数据众包联合发布,报告主要分析中国人工智能基础数据服务的现状以及未来发展方向,重点讨论人工智能基础数据服务的价值、发展背景、产业链、市场空间和应用场景。

在经历了一段时期的野蛮生长之后,人工智能基础数据服务行业进入成长期,行业格局逐渐清晰。人工智能基础数据服务方的上游是数据生产和外包提供者,下游是 AI 算法研发单位,人工智能基础数据服务方通过数据处理能力和项目管理能力为其提供整体的数据资源服务,不过 AI 算法研发单位和 AI 中台也可提供一些数据处理工具,产业上下游普遍存在交叉。

2018 年中国人工智能基础数据服务市场规模为 25.86 亿元,其中数据资源定制服务占比 86%,预计 2025年市场规模将突破 113 亿元。市场供给方主要由人工智能基础数据服务供应商和算法研发单位自建或直接获取外包标注团队的形式组成,其中供应商是行业主要支撑力量。

数据安全、采标能力、数据质量、管理能力、服务能力等仍是需求方的痛点,需要人工智能基础服务商有明确具体的安全管理流程、能够深入理解算法标注需求、可提供精力集中且高质量的服务、能够积极配合、快速响应需求方的要求。

随着算法需求越来越旺盛,依赖人工标注不能满足市场需求,因此增强数据处理平台持续学习能力,由机器持续学习人工标注,提升预标注和自动标注能力对人工的替代率将成趋势。远期,越来越多的长尾、小概率事件所产生的数据需求增强,机器模拟或机器生成数据会是解决这一问题的良好途径,及早研发相应技术也将成为 AI 基础数据服务商未来的护城河。

新一代 MNIST 数据集 – QMNIST

在机器学习研究中,MNIST 手写数字图像数据集已经作为基准使用了二十余年。该数据集虽然经典,但也存在测试集过小等问题。近日,来自 Facebook 和纽约大学的研究者重建并扩展了该数据集,在测试集中新增了 50,000 个样本。MNIST 作者之一的 Yann LeCun 在推特中表示

如果多次使用原版的 MNIST 测试集,你的模型可能在测试集上已经过拟合了。是时候在新增的样本上试一下了。

MNIST 数据集
MNIST 数据集

MNIST 是一个由 Yann Lecun 等人创建的手写数字图像数据集,是研究者研究机器学习、模式识别等任务的高质量数据库。它包含训练集和测试集,训练集包含 60,000 个样本,测试集包含 10,000 个样本。

MNIST 数据集抽取自 NIST 数据库。NIST 手写字符集第一个分区的发布要早一年,其训练集是由 2,000 名人口普查局雇员手写的,而测试集更加有挑战性,是由 500 名在校生手写的。

LeCun、Cortes 和 Burges 的其中一个目的是创建一个分布相似的训练集和测试集。据他们描述,这个过程产生了两个 60,000 个样本的集合。然后通过下采样将测试集样本数降低到 10,000 个,可能是因为用当时的电脑处理这样一个数据集会非常慢。剩余的 50,000 个样本从此就丢失了。

20 多年来,MNIST 数据集都被认为是标准的机器学习基准。在过去的十年来,许多研究者都表达过这个数据集已经被过度使用的观点。尤其是其测试集过小,只有 10,000 样本,这引起了很多担忧。数以百计的论文都依据这同一个测试集,得到的性能越来越高。那么模型是否已经在测试集上过拟合?我们还能否相信在该数据集上取得的新结论?机器学习数据集到底能用多久?

为了解决原版 MNIST 测试集过小等问题,来自 Facebook 和研究者决定重建该数据集。QMNIST 的 GitHub 页上提供了 Pytorch 平台的 QMNIST 数据加载器,需要将数据集下载至与 pytorch.py 相同的文件夹下将网络下载选项设置为 download=’True’。

from qmnist import QMNIST

# the qmnist training set, download from the web if not found
qtrain = QMNIST('_qmnist', train=True, download=True)

# the qmnist testing set, do not download.
qtest = QMNIST('_qmnist', train=False)

# the first 10k of the qmnist testing set with extended labels
# (targets are a torch vector of 8 integers)
qtest10k = QMNIST('_qmnist', what='test10k', compat=False, download='True')

# all the NIST digits with extended labels
qall = QMNIST('_qmnist', what='nist', compat=False)

它与标准的 Pytorch MNIST 数据加载器兼容。

GitHub地址项目 GitHub 地址

NLP最新科研福利!MSRA开源学术界最全面语义分析数据集

微软亚洲研究院(MSRA),刚刚送出最新一批 AI 资源和福利。

在“中国高校人工智能人才国际培养计划” 2019 国际人工智能专家论坛暨 2019 微软新一代人工智能开放科研教育平台合作论坛,MSRA 面向高校提供最新的人工智能技术、工具、科研成果,以及数据集。

新增业界最全面的语义分析数据集

在新一代人工智能开放科研教育平台的合作框架下,微软开放了自身人工智能领域的数据集供合作高校在科研和教育工作上进行引用,如微软机器阅读理解(MS MARCO)、微软研究院社交媒体对话语料库、18K 数学文字题测试集 SigmaDolphin 等。

高校也通过平台贡献了各自在多个领域的数据集,如中国科学技术大学类脑实验室的海量类脑数据等。

2019 年,微软亚洲研究院正式发布自然语言处理(NLP)领域全新的语义分析数据集 MSParS (Multi-perspective Semantic ParSing Dataset)。

作为智能音箱、搜索引擎、自动问答和对话系统等人工智能产品中的核心技术,语义分析(Semantic Parsing)面临着因人工标注代价高昂而导致的数据缺乏问题,目前已有的语义分析数据集在数据规模和问题类型覆盖度上非常有限。

为此,微软亚洲研究院提出并构建了 MSParS,该数据集(1.0版本)包含 81,826 个自然语言问题及其对应的结构化语义表示,覆盖 12 种不同的问题类型和 2,071 个知识图谱谓词,是学术界目前最全面的语义分析数据集。未来,微软将与各高校一起开放、共享更多数据,促进产教融合合作生态的建设。

MSParS 数据集:

https://github.com/msra-nlc/MSParS