互联网上有大量的教学视频，可以帮助我们完成各种各样的挑战，然而，大多数现有的教学视频分析数据集在多样性和规模上都存在局限性，而实际应用程序更加多样化，这使得这些数据集显得匮乏，此外，组织利用这些数据集仍然存在巨大挑战。
为了解决以上问题，清华大学和美图开源了教程类行为视频数据集 COIN（COmprehensive INstructional video analysis）。COIN 数据集采用分层结构组织，包含 11,827 个视频，包含与我们日常生活相关的 12 个领域(如车辆、小玩意等) 180 个任务的视频内容。这些视频均来自 YouTube。视频的平均长度为 2.36 分钟。每个视频都标有 3.91 个片段，每个片段平均持续 14.91 秒。总的来说，数据集包含 476 小时的视频，带有 46,354 个带注释的段。
为了构建具有高度多样性的大型基准，我们提出了一种组织数据集的层次结构，分别为领域层、任务层、步骤层。
- 领域层：对于第一级 COIN，共分为 12 个领域：护理和护工，车辆，休闲，小机械，电器，家居用品，科学与工艺、植物与水果、零食与饮料、运动与家务。
- 任务层：链接到领域层，精细到具体的目的。比如“更换灯泡”与“安装吊扇”的二级分类都归属“电器”领域下。
- 步骤层：第三级是完成不同任务的一系列不同步骤，例如，“拆卸灯罩”、“取出旧灯泡”、“安装新灯泡”、“安装灯罩”等步骤与“更换灯泡”任务相关联。
项目 GitHub 地址