近期，耶鲁大学创建了一个新型大规模复杂跨域语义解析和 Text-to-SQL 数据集 Spider。研究者用多个当前最优模型进行实验，最好的模型在数据库分割设置下仅能达到 14.3% 的精确匹配准确率。Spider 数据集对未来研究是一个巨大挑战。
新千禧年开始后，每天生产的数据量呈指数级增长，它们大部分存储在关系数据库中。近年来，访问这些数据成为大多数大公司的兴趣，这些公司可以使用结构化查询语言（SQL）查询数据。随着手机的发展，更多个人数据也被存储。因此，更多来自不同背景的人尝试查询和使用自己的数据。尽管目前数据科学非常流行，但是大部分人不具备足够的知识来写 SQL、查询数据。此外，大部分人没有时间学习和了解 SQL。即使对于 SQL 专家，一次又一次地写类似的查询也是很单调的任务。因此，今天海量可用的数据无法有效访问。我们从哪里找到大量问题和 SQL 对标注数据？创建此类数据集非常耗时，因为标注人员必须理解数据库模式，问问题然后写出 SQL 答案，所有这些都需要特定的数据库知识。而让这件事变得更加困难的是：具备多个表的非私人数据库数量非常有限。为了解决该任务对大型高质量数据集的需求，我们创建了数据集 Spider，它包含 200 个具备多个表的数据库、10,181 个问题、5,693 个对应的复杂 SQL 查询。所有这些由 11 名耶鲁大学学生标注完成，共耗时 1,000 小时！
项目 GitHub 地址