日前，IBM 发布博文，从数据湖的定义，数据湖的优势，数据湖的演变，数据湖的应用等方面，多角度的阐述了近期日渐火爆的『数据湖』概念。
基本概念
- 数据仓库：数据仓库是一种存储架构，旨在保存从多个数据源提取的数据，这些数据源包括操作数据存储、事务数据存储，以及企业内的部门数据集市。数据仓库将数据组合为一种聚合、摘要形式，适合于进行企业级数据分析以及针对业务需求定制报告。
- 数据湖：数据湖是一种存储库，它以原生格式保存大量原始数据或细化的数据，以供按需访问。这个词有时与 Apache Hadoop 对象存储有关，但数据科学家越来越多地开始使用数据湖这个词来描述任何具有不明确的模式和数据需求的大型数据池。分析师仅在查询数据时定义这些参数。
- 数据沼泽：数据沼泽是一种设计不良、未充分归档或未有效维护的数据湖。这些缺陷损害了检索数据的能力，用户无法有效地分析和利用数据。尽管数据已经存在，但如果没有上下文元数据，数据沼泽就无法检索数据。
为什么我们真的需要数据湖？
- 用作原始数据存储库来满足合规和审核用途（例如录音和录像、文档扫描、文本和日志文件）。
- 作为一个平台，供数据科学家和分析师访问结构化和非结构化数据来进行验证，并在沙箱中运行新的分析模型。
- 作为一个平台，集成来自操作或事务系统的实时数据，并越来越多地集成来自 IoT 设备的传感器数据。
数据仓库提供的聚合和摘要数据对大部分 BI 用户已足够。数据湖的用户可以是审核人员、专业分析师和数据科学家（占少数）。有什么其他令人信服的让企业选择创建数据湖的原因？因此，了解数据湖与数据仓库有何不同是值得的。
数据仓库与数据湖之间有何区别？
数据仓库是一种具有正式架构的成熟的、安全的技术。它们存储经过全面处理的结构化数据，以便完成数据治理流程。数据仓库将数据组合为一种聚合、摘要形式，以在企业范围内使用，并在执行数据写入操作时写入元数据和模式定义。数据仓库通常拥有固定的配置；它们是高度结构化的，因此不太灵活和敏捷。数据仓库成本与在存储前处理所有数据相关，而且大容量存储的费用相对较高。
相较而言，数据湖是较新的技术，拥有不断演变的架构。数据湖存储任何形式（包括结构化和非结构化）和任何格式（包括文本、音频、视频和图像）的原始数据。根据定义，数据湖不会接受数据治理，但专家们都认为良好的数据管理对预防数据湖转变为数据沼泽不可或缺。数据湖在数据读取期间创建模式。与数据仓库相比，数据湖缺乏结构性，而且更灵活；它们还提供了更高的敏捷性。在检索数据之前无需执行任何处理，而且数据湖特意使用了便宜的存储。
尽管有这些优势，但数据湖在安全、治理和管理方面仍需要完善。但是，它还有一个重要优势，这也是一个富有吸引力的驱动因素。
机器学习和深度学习都是驱动因素
在采用数据湖的原因中，讨论最少但或许最有吸引力的是数据挖掘和分析中越来越多地开始采用机器学习和深度学习技术。传统搜索和分析方面的软件审核是一个成熟领域，但用于数据挖掘和分析的机器学习和深度学习技术的软件审核还处于起步阶段。
语音转录、光学字符识别、图像和视频识别等等，现在经常使用机器学习或深度学习技术。数据科学家需要访问原始的非结构化数据来训练这些系统，以便执行系统验证，并确保审计跟踪。类似地，深度学习执行数据挖掘等任务来查找维度与时序数据之间的模式和关系。
另一种深度学习应用是提取以前无法访问的、无法通过查询来检索的数据。这些数据称为暗数据，是本系列下一期的主题。在数据挖掘和分析应用中，机器学习和深度学习的出现是迁移到数据湖架构的一个非常有吸引力的理由。
数据湖的优势
- 轻松地收集和摄入数据：企业中的所有数据源都可以送入数据湖中。因此，数据湖成为了存储在企业内部服务器或云服务器中的结构化和非结构化数据的无缝访问点。通过数据分析工具可以轻松地获得整个无孤岛的数据集合。此外，数据湖可以用多种文件格式存储多种格式的数据，比如文本、音频、视频和图像。这种灵活性简化了旧有数据存储的集成。
- 支持实时数据源：数据湖支持对实时和高速数据流执行 ETL 功能，这有助于将来自 IoT 设备的传感器数据与其他数据源一起融合到数据湖中。
- 更快地准备数据：分析师和数据科学家不需要花时间直接访问多个来源，可以更轻松地搜索、查找和访问数据，这加速了数据准备和重用流程。数据湖还会跟踪和确认数据血统，这有助于确保数据值得信任，还会快速生成可用于数据驱动的决策的 BI。
- 更好的可扩展性和敏捷性：数据湖可以利用分布式文件系统来存储数据，因此具有很高的扩展能力。开源技术的使用还降低了存储成本。数据湖的结构没那么严格，因此天生具有更高的灵活性，从而提高了敏捷性。数据科学家可以在数据湖内创建沙箱来开发和测试新的分析模型。
- 具有人工智能的高级分析：访问原始数据，创建沙箱的能力，以及重新配置的灵活性，这些使得数据湖成为了一个快速开发和使用高级分析模型的强大平台。数据湖非常适合使用机器学习和深度学习来执行各种任务，比如数据挖掘和数据分析，以及提取非结构化数据。
数据湖的演变
与其说数据湖在演变，不如说是一种技术融合。数据仓库是从其前身（关系数据库）演化而来，迈出了革命性的一步，但对于数据湖和数据仓库，我们不能这么说。
数据湖汇集了各种技术，包括数据仓库、实时和高速数据流技术、数据挖掘、深度学习、分布式存储和其他技术。但是，人们感觉数据湖在专业数据科学家或分析师中拥有有限的用户群。另一种常见的误解是，将数据湖概念与一种特定的支持技术（比如 Hadoop）联系起来。
数据湖概念拥有比任何一种基础技术更大的潜力，而且还在不断演化，供应商也在不断在添加特性和功能。潜在的增长领域包括：
- 架构标准化和互操作性
- 数据治理、管理和综合处理
- 整体数据安全性
与大部分不断演化的技术一样，供应商之间的竞争和业务驱动因素扩大了应用边界。数据湖在诸多数据存储技术中获得广泛接受只是时间问题。
数据湖的应用
数据湖可以帮助解决电子医疗记录 (EMR) 的互操作性问题。联邦任务的意图是，通过使用 EMR，让医生能够访问跨多个系统的患者医疗记录，并在各个医院之间轻松地交接患者护理。在实际中，许多记录（包括保险索赔和临床数据）要么无法互操作，要么具有机器不可读的数据格式。在检索前，数据湖会存储任何格式的记录。所以，患者记录可能也包含医生手写的笔记、医学图像等。随着医疗领域中越来越多地开始使用医学设备遥测和 IoT，数据湖还能够从实时数据流中提取和存储数据。
银行和金融业通常会处理多个数据源。它也会处理高速的交易数据（从股票市场到信用卡）和其他银行交易。银行和金融机构经常存储法律和其他文档，以满足合规性和审核需求。数据湖非常适合存储这些混合数据格式，并以数字方式存储旧有数据，以方便检索。数据湖充当着一个敏捷平台来摄入多个数据流，以供这个行业垂直领域中的大量分析工具进行使用。