Spark 2.4 重磅发布：优化深度学习框架集成，提供更灵活的流式接收器。Apache Spark 2.4.0 是 2.x 系列中的第五个版本。此版本增加了屏障执行模式，以便更好地与深度学习框架集成；引入 30 多个更高阶的内置函数，能够更轻松地处理复杂数据类型；优化 K8s 集成，同时提供 Scala 2.12 实验性支持。其他主要更新还包括内置 Avro 数据源、图像数据源，更加灵活的流式接收器，取消传输过程中 2GB 块大小的限制，Pandas UDF 改进。此外，此版本继续关注可用性、稳定性，并解决了大约 1,100 个 tickets。