2020 年数据与分析领域的十大技术趋势

近日,Gartner 发布了数据与分析领域的十大技术趋势,为数据和分析领导者的新冠疫情(COVID-19)响应和恢复工作提供指导,并为疫情后的重启做好准备。数据和分析领导者如果希望在疫情后能持续创新,就需要不断提高数据处理和访问的速度,扩大分析规模,在前所未有的市场动荡中赢得成功。

数据和分析领导者应检验以尝试以下十大数据和分析趋势,加快新冠疫情后的恢复:

趋势1:更智能、更高速、更负责的 AI

到 2024 年底,75% 的企业机构将从人工智能(AI)试点转为AI运营,基于流数据的分析基础架构的数量将因此增加 5 倍。疫情当前,机器学习(ML)、优化和自然语言处理(NLP)等 AI[……]

继续阅读

Jupyter 可视化 Debug 工具

Jupyter 也能做可视化 Debug 了,Jupyter 团队发布第一个 Debug 插件与内核。虽然这只是第一版,但目前已经可以设置常见的断点 Debug,查看各种变量、执行模块等信息。

Python 代码编辑器怎么选?PyCharm、VS Code、Jupyter Notebook 都各有特色,Jupyter 适合做数据分析这些需要可视化的操作,PyCharm 更适合做完整的 Python 项目。然而,因为交互式操作,很少会有开发者想到用 Jupyter 做 Debug。

尽管很多读者可能认为 Jupyter 用来做展示和小型试验就足够了,Debug 并没有太大的需[……]

继续阅读

工业数据采集产业研究报告

国务院《关于深化“互联网+先进制造业”发展工业互联网的指导意见》明确将构建网络、平台、安全三大功能体系作为其重点任务,并指出要“强化复杂生产过程中设备联网与数据采集能力,实现企业各层级数据资源的端到端集成”。其中工业互联网平台是工业互联网体系架构的核心,而工业数据采集则是工业互联网平台的基础。在工业和信息化部信息化和软件服务业司的指导下,工业互联网产业联盟组织编写了《工业数据采集产业研究报告》,希望加强研究与交流,与业界共同推动工业数据采集的发展。

原文链接[……]

继续阅读

工业互联网白皮书系列下载(9本)

4 月 23 日,中国信息通信研究院(简称中国信通院)发布了近期工业互联网领域的重大科研成果 —— 9本白皮书!

1、《工业互联网体系架构》版本 2.0

本报告主要分为八个部分。第一部分介绍了工业互联网的内涵与意义。第二部分回顾了体系架构 1.0 版本,并介绍 2.0 版本的定位与作用。第三部分明确工业互联网体系架构 2.0 的设计方法论,剖析工业互联网体系架构 2.0 的整体视图。第四部分深入分析工业互联网体系架构 2.0 的业务视图,并给出产业、企业、工厂等不同层面业务目标与应用方向。第五部分剖析工业互联网体系架构 2.0 的功能架构,探究网络、平台、安全三大体系的功能视图、现状分析、[……]

继续阅读

新冠病毒数据分析过程中的数据科学基础知识

同步发布地址

本文转载自:大数据文摘 | BigDataDigest;结合跨象乘云™ 原创发布的:新冠病毒(COVID-19)数据分析系列视频,对新冠病毒数据分析过程中的数据科学基础知识和思维模型,进行清洗的脉络梳理与补充。

山川异域,风月同天。在全球蔓延的新型冠状病毒肺炎,已成为全世界关注的焦点,全球数据科学家,人工智能专业团队,都在通过不同的途径,从不同的角度支援这场全人类的『抗疫』战争,包括:对新冠疫情趋势进行分析和预测;对病毒基因进行解构,加速疫苗研发;对肺炎病患 X 光片进行智能甄别;对行人是否佩戴口罩进行识别。跨象乘云™ 专门开辟了针对新冠病毒(COVID-19)的数据[……]

继续阅读

Pandas 中文官方教程

此前,跨象乘云 发布了《Python 知识卡片:Pandas》。Pandas 是一个强大的分析结构化数据的工具集;它的使用基础是 NumPy(提供高性能的矩阵运算);用于数据挖掘和数据分析,同时也提供数据清洗功能。学习 Pandas 最好的方法就是看 Pandas 官方教程,日前,国内学习小组发布了 Pandas 官方教程的中文版,包括:《十分钟搞定 pandas》,《Pandas 秘籍》,《学习 Pandas》。

Pandas 中文官方教程》PDF 下载。[……]

继续阅读

NumPy 中文官方教程

此前,跨象乘云 发布了《NumPy 教程:基础知识》与《Python 知识卡片:NumPy》两份教程。近日,NumPy 官方正式推出了 NumPy 中文版网站,涵盖 NumPy 的一切。在 Github 上一度蝉联最流行的机器学习和数据科学包 NumPy,已经有了非常之系统的中文文档。现在,如果有什么和 NumPy 的问题,只需要浏览这份官方中文文档就足够了。它足够的系统、全面且亲民。NumPy 是使用 Python 进行科学计算的基础软件包,是 Python 生态系统中数据分析、机器学习、科学计算的主力军,极大简化了向量与矩阵的操作处理。除了计算外,它还包括了:

《工业大数据分析指南》2019 版

2019 年 2 月,由工业和信息化部指导,中国信息通信研究院、工业互联网产业联盟、中国通信学会联合主办的 2019 工业互联网峰会在北京国家会议中心举行。在 22 日的主论坛上,工业互联网产业联盟发布了《工业大数据分析指南》白皮书,清华大学大数据系统软件国家工程实验室总工程师王晨对白皮书进行了解读。[……]

继续阅读

Apache Flink 1.10.0 发布

Apache Flink 社区迎来了激动人心的两位数位版本号,Flink 1.10.0 正式宣告发布!作为 Flink 社区迄今为止规模最大的一次版本升级,Flink 1.10 容纳了超过 200 位贡献者对超过 1,200 个 issue 的开发实现,包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持(PyFlink)的重大优化。Flink 1.10 同时还标志着对 Blink 的整合宣告完成,随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖,Flink 在增强流式 SQL 处理能力的同时也具备了成熟的批处理[……]

继续阅读