跨象乘云空间科学与大数据农业科研基础架构

农业大数据科研工程架构

据联合国粮食及农业组织(FAO)在 2011 年发布的《世界粮食和农业领域土地及水资源状况》(SOLAW)报告中指出:到 2050 年,全球范围内的粮食产量预计需要再递增 70% 左右,而在发展中国家这一比例将近 100%。面对粮食增产的这一需求,再加上其他领域需求的争夺,使全球许多农业生产系统纷纷置于前所未有的压力之下。这些“濒临系统”正处于愈演愈烈的水土资源大战之中,而且还经常受到不可持续的农耕方式的掣肘。因此,需要对其特别注意并采取具体的救助措施。该报告,就这些高危领域如何克服制约因素并改善资源管理探讨了多种方案。在每一个领域,除了要在制度和政策上作出一系列调整外,还必须将其与扩大技术应用结合起来,以获得更好的水土资源管理效果。另外,加大投资力度、提供新型融资机制以及开展国际合作与开发援助也有助于克服这些制约因素。

机器学习、“云计算”和地理信息系统在过去十年里的巨大发展正改变着农业和生态发展的蓝图。在这些行业中,新技术和新理念的注入,对于高效防治全球科学组织所预测的未来土壤枯竭和食物隐患问题,有着至关重要的作用。世界人口预计将在 2050 年达到 90 亿,此时此刻,我们的农业和土地管理规范比以往任何时候都更需要一场激进的蜕变。当前,已有多个国际农业科研组织着力于研发技术,以支持为各种不同地况和时空尺度定制的农业生态分析。同时,致力于开发端对端的数据处理工作流程,以涵盖土壤和土地生态信息处理和数据管理的整个周期。该工作流程包括 —— 实地数据获取、实验室分析、数据库管理、预测建模、地图可视化和统计决策工具。从而填补信息鸿沟,以及积极影响政策和行业规范,并建立了多个标杆性项目,如:非洲土壤信息服务(AfSIS)项目。

跨象乘云™参照了这些先进的农业科研数据科学工作流程,并结合国内高等院校特征与经费需求,设计了基于“空间科学与大数据技术”的农业科研工程基础架构。跨象乘云™空间科学与大数据农业科研工程基础架构(简称:KXCY-BD-AGR)核心组件包括:数据采集系统,大数据集成仓库,实验室分析验证,建模统计,数据可视化,农业模型应用软件,工程项目原型案例等数据科学工程模块;配套完善的大数据技术与应用教材,为高等院校农业科研工作提供有力支撑。

跨象乘云™空间科学与大数据农业科研工程基础架构(简称:KXCY-BD-AGR),首先通过建立农业核心大数据仓库:

  • 对接国际先进的农业与粮食信息数据库,农作物与水生产模型库;
  • 采集全球农业优秀文献与论文科研成果实验数据集;
  • 利用物联网技术实现农田,培植温室,大棚实时数据捕获;
  • 结合当地地区气候、生物多样性、土地及水利,以及中国农业信息网站数据;

无数经验证实,在大数据时代,非结构化数据占据了 80% 以上的存储空间,然而仅仅提供 20% 以内的真正数据分析价值;我们依然需要且依赖传统的结构化数据库,以保证 80% 以上的数据分析价值,从而进一步发挥大数据的核心价值。跨象乘云™在工程架构中,整合了多个与农业科研息息相关的核心数据库,作为整体农业科研“大数据湖”的基础。

农业及粮食信息综合数据库

提供完整的农作物标准命名及信息清单,及全球 245 多个国家和地区农粮数据,涵盖粮农各主要领域:粮食及农产品的生产,价格;农业排放;ASTI 研发指标;贸易;投资;土地利用排放;应急响应;食物平衡;入口;环境指标;食品安全;人口;林业数据。

农作物与水生产力模型数据库

用于处理粮食安全和评估环境和管理对作物生产的影响。数据库模拟草本作物对水的产量反应,特别是当水是作物生产中的关键限制因素时,主动平衡精度,简单性和稳健性。为了确保其广泛的适用性,它仅使用可以用简单的方法来确定的少量的显式参数和大多数直观的输入变量。该模型数据库可用作规划工具,并协助灌溉和雨养农业的管理决策,并且特别适用于:

  • 了解作物对环境变化的反应,即作为教育工具;
  • 田地,农场和地区比较可获得的和实际的产量;
  • 确定对作物生产和水生产力的限制;
  • 制定最大产量的灌溉计划;
  • 在缺水条件下制定战略,以通过灌溉策略;
  • 作物和管理实践,包括:调整种植日期,品种选择,施肥管理,覆盖物的使用和雨水收集;
  • 研究气候变化对粮食生产的影响;
  • 支持水资源分配决策和其他水利政策;

同时,借助先进的 R 语言农业统计分析代码库,应用软件,机器学习算法模型,以及国外先进的可持续农作物生长模型的工程项目原型,完整贯穿数据科学工程项目生命周期。有效的将数据科学与数据处理,物联网,数据分析建模与预测,空间信息技术,遥感分析技术,数据可视化等技术结合在一起,并作为本地农业科研工作的参考流程,从而助力高等院校及科研机构农业科研项目孵化与落地。

可持续农业发展空间数据分析与建模

跨象乘云™开发了多个贯穿式工程项目原型案例,通过完整的“端到端”业务流程演示与上机操作训练,让科研工作者真正了解大数据行业背景以及农业大数据科研实施技术需求,通过直观而具备针对性的训练在最短时间内掌握农业大数据科研中的核心技术,更进一步了解科研基础工程架构的环境与科研流程。

工程项目面向初次接触将数据科学与空间科学应用于农作物生长模型预测的科研人员 ——

  1. 首先,介绍了 R 语言在空间数据上的可视化基础应用,进而对特定科研区域实现水文分布及土壤分析;
  2. 接着介绍如何在 R 环境中应用统计学习与插值等高级技术,进而对特定科研区域中的农业关键因素实现随机森林模型,空间分布模型,获得区域农业趋势发展预测;
  3. 最后,通过遥感数据及空间采样技术,实现区域整体土壤,气候,水文,森林,天气等完整的趋势预测,同时会介绍如何利用超过 5 PB,5 百万张图像并以每天 4,000 张速度增长的 200 多个开放数据集,获得更为精准的地理环境数据 —— 最终实现当地农作物成长模型建模预测。

完整工程项目涵盖:数据科学工具选项,R 语言入门,R 绘图,空间矢量,坐标参考系统,Raster(栅格)数据操作,图形与地图输出,线性回归统计学习算法模型,基于空间数据的交叉验证模型预测,空间插值与高清土壤分布图,随机森林模型空间分布预测,区域农业趋势发展预测,遥感分析,空间数据采样,R 交互式地图与动态图形,农作物生长模拟模型,空间统计;共 16 个独立章节与动手操作实验。提供全套项目实施技术分解讲义,实验数据,实验操作指引,源代码,例题及解题答案代码。