联合观测系统


寒旱区联合观测系统实现寒旱区数据自动传输、集中存储和管理,形成点-站-所一体化的数据采集、传输、集成、保存、管理、 共享与应用研究云环境,实现多要素虚拟联合同步观测云系统组建,形成寒旱区大数据基础设施。

1.项目的建设目标

目前的寒旱区野外观测系统台站和仪器众多,由于建设年代不同、观测内容不同、数据表述不一致、分析方法不同,导致各自为战、管理 自动化程度不高、数据难以对比分析、技术力量分散、数据利用不充分、没有发挥网络化观测的优势,这极大浪费了野外观测 数据资源;另一方面,新型观测仪器多参数、高频次、大数据的特点,对寒旱区观测数据的传输、管理和分析手段也提出了更高的要求。

联合观测系统能够将野外观测数据进行统一的获取、统一的存储、统一的管理。联合观测系统应能够对各种地学观测数据进行统一的存储 以确保数据的完整性,并能够对数据进行统一格式的发布以方便地学研究。联合观测系统制定了统一的数据表示方式、数据存储方式、 数据安全机制、数据发布机制,具有良好的兼容性,开放性和规范性,允许多种设备和通信方式的接入,通过定制的设备接口和中间件 兼容一些常见的数据采集系统。实现数据的统一传输,在此基础上实现数据的集中存储管理和展示;采用大数据手段进行数据分析计算, 根据配置自动生成数据集并推送至其他平台;跨仪器多要素联合分析,实现虚拟联合观测系统。

建设目标分为以下几点:

1)、打通“两个通道”,实现数据管理流程的自动化。实现仪器到观测数据、观测数据到数据集的自动化管理。

2)实现仪器数据的集中管理和展示、仪器状态的监测和控制。系统能够接收来自数十个台站、数百台不同类型仪器、不同格式的数据, 进行集中的存储和展示,监测仪器状态并控制,统计数据接收完整度,对数据接收异常进行告警,进行数据的可视化展示。

3)建设海量仪器数据的存储、管理、分析平台。台站和仪器数量众多,新型仪器多参数、高频次、大数据的特点,使得观测数据体量庞大, 随时间不断增加,每年数据量可达数T字节上百亿条,对数据的存储、查询和分析都提出了严苛的要求,因此采用关系型数据库结合NOSQL 数据库技术结合的方式,充分利用两类数据库各自优点以达到性能最优,采用分布式数据库技术实现算力和存储的水平扩展,根据监测数 据自动生成数据集并推送至外部平台。

4)实现多要素、跨仪器的虚拟观测场功能,即”联合观测”。建立要素字典,对数据按要素、按时间提取,对不同频率的数据进行时间对齐, 对不同仪器的同类型要素数据,实现跨空间的联合分析,实现数据的深层次利用。

2.主要技术优势

与其它监测系统相比,联合观测系统具有以下的技术优势:

1)兼容性:容许现有的多种设备和通信方式的接入。能够将目前针对不同观测内容的观测手段/设备接入联合观测系统,设备兼容性。能 够兼容部分设备的接入(通过中间件软件);系统兼容性能够通过定制的设备接口和中间件兼容一些常见的数据采集系统。

2)前瞻性:容许未来可能的设备和通信方式的接入。能够支持中间件,支持未来的设备和通信方式,包括但不限于TCP socket、Email、 FTP、3G、4G、卫星通信等。

3)开放性:提供标准的输入输出Restful接口,容许数据导入和查询,支持通过授权接口实现对其他系统的数据推送,提供能够支持外部 查询的B/S架构PC客户端和移动客户端。

4)扩展性:系统从架构设计上考虑各类仪器各类数据,在增加新的仪器类型时,只需按规定接口增加相应的仪器适配代码,避免对系统做 不必要的改动;采用分布式架构,实现算力和存储的水平扩展。

5)规范性:各种信息通过统一的接口输入和输出。能够将目前针对不同观测内容的观测手段/设备接入联合观测系统。

3.技术创新点

技术创新点如下:

1)实现数据的全流程管理,提高数据管理的自动化程度

系统从数据的传输、仪器状态监测、数据清洗、数据存储和展现、数据可视化到生成数据集、数据集推送、数据分析、虚拟观测场功能实现, 贯穿于数据整个流程,能更好地实现对数据的自动化、智能化管理。

2)数据统一入库,集中存储展示

联合观测系统将来自不同仪器的不同格式数据,按照统一的方式集中存储展示,便于统一管理、及时了解整个观测系统整体状况,便于数据 的比较分析和高效综合利用。

3)关系型数据库和NOSQL数据库相结合

针对观测数据体量大的特点,关系型数据库和NOSQL数据库相结合,充分发挥各自优势,采用分布式数据库,实现系统性能和存储的水平扩 展;采用大数据分析手段,充分挖掘数据的潜在效益。

4)虚拟传感设计,数据自动转换

采用虚拟传感器设计方案,可以完成大多数监测原始电量值到观测要素数值的转换。

5)按要素、按时间提取数据内容

部分研究需要从若干已建成并正常运转的监测系统中抽取若干观测要素(而非全部要素),从而构建一个为特定研究组成一个数据单纯的系 统,联合观测系统正是具备了这样的功能,可以指定要素和数据时间范围进行数据提取,也可以按照需要的频次进行数据的抽取。

6)实现虚拟联合观测

建立要素字典,可以提取不同仪器的同类要素进行跨仪器的比较分析,进行时间或空间插值,生成虚拟观测数据。

4.系统业务架构

系统框图如下,应用服务器、数据服务器、各野外观测仪器和数据传输网络是系统基础支撑;仪器原始数据、观测资源数据及要素字典是 系统的数据支撑;软件系统进行仪器数据收集、仪器状态收集、数据清洗和虚拟观测场数据生成等,实现观测资源管理、数据管理、 仪器状态管理用控制、要素管理、数据集管理、元数据管理、虚拟观测场管理和服务接口管理等功能;最后在展示层实现观测资源展示、 数据集中展示、数据可视化和数据导出等功能。系统通过权限分级保证数据的系统和数据的安全性,并制定标准规范与安全策略贯穿于 数据传输和管理的全过程。

5.系统技术路线

为支持各类仪器、不同格式数据,按不同类型进行数据的分析和展示,对系统架构设计提出了较高要求。通过面向对象抽象、封装、继承实 现对异构数据的读取适配;通过关系型数据库和NOSQL数据库结合使用、分区分表、缓存、索引优化等保证海量数据下具有较好的响应性; 通过采用基于MVVM思想的单页面设计,实现了系统页面的快速响应和复杂交互。

进入联合观测系统