辽宁省土壤水分数据的维护与优化
DOI: 10.12721/ccn.2023.157014, PDF, 下载: 117  浏览: 1553 
作者: 刘君良
作者单位: 辽宁省气象信息中心,沈阳
关键词: 土壤水分;数据维护;数据库
摘要: 土壤水分作为地表要素之一, 在气候变化、陆气交互、全球生态、水文和地表模型以及干旱等研究中均起着不可或缺的作用。文章利用2021-2022年辽宁省土壤水分数据在省级中心站软件上收集的数据资料, 针对土壤水分数据日常出现的问题,从日常维护和提升数据及时率等方面提出了相应的解决方案,说明了土壤水分数据在维护时的注意事项,供其他省分土壤水分保障人员参考。

土壤水分作为重要的陆地表层系统要素, 是生态、环境、农业等领域研究中不可忽视的指标[1]。2009年10月受国家局指导,辽宁省52个土壤水分站成功安装。辽宁省气象信息中心作为省级传输中心站点,部署包括1台传输服务器、一个中心站软件及一个数据库。随着辽宁省土壤水分传输体系的长时间运行,土壤水分数据监控和设备维修成为保障自动土壤水分观测站稳定运行的基础。文章对维护优化省级中心站软件,提升土壤水分数据及时率进行了研究,为及时自动发现故障和采取措施提供依据。

1土壤水分整体系统结构

在总体结构上可分为中心站与外站两类。中心站为通讯调度及数据中心,目前设在省信息中心,主要负责定时读取和实时接受网络中的各自动土壤水分观测仪的数据,并把这些数据汇总,统一存档,并且提供数据发布途径[2]。外站主要分布于各地的自动土壤水分观测仪,目前辽宁省主要安装使用上海长望气象仪器厂生产的DZN1型自动土壤水分自动监控仪。主要负责实时采集当地的土壤水分数据及传感器状态,并进行存储,定时向中心站发送数据[3]

每个时次,位于不同地点的自动土壤水分观测仪器通过GPRS无线通讯网络和局域网进行统一调度和气象数据的汇总[4]

文章所用的土壤水分数据来源于设置在辽宁省气象信息中心的土壤水分中心站。通过土壤水分中心站软件可实现各监测网点土壤水分数据的自动采集、存储、计算处理、通讯等功能。大大提高了土壤水分观测的实时性,有效地解决了土壤水分数据的共享[5]

2土壤水分中心站软件

中心站软件的数据设置分为两部分:台站参数设置包括台站参数、遥测参数、土壤水文参数、数据采集器监控。系统参数设置包括系统全局参数设置、传感器标定、数据读取、接收、存储设置。

中心站软件系统的主要功能:

1,自动收集各监测网点的土壤水分数据。

2,自动监测各监测网点仪器运行状态。

3,自动监测各监测网点仪器通讯状态。

4,中心站资料的检查、补要、实时分发。

5,各监测网点的人工数据的上传。

6,基于WEB网络的土壤水分数据及台站状态的查询、下载、统计分析、作图。

3土壤水分数据日常维护及优化

土壤水分数据是气象数据的重要组成部分,为天气预报和气象服务提供重要依据。

气象信息中心作为土壤水分中心站,主要通过土壤水分中心站软件及数据库,来传输每个时次每个土壤水分站的数据, 监测土壤水分数据质量,并对土壤水分数据进行归档。

同时国家局会对定期数据进行分析,下发各台站的可用率、故障率与观测元数据,信息中心需根据这些进行调整更新。

在日常的值班中,土壤水分数据经常出现以下故障:

1, 土壤水分数据未能按时收集。

2, 土壤水分数据不能正常上行至国家局。

3, 土壤水分52个站的数据不全。

以上三种情况经常导致土壤水分数据不能按时传输,影响数据的完整性和及时率。因此针对这些情况,做出了相应的处理。

3.1优化中心站软件运行环境

每个时次整点过后,中心站软件开始收集新时次的土壤水分数据。在日常值班查询数据和维护时,常发现土壤水分中心站软件卡顿,平均打开和关闭的时间高达4分钟。该情况在整点时更明显,因此造成数据未能按时收集。

经排查原因后,故障原因为土壤水分中心站软件部署服务器老化,导致中心站软件运行环境较差。原服务器型号为HP ProLiant DL380 G7,内存为12GB ,CPU为2.4GHZ ,存储空间584GB。为了处理这种土壤水分数据收集逾限的现象,决定升级运行土壤水分中心站软件的服务器,将土壤水分中心站软件部署联想SR558H(QX)型号的服务器上,该服务器的处理器内核多达24核,内存容量可达1TB。更换服务器后情况改善明显,打开关闭中心站的平均时间为30秒,并且再没出现过软件卡死情况。除土壤水分站点故障外,数据再无收集不全的情况。

3.2优化数据库运行环境

中心站软件收集完每个时次数据后,会存储到数据库中,信息中心会对土壤水分数据进行归档处理后再上行至国家局。在日常维护和值班时经常发现上行时数据缺少,但监控显示土壤水分数据已经全部传输至中心站的情况。

经分析,判断故障发生的时间在数据录入数据库后。经排查其他气象资料均能正常传输,因此信息中心上行至国家局的传输系统无故障,对比中心站软件数据检查数据库时发现,其数据库的版本过低,为SQL server 2008。并且发现数据库的的运行环境不理想,服务器老化,导致大量数据传输故障。因此对数据库进行了迁移工作。

在内网资源池划分出一段虚拟空间,并重新安装主机系统,装入新版本的数据库。在两个整点之间,将原土壤水分数据库进行了备份,将土壤水分的存储路径更改指向虚拟机。经过迁移数据库,土壤水分数据库的运行环境大为改善,数据也再无卡顿和丢失情况出现,大大的提升了土壤水分的及时率。

3.3优化监控与归档系统

依托“天擎”气象大数据云平台与“天镜”监控系统,所有气象资料均可在“天镜”监控网页上监测。在日常值班时,需要通过定时人工查报的方法,来检查土壤水分数据的传输情况。因此会有查报不及时,漏查忘查,未能及时发现个别台站故障的现象,导致土壤水分数据收集不全。

为提高土壤水分数据及时率与到报率,编写了python程序对土壤水分数据的传输情况进行监控,该程序通过监测土壤水分中心站数据情况,当数据的收集率低于100%时,就会进行弹窗提醒值班员。作为对定时人工查报的补充,方便值班人员按照流程,及时排查故障。

土壤水分中心站即使数据的传输收集中心,也是存放中心。因此可对土壤水分历史数据进行二次分析及开发。土壤水分历史数据全部收集在数据库中,一旦数据库发升故障会导致数据全部丢失。

为了防止入库时发生故障,除了录入数据库意以外,新增了数据归档路径。新编写了python归档程序,在土壤水分中心站收到数据后,将52个站的数据自动复制到土壤水分专属归档目录,该目录按照站号归档,还可方便分析单站的土壤水分历史情况。

4结束语

文章主要对辽宁省土壤水分数据的总体结构进行了简单介绍,并对土壤水分中心站日常的维护进行了探讨,分析了经常出现的故障的原因,并对土壤水分中心站软件和数据库的环境进行了优化,对日常值班流程和数据的归档方式进行了改进,为以后的运维工作提供了思路。

参考文献:

[1]潘宁.土壤水分遥感反演研究进展[J].生态学报,2019,(13):4615-4626.

[2]周惠.浅谈自动土壤水分监测网络通讯体系[J].气象水文海洋仪器,2010,(4):134

-136.

[3]陈景丽.江苏省自动土壤水分观测系统概况及中心站功能[C]. 第六届苏皖两省大气探测、环境遥感与电子技术学术交流研讨会,2011

[4]王柏林.农田小气候自动气象观测系统[J].气象水文海洋仪器,2013,(4):1-3,7.

[5]徐晓琳.基于无线的省级自动土壤水分监测系统的设计和实现; 2015