PDF下载
探讨电力数据管理关键技术研究与应用

任永辉 时燕 李成林

云南电网有限责任公司信息中心 云南昆明 650000

摘要: 新时期下,为了满足业务的发展,电力企业增加了各种网络设备,以满足经营需求,同时也对设备的运行和维护提出更高要求。信息化时代,电力数据的重要性达到了前所未有的高度,无论是企业的应用系统,还是视频会议等业务,均离不开数据的支持。探究科学、完善的数据管理技术,成为电力企业长远发展过程中不可或缺的重要环节。本文就此展开探讨。
关键词: 电力;数据管理;技术;研究
DOI:10.12721/ccn.2024.157028
基金资助:
文章地址:

互联网时代背景下,数据成为维持社会生产和经营活动的重要资源。标准化的数据管理能够提高电力企业的数据管理质量,减少数据浪费,避免误用数据等现象,对于提高企业的核心竞争力至关重要。数据管理技术的应用,已然成为促进电力企业发展的基础。笔者结合自身工作经验,探讨了几种常用的、重要的数据管理技术,以供广大同仁参考。

1、云原生数据管理

现阶段,云设备已经日趋成熟,并被广泛应用于电力企业中。随着云原生数据管理的不断发展,应运而生了各种相关的数据管理服务。云数据库可分为两大类型:一种是数据库云服务:采用的是云托管模式,云服务商把数据库当成设置在云平台的一个软件,在架构层面上并没有根本的改变,也无法发挥云平台的强大作用,而且还存在数据存储冗余、延迟严重、计算存储紧耦合等问题。另一种是云原生数据库:基于云架构设计而成的数据库,比如Amazon Aurora是云原生OLTP数据库的引领者,Snowflake是云原生OLAP数据库的引领者。这种类型的数据库采用的是计算和存储相互分离的架构,根据“日志即数据”原则,计算层可以自动分离读和写,扩缩容的过程对上层是透明的,存储层采用的分布式架构可以用来存储数据,充分实现了独立计算节点的弹性伸缩以及存储节点的弹性扩缩容,显著提高了数据库的性价比。

计算和存储的相互分离,使云原生数据库实现了可靠性、可用性、可扩展性的云服务,但同时也面临一些挑战。比如:计算与存储分离带来的一大后果便是计算、存储之间的访问时间延长;目前云原生数据库只能支持一写多读,无法支持多节点写,以至于写扩展性受到 限制,如果应用软件对写的需求较大,此数据库便无法满足。为了解决这些问题,电力企业可应用云原生数据库EBASE-C,这是中兴通讯研发的一款云原生数据库,采用的是存储和计算分离架构,在全局事务处理模块的支持下,能够统一协调多个节点的读写事务ID的分配与事务的并发控制,支持多个节点的读写功能,显著提高了数据库的读写扩展性,减少了网络数据传输,提高了云服务效率。

2、数据资源共享平台

电力应用系统是相对独立的,随着大量数据的日积月累,信息无法共享的矛盾越发突出,给电力信息系统的优化与决策支持系统的发展带来阻碍。一方面由于应用系统多、数据量庞大,没有统一的数据资源共享平台来控制数据的访问权限,很难满足天南海北的用户对数据个性化的访问需求,在数据安全方面也存在隐患。接口管理只能用人工的方式检查,存在精准度差、效率低的问题,很难满足故障处理、数据风险管理、数据审计等工作。为了充分发挥电力企业数据中心与业务系统数据的重要价值,在安全可控的基础上向各个单位提供信息数据,促进各单位开展大数据分析与应用建设,电力企业可建设数据资源共享平台,其功能如下:

(1)浏览数据资源共享目录:为了满足各基层单位、不同职能用户访问数据的需求,平台以数据资源目录为基础,根据基层单位的权限和数据敏感程度,对基层单位用户在一定权限内开放数据,建立数据资源分层授权目录。管理员可以通过功能模块限制用户对数据的访问范围,根据用户职能精准的赋予其数据访问权限,充分保障数据的安全性。

(2)开展数据资源线上审批:用户不仅能够查看权限内的数据,对于权限外的数据,用户通过审批流程同样也有浏览权限。通过对审批流程进行线上闭环处理,能够充分满足用户快速访问数据的要求,简化数据管理部门的审批环节,提高审批效率,为电力企业全面开展数据分析奠定基础。

(3)管理数据访问接口:数据审批成功后,需要开通数据接口,以满足用户的需求,这一部分功能可以让管理员集中管理数据接口,并对数据管理部门实施数据溯源、数据审计、数据风险管理、故障处理等问题的统一管理。

3、数据治理平台

此平台主要用来提供数据治理工具集,对线上数据资源进行全寿命周期管理,开展数据流转监测、数据质量管理、数据认责等工作。随着平台功能的逐渐开放,在日常数据治理工作中,数据资源的管理有了强力的支撑。数据治理平台主要有以下功能:

(1)链路流转监测:电力数据随着各项业务的开展而变得日益庞大,系统之间的数据交互越来越复杂,系统接口很难进行有效管理。数据治理平台可提供数据溯源、数据流转监控等功能,用来全面监测数据链路的流转。随着数据的流转,此功能完成了持续性、动态性、周期性的监测,一旦发现数据接口和数据流转出现异常状况,就能迅速的定位故障并发出警报,还能自动追溯和定位源端的数据故障,督促运维人员尽快检修。

(2)数据行为追踪:用户一旦更改数据,此功能就能够自动获取数据的变更,包括后台修改数据的执行人、执行时间、修改内容以及所属业务系统等,并把获取的信息一并存储归档。如果发现系统录入、更改数据时存在质量问题,还可通过浏览记录追溯责任人,督促基层人员提高工作责任心,从源头上提高数据质量与准确性。

(3)数据质量核查:每个系统中都要求对存储的数据进行质量考核,数据治理平台具有此项功能,可以引入质量核查规则模型,构建规则引擎库,实现对数据质量的自动检查。管理人员也可以自定义检查时间与规则,通过数据接口自动读取数据,核查数据质量,明确数据存在的问题,生成核查报告,然后把质量不过关的数据反馈给业务部门修改,自动跟踪修改情况,并对最终结果做出评价,形成数据质量检查→数据质量提升的良性循环。

(4)数据自动转录:每个独立系统都难免存在重复功能,造成数据资源的冗余以及功能的不一致,使数据多源性,增加基层人员录入数据的工作量,降低工作效率。数据的自动转录功能与数据流程控制、分层分级授权、数据标准化等技术相互结合,能够让用户端一次性录入数据,实现后台数据的跨平台、跨系统自动录入,保证了数据源头的唯一性,让数据的采集录入更便于统一管理。使用该系统的工作人员只需要在工具一栏中设置数据转录的系统地址与内容便可,后端工具就能进行跨平台和跨系统的数据录入,有效解决了数据多源和重复录入的问题。

(5)数据管理流程:此功能主要用来线上开展数据质量分析方法、数据安全管理、数据认责管理、数据规范化管理等工作。承载已经拥有的数据治理成效,促进数据管理的常态化,保证电力企业的数据资源能够有效支撑各项业务的开展。数据管理流程具备包括数据质量问题管理、数据标准管理、数据安全规范管理、数据认责记录管理等功能。

结束语

综上所述,数据管理是电力企业的基础工作,合理应用数据管理技术,对于保障数据安全、提高数据质量具有重要意义。数据管理技术是推动电力企业数据管理工作走向标准化、科学化的重要途径,同时也是提高数据管理水平、促进企业经济发展、减少数据误用的重要手段,在信息化、智能化的时代背景下,积极研发并推广数据管理技术,更是提高电力企业核心竞争力的有效策略。

参考文献

[1] 阴皓,李路远,刘伯宇. 电力数据管理关键技术研究与应用[J]. 电力信息与通信技术,2019,17(1):25-30.

[2] 龙玉江,钟掖,甘润东. 基于区块链的电力数据管理架构研究[J]. 电力大数据,2021,24(8):19-24.

[3] 李德才,钟秋添,卢晓明,等. 基于B/S架构的电力调度统一数据管理平台的设计[J]. 流体测量与控制,2021,2(5):15-19.