前言
随着大数据、物联网、云计算等技术的发展,电网公司调度、财务、项目、设备、物资等信息化管理系统取得了长足发展,特别是目前河南公司数据中台的建设,实现了电网全业务数据资源统一汇集,为跨专业、跨部门和内外部数据关联分析以及数据价值深度挖掘提供强力了支撑,不仅降低了跨专业数据分析应用建设成本,也极大的提高了公司的管理水平和员工工作效率。
1稽查监控模式对提高电力数据质量的有效手段
1.1通过在线监控和稽查提高数据质量
稽查监控系统在工作过程中,通过非空校验和逻辑关联交验的方法,对整个电力系统设计的数据信息进行监控,同时设定关键字段进行校核,一旦监控发现有数据出现逻辑错误或者档案数据缺失,稽查监控系统会及时将这些异常状态提交到问题库,以便相关程序能够发起稽查任务及时对异常现象进行整改。具体实施过程如下:对用电客户数据及资产类数据的完整性和准确性进行监控,一旦出现异常,系统及时进行分析并下发稽查任务,稽查完成后,及时对整个异常数据进行整改,并对整改结果进行审批,最后对电力系统的运行数据质量进行定期评价。
1.2通过对异常数据信息的专项稽查和治理提高数据质量
稽查监控系统在工作过程中,能够实现专项稽查和治理。在进行专项稽查时,重点做好稽查内容的来源、稽查周期、稽查时限设定和评价工作。具体工作实施过程:首先根据电力系统的专业管理、业务拓展和热点类的需求;其次形成数据稽查需求描述和导入规则库,一旦出现异常数据信息,及时进行稽查任务派发及整改;最后根据稽查和整改结果做出评价和总结报告。
2大数据稽查监控系统建设方案
2.1整体架构
大数据稽查监控系统整体架构如图1所示,架构包括环境层、数据层、服务层、应用层和用户层五个层面。环境层为硬件网络平台和基础设施,包括操作系统、应用服务器、BI服务器、接口服务器、ETL服务器、网络等;数据层是基于公司的企业统一数据中台所汇集的数据,通过数据接口与服务层相链接,为服务层提供数据支持;服务层通过微服务架构搭建,实现数据转换、数据对比、数据校验等数据稽查功能;应用层根据实际的业务需求分为对工作流程、质量规则库的配置管理,权限、用户的系统管理,工单、任务的执行管理,以及数据质量报表、考核报表的报表管理等管理模块;用户层分为公司领导、专家、运营人员及管理人员等角色,并在系统中根据角色分配不同的权限。另外,通过建立标准规范支持体系、安全支撑体系、组织管理运营体系为整个系统的正常运行提供有效支持。通过采用严格授权管理,结合强传输加密算法,实时监测数据全生命周期的完整性,确保数据安全;以及为软硬件支撑平台进行安全设置及加固,确保系统安全;同时规范系统操作流程,避免高风险的访问方式导致系统的安全事故。
2.2技术架构
大数据稽查监控系统严格的按照国标GB/T34960.5-2018所规定的数据治理规范进行设计,基于MVC架构完成对系统底层的建设,通过Vue框架实现系统的View层,使用目前主流的大数据处理语言Python对系统的Model和Controller层进行设计;通过Kafka和ETL工具进行数据传输,将企业统一数据中台的数据抽取到系统中,实现系统与中台的无缝对接;系统还采用ApacheSpark引擎实现大量数据、复杂逻辑的运算,通过增量读取、消息订阅等方式减少网络和服务器压力,提高执行效率;在可视化方面,系统通过ES实现巨量数据的实时检索,并将HTML5和Echart相结合,提供了灵活多变的交互体验。通过以上技术的应用,使大数据稽查监控系统既能够与数据中台实现快速的数据碰撞、检索及其他复杂运算,也能够快速输出稽查结果,减少或避免与其他和中台进行交互交互的应用产生冲突。
2.3业务流程系统
基于数据台账管理、稽查规则编制、稽查任务管理、数据问题管理、问题工单管理、数据质量报告6大模板的交互配合,完成了整个数据稽查监控业务流程,实现数据问题闭环管理流程,督促数据问题的“查出必治”。数据台账管理模块从数据中台获取需要稽查监控的元数据,建立管理台账,并根据与SQL数据表的关联关系,将台账传递至稽查任务管理模块。公司各相关部门根据实际情况,参照统一标准编制本专业数据质量规则,完成数据认责,形成数据稽查规则库,并写入系统。稽查任务管理模块根据数据台账的要求,按照数据质量规则,执行对数据的稽查任务,并将执行结果形成数据问题清单,传递给数据问题管理模块。数据问题管理模块通过对数据问题清单进行分析,依据数据问题的所属责任单位,对本单位或下级单位的数据问题开展整改工作,实现数据问题的逐级下发,同时统一向上级单位汇报总体整改进度,从而形成多级协同的数据治理链路。问题工单管理模块实现将数据问题自动推送给相应责任人,通过监控工单的关闭情况监督整改进度,结合前后两次核查结果的对比监督整改成效。数据质量报告模块根据一个阶段内数据问题的处理情况,生成数据问题报告,作为了解当前数据治理工作的重要参考依据,也是指导下一阶段数据治理工作的重要支撑。
2.4科学建立数据质量规则库
准确、统一、明晰的数据质量规则是实现大数据稽查的根本所在,电网公司遵循“谁产生,谁负责”的原则,按照数据“源头治理、变更监督、质量稽核、整改落实、计量考核”的管理环节,详细定义岗位职责界面与分工,明确数据质量的责任归属,实现了对数据质量规则的科学管理。公司各业务部门根据自身业务需要,制定或修订本专业数据质量规则;电网公司电力科学研究院收集整理各部门数据质量规则,并按照统一标准进行优化,形成数据质量规则库,同时编制与之相匹配的检查评价指标;电网公司信息通信公司(数据中心)通过对数据质量规则进行梳理,编制数据质量核查脚本,并将脚本部署在大数据稽查监控系统中;电网公司科技互联网部将通过评审的数据质量规则库及评价指标进行发布,并定期检查各数据质量规则的执行情况,确保数据质量规则在实际工作中有效执行。通过建立起循环管理的数据质量规则库,为发挥大数据稽查监控系统的及时性、有效性奠定了基础。
3结语
以大数据、5G、物联网等为代表的新一代信息技术加速突破应用,推动着电力产业数字化革命,开展数据治理,是电网公司抢抓数字经济重要发展机遇、培育竞争新优势和发展新增长点的重要举措。公司研发的大数据稽查监控系统,以企业数据中台为基础,以同期线损、营配贯通问题数据为切入口,实现了特大型国有企业开展数据治理的有效尝试,达到了发现数据问题、解决实际问题、促进数据共享、提高企业综合经济效益的目的。同时,作为大数据技术在电力企业数据治理领域的探索,该系统的研发也为电力行业深入挖掘数据财富提供了新的思路。
参考文献:
[1]毛淑莲.论电力稽查管理方法与途径[J].中国外资,2019,(5):68.
[2]郑爱民.关于电力稽查中的问题及应对措施[J].科技创新与应用,2018,(31):144.
[3]田勇.电力稽查存在的问题及对策分析[J].经营管理者,2019,(3):280.