引言
进入21世纪以来,随着互联网、物联网、大数据、人工智能等新一代信息技术的迅猛发展,人类社会进入了大数据时代。电力行业信息化的推进、智能电网的建设、物联网和云计算的应用使得电力数据资源呈指数级增长。然而,现有的电能量数据管理系统在大数据分析方面出现了处理能力和信息表达能力不足的问题,显得力不从心[1-3]。如何快速、准确的从海量级电力业务数据中挖掘出有价值的信息,为公司领导决策提供电网运全面的运行情况,为业务人员提供电网运行实时监控、运维能力,提高异常问题的处理效率,已经成为电网智能化亟待解决的问题。而台区是供电单位管理的基本单元,处于电网末梢,是电网传输的终端和客户消费用电的起点,起到承上启下的作用,因此提升台区的智能化水平和精益化管理也显得尤为重要。通过对台区电能量数据的处理,结合可视化技术、GIS技术,生成各项电能量监控指标,利用超高分渲染技术进行大屏可视化展示,形成台区综合全方位立体式的展示;让业务人员快速定位问题,从而充分把握配网线路、变电站、等整个台区的运维状态,提升问题异常的分析解读,加快电力智能化进程。
1 系统架构
平台整体架构如图1所示,共分为3个层面:存储层、后端支撑层、应用层。存储层分为内部配置和资源存储和外部前置数据库存储(包含实时接口数据缓存),其中外部数据是变电站、中压线路、配电房、用户等场景下的各种计量设备产生的电能量数据,这些数据由业务系统存储在大数据平台和计量自动化系统中;后端支撑层主要负责响应前端应用层的数据转发、用户管理、权限管理、配置和资源的操作;应用层主要包含编辑器和渲染器两部分,编辑器负责3D业务系统自助式构建,渲染器负责解析和渲染编辑器编辑的业务形态。电能量数据综合展示平台设计采用C/S架构,专注于3D场景大数据的可视化,同时也融合传统二维图表,使用模块化开发设计思想,通过需求分析,确定功能模块,并保持业务逻辑层或业务支撑功能模块之间的“松耦合”;同时使用插件技术,通过统一的程序接口来调用不同的功能模块,实现即插即用;在技术架构中,每一层提供相对独立功能或系统支撑,从而降低软件各模块之间的耦合度;支持模块的动态插入,提高产品的健壮性及可扩展性。
2关键技术
2.1 数据接入与预处理
数据接入是将各类数据从外部数据源导入本平台存储系统,以备计算、分析的过程。数据集成从时效角度可分为实时、非实时,从数据量角度分度批量、增量,从数据类可分成结构化数据、半结构化数据、非结构化数据。针对不同类型、不同时效要求的数据,需采用多种不同的采集、集成技术。
数据采集的数据源可以是业务系统数据库、数据中心、网络、应用系统、终端、传感器。本平台的数据来源除了计量自动化系统、大数据平台的数据仓库外,还包含系统平台配置信息、指标配置、系统日志、数据交换文件等。通过平台的“后台支撑层”按照配置信息所需格式和内容从业务系统汇总采集符合平台展示需要和规范的数据信息,根据采集定时任务,将获取到的业务数据分发给相应的展示节点,完成数据的预处理。
2.2 数据交互式统计与数据挖掘
梳理现有典型系统中电力大数据的数据特点,完善分析建模、模型运行、模型发布等能力,增加对大数据分布式计算的支持,满足实时、离线应用的分析挖掘需求。电力数据类型多样,其中包含了大量冗余属性,对数据挖掘算法的效率和质量造成不利影响。采用高效大数据特征算法能够删除冗余的属性,获取有效数据特征,以高效地完成数据挖掘的数据预处理过程。
结合电力大数据特征,采用运行于内存计算框架之上的数据分析技术。主要包括:根据业内主流的内存计算框架,结合电力高性能分析场景需求,选取适合于电力行业应用的内存计算框架;基于内存计算框架实时交互查询实现框架,提供海量数据的快速查询、多维统计汇总能力,支撑复杂数据分析挖掘;基于内存计算框架的数据挖掘实现框架,包括运行于内存计算框架之上的数据预处理方法、数据挖掘算法以及相应的挖掘过程建模工具、模型解析运行引擎,提供高效快速的分析挖掘模式。
2.3多数据源适配技术
由于电网智能化生产出大量异构数据,使得电网大数据处理技术的应用较为复杂,异构数据源的适配和融合也是电网大数据处理亟待解决的问题。本电能量综合应用展示平台基于大数据多源异构数据源适配技术,编写了支持多种实时和非实时数据的接口,对数据进行抽取、加工、整合等ETL操作将多源异构数据资源进行封装,形成可重用的服务,用户在使用中可以依据业务需求进行调用操作。支持多种数据源的连接访问和数据交换,支持Oracle、MySQL、IBM DB2等主流RDMS数据库,MongoDB、Excel等文本数据源,SDC Hadoop、星环Hadoop、标准Hadoop、华为MPP等基于Hadoop的大数据平台。此外,平台支持以可视化编辑的方式将接入的数据源快速绑定到二维/三维可视化业务组件中。
3. 主要技术创新点
3.1 基于超高分渲染技术的大屏展示
超高分渲染技术是解决超过16K分辨率以上的大屏拼接显示、大面积、超高分辨率图像的快速处理及显示问题的专业可视化显示技术,实现可视化系统输出与大屏物理分辨率一致的整屏场景,是基于高分渲染引擎产品的分布式显示技术[4,5]。其中,分布式渲染处理器负责节点渲染任务的分配和执行,负责各个显示节点的内容输出,保证各个画面平滑同步。超高分应用服务器负责和外部系统进行交互,是超高分渲染平台对外的唯一接口。超高分渲染充分利用集群处理的硬件优势,把任务分配到多个渲染节点上并行处理,系统规模越大,处理能力越强;超高分渲染突破了传统显示速度受分辨率影响的限制,使具有不同数目拼接单元的拼接墙的显示和响应速度一致,不受拼接墙的拼接规模影响。
3.2 提出一种海量GIS数据热力图生成的算法
热力图是一种GIS常用的表征空间数据点的密级程度的方法,使人们能够独立于缩放因子感知点的密度。热力图实现过程就是通过简单的数字变化,将地理空间数据点信息映射到最终图像上的过程。通过颜色变化程度,可以直接反映出热点分布,区域聚集等数据信息。海量GIS空间数据(百万级、千万级)即使使用后端渲染也会导致热力图可视化效果和用户体验度的下降。提出的利用2D卷积技术通过卷积核对原始海量空间数据点进行卷积处理,降低数据纬度。由于使用了较小的卷积核,处理后的数据集仍能够较好地描述原始数据特征,还能够表示空间数据点的密集程度。同时也减小了冗余数据对可视化显示造成的压力,大幅度提高热点数据的加载速度,减少渲染时间,大大提升热力图显示的流畅度。
3.3 基于三维可视化技术的台区相关场景/设备展示
从城市视角出发,结合地理信息三维可视化技术,借助Unity 3D引擎开发平台,构建了低压台区的典型计量相关设备/场景,以支撑低压台区的可视化管理,还构建了面向电网“变电站-中压配电线路-专/公变-低压配电线路-用户”的计量相关设备/场景的拓扑链路(图2)。建立变电站、厂站电能量采集终端、中压配电线路、台区、配电房、变压器、配电柜、分支线、负荷管理终端、智能融合终端、配变监测计量终端、三相智慧能源网关(分支表)、计量表箱、电能表、智慧能源网关、大工业用电客户、充电桩、智能周转柜等典型计量相关设备/场景的3D模型,同时可以根据展示场景需求按照实际空间位置进行三维/二维展示。在可视化大屏展示台区的综合信息、拓扑识别、电能质量、负荷识别、用电安全、用电异常、智慧运营、线损统计和停电抢修等信息(图3)。图4是台区三维拓扑展示可视化页面,通过色彩表示分支线所属相位以及电表所属相位,实现拓扑节点与拓扑关系逻辑视图的联动,快递速定位到台区拓扑关系逻辑视图中对应节点。
4. 社会效益
4.1数字孪生,提升电能量监控水平
依托数字化供电服务体系,通过互联网信息同步,电能量数据能够通过大屏可视化展示,实现足不出户实时掌握全城用电数据,智能用电驱动智慧生态建设,激活市场活力。通过智慧能源网关设备的安装运行、电能量数据的可视化大屏展示,实现“多端融合”,设备运维成本极大降低,企业效益显著提升。实现配变侧和分支侧设备环境状态、安防的在线监控,强化对配电变压器、分支线路、终端设备及运行环境的在线监测能力,实现物理电网运行状态的数字孪生,进一步提高低压配电网的安全、可靠、良态运行水平。
4.2 科技赋能,提升供电服务水平
本平台融合智慧能源网关实现自动辨识用户用能信息,与用户实现双向高频互动,帮助用户掌握用能情况,提供综合能源方案,引导有序用电,提高能源利用效率,提升用户“电力获得感”,构建以客户数据和电能量数据为核心的客户服务技术支撑体系。通过智慧能源网关监测用电安全数据,高密度实施采集分析漏电流数据,进行用电安全风险评估,创新性的提出了“用电安全指数”,当用户的“用电安全指数”超出正常范围值以后,由片区客户经理上门为客户提供隐患治理服务,消除漏电等安全隐患,有效提升供电服务水平。
5. 结语与展望
本平台以三维可视化技术为基础,结合大数据处理技术,构建了电能量数据展示平台。通过可视化展示大屏可以方便、快捷、直观地监测电能量总体情况,有利于监控人员及时发现故障问题,并采取针对性的措施加以解决,减轻监控人员的工作压力,有效提升计量自动化监控水平和效率;公司决策层、管理层及业务人员可以了解电网整体运行和运营状况,迅速获知关键指标和事件信息,为运行决策和运维管理提供依据。该平台将大力提升电网台区的智能化水平和精益化管理能力,有效提高台区业务系统的实时监控能力,加大电力业务的工作效率和质量,进一步推动电力业务数字化转型。
电能量数据展示平台实现低压台区全景监测,拓扑自动识别、符合辨识、安全用电等高级功能应用,推进电能量数据深化应用,助力构建现代化供电服务体系。未来将积极探索新一代量测体系的业务潜力,从业务集成、终端集成、功能集成、信息集成等角度出发,提升电网与客户之间“能量流+信息流”的双向互动能力,逐步打造数字孪生配电网。
参考文献:
[1] 陈超,张顺仕,尚守卫,等. 大数据背景下电力行业数据应用研究. 现代电子技术,2013,36(24):8-11.
[2] 滕明勇,蒋福佑,王明明. 电网企业适应大数据发展的转型策略研究[J].决策咨询,2020(01):53-59.
[3] 赵云山,刘焕焕.大数据技术在电力行业的应用研究[J].电信科学,2014,030(001):57-62
[4] 孙峻岭,假露青,刘其军,汪操根.基于集群的Web并行超高分辨率显示技术[J].计算机系统应用,2019,028(003):66-72
[5] 沃得良,杨巍,鲁兴河.超高分辨率显示技术在指挥控制系统中的应用[J].指挥信息系统与技术,2018,009(003):85-90