1 引言
近年来，电能设备的深化应用产生了大量的计量数据，使得系统累计的数据量呈指数级增长。为满足用户的实际使用需求，了解电能设备运行故障的突发性等问题，建立健全科学的电能设备异常诊断方案十分必要。目前，随着物联网技术在电力行业中的广泛应用，眭旻对电能计量设备异常情况监测系统进行了研究，提出了判别电能表接线的方法，完成了终端的软件及硬件的设计工作。
2 计量自动化系统终端
计量自动化系统集抄终端、负控终端、厂站终端和配变终端等为一体，有编配、集抄、负控及厂站等数据采集、分析和发布等作用，通常广泛应用在用电检查、反偷电、线损和抄核等方面。手工抄核的工作量繁重，误差大，这被计量自动化系统所取代。在计量自动化中，全自动远程抄表核算方法的使用，减少了抄核工作中的人为误差，最大限度保证了企业的经济效益。同时，远程抄表既为相关部门的决策提供了理论支持，又提高了其公共服务质量和效益。对于普通居民来讲，能更好了解自身的用电情况。关于计量自动化系统，这能对系统的运行情况实施有效监督，便于更好地找出计量故障，并进行预警，如果发生违章的情况，系统会自动记录下来，这在一定程度上减少了和用户之间的纠纷。另外，该系统通过监测变压器的运行状态，便于对过载变压器的处理。AMIS（自动计量和信息系统）为电网工作的开展提供了便利，其能把配电网的计量和管理工作整合起来，有效满足了自由化能源市场的特殊要求。这不仅优化了网络分销运营商的工作流程，更为客户提供了全新服务及数据。同时，线损终端管理能有效反映供电企业的经济效益和管理水平，计量自动化能自动生成风险、分区、分压器件的计算公式，减轻了环供电下10kV线路分线线损的计算难度，有效提高了供电企业的专业管理水平。
3 总体方案设计
3.1 数据采集层
数据采集层的主要任务是从各个智能电表中收集电能计量数据，通过智能电表的智能通讯技术可以实时地远程传输数字信号至通讯服务器。应用ETL技术实现电能计量大数据的初步处理，将初步处理后的大数据信息输出至数据存储计算层。
3.2 数据存储计算层
数据存储计算层的主要作用是对采集到的数据进行存储和计算，通过Hadoop平台将HDFS系统与Hive数据库结合，利用Spark系统中信息读写技术和计算算法对数据进行高效率地处理，之后将处理好的数据传输至数据分析层。
3.3 数据分析层
电能计量大数据分析是整个智能多维分析系统中的重要部分，利用该技术能够融合多维数据建模与OLAP技术中的关联规则技术和What-if技术，进而实现电能计量大数据的多维分析。然后将分析结果传输至应用管理层中进行系统智能诊断。
3.4 应用管理层
应用管理层的主要任务是将分析结果进行智能诊断，然后传输至应用数据库中，以备下次使用。对于特别情况，还可以通过数据可视化技术在显示屏上进行展示，通过直观显示，能够使电能计量管理人员进一步分析和研究电能计量装置存在的问题，分析后的数据信息被传递到应用数据库进行存储。
4 关键技术支撑
4.1 ETL技术
ETL技术能够抽取、转换和装载电能计量大数据。传统基于SSIS和MapReduce计算模型的ETL虽然能够分布式地处理各种电能计量数据，但是由于MapReduce计算模型的编程语言所带来的局限性，使ETL在读写的过程中存在性能差、处理速度慢等问题。本文采用在Spark技术下分区聚合方法的ETL，这种方法使得ETL保留分布式特点的优势，且不用局限于Map和Reduce方式。在数据仓库处理过程中，经常需要按一定的维度对不同程度的事实表数据进行聚合。在Spark的环境下，可以利用RDD先进行分区内聚合，而后进行分区与分区之间的聚合，分区聚合先把电能计量大数据中每个分区内部先聚合，并且缓存起来，之后在分区之间进行聚合，这样一步步将海量的电能计量数据进行汇总处理，可以有效地减少因数据传输量庞大所造成的性能问题，加快数据处理的速度。
4.2 大数据平台设计
在大数据的存储与管理模块中，设置有分布式文件系统DFS(distribute filesy stem)，主要存储等待处理的大数据。DFS能够自动为电能计量装置管理这些TB到PB级的海量电力数据，在使用时，DFS能够自动获取电能计量装置的/dfs/tmp/filel的数据。在任务分配与调度模块中，能够将数据处理的任务以及子任务调配到空闲工作机上。在划分数据时，可以根据用户的需求选择合适的数据属性和特点，这样能够提高数据调度的效率。在调度时，需要综合考虑工作机的硬件配置和软件信息情况，硬件配置包含CPU主频、内存、磁盘等，软件信息包括CPU利用程度、网络通畅程度、数据传播速度、可靠性等。使工作单元在各个物理节点之间进行迁移时比较自由和灵活。在大数据执行模块中，由SP－DPP云平台为基于虚拟化技术而实现各种操作，使得SP－DPP云平台中的电能计量装置处理、计算处理均在虚拟机上运行。
4.3 What-if假设分析技术
What-if假设分析是一种比较简单的分析方法，通过假设性原则采用不同的想法得到不同的结果，与实际情况进行比较，从而判断一个假设是否可行。What-if假设分析的基本特点是与实际情况分析的数据为同一组原始数据，在进行What-if假设分析过程中也可以加入其它综合分析，比如类比分析、原因分析和关联分析。What-if假设分析不仅能在关系数据库表和数据仓库中的关系表上进行，也能够在OLAP中的维度表和多维数据集上进行。
5 结束语
利用Spark技术基于ＲDD把运算过程存储起来的操作，减少中间读写过程的时间;利用ETL技术中分区聚合的方法把电能计量大数据分区内部先聚合且缓存，之后在分区之间进行聚合，加快数据处理速度;利用多维分析方法OLAP技术中基于关联规则的What-if假设分析法，从多维角度简单快捷分析电能计量数据。
参考文献：
[1] 妙红英,李蒙,王艳芹,王松,洪虹,康强.利用大数据实现电能计量装置运行状态质量评估[J].电力大数据,2020,23(03):27-33.
[2] 樊淑贤,程骏,赵枫,朱琳艳.电能计量大数据对计量装置运维的应用[J].通讯世界,2019,26(12):260-261.
[3] 徐敏,杨三美.基于电能计量数据的公司数据融合初步研究[J].通信电源技术,2019,36(09):212-213.
[4] 李晖,陈清族,马汉斌,许梓明.电能计量装置智能诊断方法研究[J].国外电子测量技术,2019,38(08):52-56.
[5] 罗庆,张新燕,罗晨,李江,晁勤.基于大数据技术的电能计量器具质量评估及优选方案[J].新疆大学学报(自然科学版),2019,36(03):354-360.