电力企业数据源主要涉及到电能使用和电力生产以及输电等环节。主要分为以下三种类型：第一种是电力企业日常管理中数据。第二种是电力企业日常营销中的数据，主要涉及到用电客户和售电量以及交易电价等数据。第三种是电网日常运行中设备监测中产生的数据。利用各种智能终端可以全面收集电力系统的数据信息，同时可以全面分析和处理电力数据，有利于实时监控电网，及时处理电网存在的问题。

一、概述电力调控大数据集成及管理技术的重要性

（一）有利于提高电力企业营销服务水平

用电客户可以利用数据分析平台可以向电力企业相关部门呈报详细的数据，从而实现数据管理和分析等。通过了解电能计量和客户服务等方面，促使企业人员及时了解电力营销服务的实际情况，从而实现有效用电和电费管理等工作目标，满足客户的服务需求^[1]。

（二）有利于提高运营效率

利用大数据集成及管理技术，有利于提高电力企业运营效率，为客户提供优质的服务。电力企业功能优化和资产管理以及需求预测等方面关系到运营效率。利用大数据集成和管理技术有利于优化客户关系，同时可以提供主动营销策略，优化客户体验。例如某电力企业利用大数据集成和管理技术，在停电之后可以提前预期时间，有利于提高客户满意度。因此通过利用电力调控大数据集成及管理技术，有利于降低电力企业客户流失率，有效控制企业成本损失。

（三）有利于开展精益调控

在精益调控中可以利用大数据技术，一方面可以利用风电等新能源，如果并网容量超过特定范围，如果只是利用新能源实时调控电网，不利于保持用电平衡状态，不利于发挥出电网调控的作用。而且在电力调控中利用大数据技术，可以有效控制海量数据，并且利用大数据数据方式，可以实时存储和及时处理电网调控运行信息，提高整体电网调控能力，有效优化配置资源。另一方面实现电力系统安全智能预警，可以科学评估预案过程。利用传统的预警方式，无法满足人们不断增加的电能需求。电力企业利用大数据之后，可以利用数据分类处理技术和存储技术，不断提高数据处理的实效性。此外通过构建智能预警系统，可以跟踪不同类型的故障问题，有利于科学的评估电网，推动电网可持续发展^[2]。

二、电力调控大数据集成及管理技术应用

（一）电力调控大数据存储需求

电力调控大数据主要包括结构化数据和非结构化数据等，结构化数据包括模型数据和历史数据以及实时数据等，非结构化数据主要包括语音数据和波形文件以及电网综合故障报告等。不同业务的数据访问要求也是不同的，因此需要利用数据库管理技术，有效适应不同的场景。通过设计数据存储，有利于提高数据存储结构的高效性和科学性，并且在对应的数据库中正确划分不同种类的运行数据，满足设计要求，有效简化工作程序。划分电力调控系统的数据类型，主要包括文档资料和基础数据以及电网模型等，而且在分布式文件库和关系数据库以及时序数据库中分别存储这些数据。

（二）分布式存储技术

1. HBase数据库：HBase数据库是一种开源数据库，主要是用于存储非结构化的数据。HBase数据库中主要是用Hadoop分布式文件系统，可以保障数据读写的时效性和可靠性。在应用HBase数据库的过程中具有以下优点：首先利用HBase数据库可以自动化切分数据信息，可以保障数据存储的可伸缩性。其次利用HBase数据库利用HDFS文件系统，可以保障读写操作的高并发性。最后，HBase数据库可以实现自动化分析，可以自动化处理线性拓展和新节点，而且整体容错率比较高。但是HBase数据库也存在缺点，例如HBase数据库缺乏条件查询的作用，在查询过程中只能利用RowKey。此外在HRegion压缩和分裂阶段，将会产生短暂读写堵塞问题^[3]。

2. Hadoop系统结构：Hadoop是分布式系统的基础，有利于实现分布式文件系统。Hadoop系统结构的存储空间比较大，主要是通过用流的形式访问文件系统的数据，而且具有较高的吞吐量，可以有效访问程序数据，此外还具备较高的容错率。

3. Hive工具：Hive是一种数据仓库工具，在实际工作中需要联合利用TEZ、Spark等系统，而且利用HDFS存储数据。Hive工具可以兼容各种类型的数据，同时可以直接查询废气的数据格式和文件。Hive工具是一种分析工具，可以发挥出显著的查询功能。利用Hive工具可以有效耦合输入格式和拓展格式，此外可以和发挥出数据挖掘和数据优化等作用。当前存储海量结构化数据具有较大的难度，利用Hive工具的SQL语法操作接口，有利于提高整体开发速度，并且可以编写程序，有利于降低开发成本，不断拓展Hive工具的功能。

（三）电力调控大数据主要存储方式

1. 存储非结构化种类数据

电力调控大数据系统中包括非结构化数据，不仅需要利用常规存储方式，还需要开展数据共享和数据备份。因此电力企业可以利用HDFS分布式文件系统存储数据，可以满足存储海量数据，而且可以保障吞吐量，还可以高效的访问和管理非结构化数据。

2. 统一数据仓库的数据

电力企业利用电力调控大数据系统，可以利用HDFS分布式系统存储数据仓库的数据，并且利用Hive工具管理和查询仓库数据。因为利用HDFS分布式文件系统和Hive工具有利于提高整体工作效率，利用HDFS分布式文件系统可以全面存储各种数据，通过利用Hive工具可以更加便捷地管理和查询数据^[4]。

3. 指标管控

电力调控指标主要包括电网运行分析指标和关键绩效指标等。一般指标涉及到计算周期和计算公式等方面，通常是在MySQL数据库中存储指标定义的数据，利用MySQL数据库可以提高数据查询效率。而且可以保存近一年的指标计算需要的分钟级数据。在存储两侧数据的过程中，技术人员需要利用HBase数据库，有利于存储海量数据，同时可以提高数据查询效率。

（四）实时变化数据存储设计

电力调控系统中实时变化数据包括SCADA分钟级采用数据，网络费恩熙数据如状态估计数据等。HBase数据库的底层利用HDFS分布式文件系统进行存储，可以存储海量数据。HBase数据库的数据查询速度较快，例如Hive工具需要执行MapReduce，而HBase不需要。RowKey是HBase的字节数据，相同于关系数据库的关键。

所有电力调控系统中在一张大表中保存分钟级历史数据，初始阶段只有一个区域，随着数据不断插入表，不断增大区域，当增大一个阈值之后，可以分类原始的区域为两个新区域。

在HBase数据访问，通过单个RowKey访问，获取操作某个RowKey键值，获得唯一的记录。通过RowKey扫描范围，通过设置srartRowKey和endRowKey，可以扫描这个范围，并且根据指定条件获取记录。通过全网扫描，可以获得整张表的记录。

结束语：

当前电力企业已经广泛利用大数据集成及管理技术，通过利用大数据集成及管理技术可以满足电力企业客户需求，同时可以整合电力设备和电力生产，进一步提高电网规划水平，进而提高电力企业生产质量，同时可以控制生产成本，保障电力企业整体经营效益。因此在今后发展过程中需要加强研究电力调控大数据集成及管理技术，不断提供技术水平，在实际工作中充分发挥出技术优势。

参考文献：

[1]杨嘉鹏,汪毅,谭雯.基于流量调控平台的电力监控网络风暴定位及分析[J].网络安全技术与应用,2021(11):123-125.

[2]吴程楠,田茜,陈思.基于电力调控特点及业务需求的增量数据实时同步技术研究[J].电力与能源,2021,42(05):527-530.

[3]倪敏.电力调控运行系统的安全问题与措施[J].电子技术,2021,50(09):268-269.

[4]黄文豪.配网自动化系统在电力调控一体化中的应用[J].光源与照明,2021(08):138-139.