1 智能电网大数据概述
1.1 智能电网大数据特点
根据数据来源的不同，可以将智能电网大数据分为电力企业内部数据和电力企业外部数据。电力企业内部数据源主要包括广域量测系统（WAMS）、数据采集与监控系统（SCADA）、在线监测系统、用电信息采集系统、生产管理系统、能量管理系统、配电管理系统、客户服务系统、财务管理系统等；电力企业外部数据源包括气象信息系统、地理信息系统、互联网数据、公共服务部门数据、社会经济数据等。这些数据分散放置在不同地方，由不同单位 / 部门管理，具有分散放置、分布管理的特性。
1.2 大数据业务需求分析
智能电网大数据业务应用根据对象不同可分为面向电力公司运行管理、面向电力用户服务、面向政府部门辅助决策等 3 类。面向电力公司运行管理类应用包括电力系统稳定性分析与控制、输变电设备故障诊断与状态检修、配电网运行状态评估与预警、配电网故障定位、负荷预测、城市电网规划等；面向电力用户服务类应用包括用户用电行为分析、需求侧管理、能效分析、供电服务舆情分析等；面向政府部门辅助决策类应用包括社会经济状况分析与预测、政府决策支持与相关政策评估，如电价政策、新能源补贴政策等是否合理等。这些需求需要综合电网运行状态信息、用户用电信息、客服系统信息、气象数据、经济社会数据和互联网数据等。
2 智能电网大数据关键技术
根据信息处理流程，大数据在智能电网中的应用可以分为数据采集、数据清理、数据存储及处理、数据分析、数据解读和数据应用 6 个环节，其关键技术包括数据集成技术、数据存储技术、数据处理技术和数据分析技术。
2.1 数据集成技术
智能电网大数据具有分散性、多样性和复杂性等特征，这些特征给大数据处理带来极大的挑战。要想处理智能电网大数据，首先就需要对众多数据源的数据进行集成，通过数据抽取、转换、剔除、修正等处理，建立正确、完整、一致、完备、有效的智能电网大数据。目前通常采用数据集成模型包括数据联邦、基于中间件模型和数据仓库等。 智能电网大数据集成涉及众多各类型的应用系统，这些系统类型和特征复杂，在实时性要求、数据规模、数据类型等方面存在较大的差异，在智能电网大数据集成中需要综合考虑各种因素，在集成技术上单一技术可能很难实现，需要结合多种技术来实现智能电网大数据的集成。
2.2 数据存储技术
在智能电网大数据中，绝大多数数据为结构化数据，同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储，对结构松散无模式的半结构化数据可采用分布式数据库，对海量的结构化数据可采用传统关系型数据库系统或分布式并行数据库。
2.2.1 分布式文件系统
分布式文件系统适合存储海量的非结构化数据，将数据存储在物理上分散的多个存储节点上，对这些节点的资源进行统一管理和分配，并向用户提供文件系统访问接口，主要解决本地文件系统在文件大小、文件数量、打开文件数等方面的限制问题。
2.2.2 分布式数据库
大数据环境下对数据的存储、管理、查询和分析需要采用新的技术，传统的数据库在数据存储规模、吞吐量、以及数据类型和支撑应用等存在瓶颈。分布式数据库由于具有很好的扩展性和协同性，在大规模数据存储和管理中得到广泛的应用。目前主要有键值存储系统、文档数据库、图数据库等。
2.2.3 关系型数据库系统
智能电网中很大一部分数据是结构化数据，针对一些数据和业务应用，传统关系型数据库可能更适合，因此在大数据环境下，传统关系型数据库也具有一定的应用。基于传统数据库如 Oracle 等构建数据仓库，开展智能电网业务的分析挖掘。
智能电网大数据结构复杂、种类繁多，其数据存储理也是智能电网大数据的重要功能，从整体上对存储在不同系统上的数据进行统一管理，并提供数据索引和查询功能。需要根据数据的特点选用适合的数据存储方式。数据管
2.3 数据处理技术
智能电网大数据的应用类型多，需要根据不同的业务需求采用不同的数据处理技术。根据大数据的数据特征和计算需求，大数据处理技术分流处理、批处理、内存计算、图计算等。
流处理的处理模式将数据视为流，源源不断的数据组成了数据流，当新的数据到来时就立刻处理并返回所需的结果。数据流本身具有持续达到、速度快且规模巨大等特点，因此通常不会对所有的数据进行永久化存储，而且数据环境处在不断的变化之中，系统很难准确掌握整个数据的全貌。目前广泛应用的流处理系统有 Twitter Storm 和 Yahoo S4。Storm 是分布式实时计算系统，主要用于流数据处理，可以简单、高效、可靠地处理大量的数据流。它能够处理源源不断流进来的信息，处理之后将结果写入到某个存储中去。Storm 的优点是全内存计算，因为内存寻址速度是硬盘的百万倍以上，所以 Storm 的速度较快。Storm 弥补了 Hadoop 批处理所不能满足的实时要求，经常用于实时分析、在线机器学习、持续计算、分布式远程调用和 ETL 等领域。
2.4 数据分析技术
数据分析是智能电网大数据处理的核心，由于大数据的海量、复杂多样、变化快等特性，大数据环境下的传统小数据分析算法很多已不再适用，需要采用新的数据分析方法或对现有数据分析方法进行改进。数据挖掘方法主要有分类、关联分析、聚类、异常检测、回归分析等，其中每一类包括众多的算法。分类包括支持向量机、决策树、贝叶斯、神经网络等技术； 关联分析包括 Apriori、FP-growth 等算法；聚类分析分为划分法、层次法、密度法、图论法、模型法等，具体算法如 k-means算 法、K-MEDOIDS 算 法、Clara 算 法、Clarans 算法、SOM 神经网络、FCM 聚类算法等；异常检测包括基于统计、距离、偏差、密度等方法。在智能电网应用中需要对现有的算法进行优化和并行化改进，实现分布式处理。
机器学习是面向任务解决的基于经验提炼模型实现最优解设计的计算机程序，通过经验学习规律，一般应用在缺少理论模型指导但存在经验观测的领域中。机器学习分为归纳学习、分析学习、类比学习、遗传算法、联接学习、增强学习等。深度 学习是机器学习研究中的一个新的领域，智能电网大数据挖掘主要为结构化数据，同时也存在文本、图像、音频、视频等数据，在智能电网大数据应用中需要针对具体的业务采用合适的数据分析方法。
4 结语
（1）智能电网大数据数据量大、类型多样、数据特征复杂，同时业务应用需求场景多，且存在交叉融合，对现有数据处理方式和平台提出了很高的要求，需要采用新的大数据处理技术来支撑。
（2）智能电网大数据关键技术包括数据集成、数据存储、数据处理、数据分析等技术，需要结合具体业务的特点和需求选择相应的技术。
（3）随着智能电网的发展，数据将成为核心资源， 大数据平台将承载智能电网众多各类型应用，其基础作 用将越来越重要。
参考文献
[1]张东霞，苗新，刘丽平，等．智能电网大数据技术发 展研究[J]．中国电机工程学报，2015，35(1)：2-12．
[2] 宋亚奇，周国亮，朱永利．智能电网大数据处理技术 现状与挑战[J]．电网技术，2019，37(4)：51-51
