电力业务大数据因采集性能良好，在电网终端采集设备中得以广泛应用。为充分发挥实时数据采集的重要作用和价值，需不断提升大规模实时数据流处理技术水平，满足对大规模电网数据流进行实时处理的要求。现阶段使用的电力大数据处理方式仍存在一些问题，在电力大数采集工作中依然使用“先存储，后设计”的理论方法，该方法易对系统的可扩展性、容错性和状态一致性等方面产生一定影响。大规模电网的数据流数据信息繁杂，具有较高的实时性和无序性，给大数据信息的采集和处理工作带来了很大难度。
1电力大数据平台应用特点
电力大数据平台通过对所有采集的数据进行标准化处理，采集的数据持续进行，以保证数据的可靠性和完整性，为未来的电力发展贡献必要的数据支持。电力大数据平台的开发，从复合结构、多结构和高可用等多方面为不同的业务提供保障，保证电力大数据平台不间断运行。任何一个计算的故障都不会影响整体运行。电力大数据平台可扩展性强，在信息时代发展的今天，大数据只需几台服务器就可以完成信息的扩展，通过更换硬件或软件，可有效实现灵活扩展，保障投资目标。大数据平台具有开放性，可以分析任何相关数据，为模块化应用提供匹配精度。
2电力大数据采集与监视的关键技术的应用
2.1Hadoop技术
电力大数据采集的技术架构通常采用Hadoop技术，在此基础上引入分布式框架。Hadoop是一个能够对大量数据进行分布式处理的软件框架，其优势是可以提供可靠、高效、可伸缩的方式进行数据处理，以并行的方式工作，通过并行处理加快处理速度。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，处理速度快。Hadoop大数据生态集群技术，支撑单机百万级设备同时在线、分钟级高频采集和全量原始报文解析，并保时、保值、保量地完成数据入库及推送发布。可有效提升采集抄表的效率和精准度，同时支撑电能数据、交流模拟量、工况数据、电能质量数据、事件记录数据等用电信息处理，日均采集数据多达亿条。
2.2数据仓库技术
数据仓库技术采用HIVE分布式的数据库，其存储层划分为四层，即数据仓库层、数据明细层、数据中间层和数据服务层。这种数据库的优势是可以实现多元化、异构数据的整合，同时可以改变异构数据的存储格式。在电力系统中引入分布式的数据仓库具有独特的优势。因为分布式数据仓库的技术特点是可以利用大数据技术和分布式技术解决电力系统中海量数据的储存问题，尤其是对于异构数据和非结构化数据来讲，如电力系统中常见的众多日志数据、文本数据、图片数据、音频数据、视频数据等。这些数据需要比较大的存储空间，分布式数据仓库技术恰好可以整合这种多元化的异构数据，进行统一的存储处理并通过Hadoop分布式技术实现并行计算，提升电力系统中海量数据的处理分析和存储效率。
2.3数据采集技术
数据采集技术适用于电力系统中的多个业务场景，业内主流采集工具是Kettle，其工作流程分为抽取数据、清洗转换数据和数据加载处理，该种技术下数据采集效率得到了提高，也便于维护管理。
2.4分布式计算技术
随着业务量的增加，电力企业数据量也从GB级别增加到PB级别，只有引入Hadoop分布式计算才能满足数据处理需求，提高日常运营能力。分布式计算是一种特殊的并行计算方式，将相关的计算资源、数据等分布在不同的机器上，各个计算单元之间通过网络传输。常见的有分布式Redis、分布式MySQL、分布式Hadoop等。
2.5大数据平台智能化应用
为了能够利用来自多个分散和多样的环境数据源的服务形式，环境目标管理支持系统必须能够整合相关的环境监测数据。数据集成是指标准化的数据处理。具体来说，数据集成包括按行和列排列阵列中的数据，并将矢量、图像数据和环境指标光栅化，形成计算和分析基础。数据标准化后，对数据进行统一管理，通过类型、索引和扩展属性进行描述，具体数据通过描述定位。动态环境管理空间指标体系的构建基于多样的地理处理框架，通用工具集、可视化建模和脚本扩展包，通过建模定义多个数据的计算关系，实现指标计算。
2.6可视化人工交互技术
人工交互技术是指对采集到的数据、属性和遥感影像数据进行处理和整合，在可视化上进行集成可视化，研究不同数据的交互查询、修改和更新的方法。为驱动良好的数据可视化，构建交互处理平台和多个异构源的大数据展示，形成满足工程环保数据组合可视化需求的新架构。在可视化交互屏上，配置展示平台和数据调用操作界面，将数据调用指令界面连接到数据管理系统，配置多层数据在展示平台上的堆叠展示，以及不同的展示界面对应不同层次的界面。交互视觉显示时，根据关联的界面显示界面层，数据调用可视化通过显示屏呈现多维数据，底层屏幕是一条信息稳定的实体消息，通过屏幕界面随时调用相关的群消息体来显示界面，屏幕内容采用多层叠加的方式。
2.7升级配电网系统结构
若想充分保障配电力网络运行的可靠性,就需要利用大数据技术对电力网络系统结构进行升级,让电力网络结构变得更加安全可靠。首先,电力企业需要对达到或临近使用期限的电力设备进行升级,保障所使用的都是新型的电力设备,并在设备中安装数据采集以及状态监测装置,保障电力设备的正常运转。其次,要结合实际运转情况来适当调整系统运行的状态,及时发现工作过程中存在的问题,及时给予完善的解决办法。最后,电力企业还要结合用户实际用电情况对电力负荷性进行分析,切实完善电力网络运行策略,保障电力网络运行的可靠性。
2.8提升电网智能化自动化运行管理能力
通过大数据技术来提升电力网络的智能化运行能力。首先,针对电力数据信息进行分析整理,掌握电力系统的运行方式,其次,再通过对大量用户的用电习惯进行分析,找到一个标准的用电规律,提升电力网络智能化自动化运行管理能力。同时,还要针对电力网络运行的管理模式进行创新,充分提升电力网络运行效率,这是电力网络利用大数据技术进行发展的一个必经之路。
3结语：综上所述，在现代化社会发展背景下，智能化逐渐成为电力事业的发展趋势，传统的电力通信报文记录与分析装置已经难以服务现代化智能电网发展需求。需要结合实际情况，研发一种网络安全型通信数据存储工具，提高电力通信网络数据采集的高效化、便捷化与即时化和智能化发展，突破通信规约的限制因素，减少电力设备运维工作量，提高电网运维的整体工作效率，以及电力大数据采集的规范性和可靠性，助力我国电力事业的高质量发展。
