1 总体架构设计
在该系统设计中,数据采集层主要用于采集电力营销管理系统中的各种数据。电力营销管理系统是使电力企业能够建成一系列服务于生产、计量管理、营销、客户服务、数据处理、企业管理、计量管理、财务管理等各个不同领域的计算机信息管理系统,该系统是由客户服务层、电力营销工作质量管理层、电力营销管理决策支持层、电力营销业务层等组成,其包含各种不同数据,诸如大型专变终端、中小型专变终端、单/三相检定设备、居民用户设备、公用配变考核计量设备、变电站设备等电力设备产生的管理、计量用电、监控等各种数据。数据采样单元还可以包含计量装置,采集不同电力设备信息数据的多种传感器,诸如振动传感器、温度传感器、湿度传感器、磁场传感器等。
云存储单元主要负责存储电力营销管理系统中的各种电力数据信息。云存储单元拥有多个数据服务器,云存储类型包括个人云存储、私有云存储、公有云存储和混合云存储,都具有较大的容量。在个人云存储单元中,通常通过网络连接电力设备来启用,这样能够使用户存储类型各异的个人数据。诸如Word、文本、图案、照片、视频和音乐。用户通过携带该云设备,可以随时拥有数据并控制设备,进而访问云数据。在私有云存储单元中,通过本地局域网络控制的云存储服务器,充分地利用虚拟机的性能特点,存储电力营销管理系统大数据。在公有云存储单元中,其能够使提供商拥有、管理、构架和维护电力信息营销管理系统数据。在混合云存储单元中,其是上述各种元存储单元和数据中心的适当组合。这种方式能够将由企业拥有和管理的电力营销管理系统数据资源具有与公共云存储的电力数据提供的弹性、可扩展性和成本优势。
在云计算单元中,通过数据挖掘算法对接收到的数据按照不同的定义属性进行分类、计算,数据挖掘算法包含诸如关联算法、回归分析、聚类算法、异常检测等,其中每种算法又包括多个算法,比如分类算法包括诸如决策树算法、贝叶斯算法、神经网络、支持向量机等多种算法。限于篇幅,该文采用BP神经网络算法。通过BP网络算法模型能够将电力数据按照误差逆传播算法训练多层前馈网络,继而学习和存贮大量的输入-输出模式映射关系,及时映射、处理电力信息样本中比较复杂的非线性关系,这样能够提高电力营销管理系统产生数据的精确度。用户在数据应用层中能够进行各种应用。
2 关键技术设计
2.1 云计算平台设计
由于云计算平台SP-DPP具有存储电力营销管理系统大数据的稳定、可靠的中心节点,因此该文用SP-DPP云平台进行云计算。SP-DPP平台在处理、分配电力营销大数据处理任务时,能够把数据处理任务在营销管理大数据中心节点上调度,比如参数文件、配置文件、代码文件等。云计算平台SP-DPP在逻辑上包括大数据存储与管理模块、任务分配与调度模块、大数据执行模块和客户端模块。云计算平台SP-DPP能够实现电力营销管理系统海量数据处理的需求,以实现电力营销管理系统的运行状态,更好地获取相关数据。
在大数据的存储与管理模块中,设置有分布式文件系统DFS(distribute file system),主要用于存储等待处理的大数据。DFS能够自动为电力营销管理系统管理这些TB到PB级的海量电力数据,在使用时,DFS能够自动获取电力营销管理系统的/dfs/tmp/filel的数据。在任务分配与调度模块中,因为需要分配、调度电力营销管理系统数据,该模块能够将数据处理的任务以及子任务调配到空闲工作机上。在划分数据时,可以根据用户的需求选择合适的数据属性和特点,因此提高了数据调度的效率。在调度时,需要综合考虑工作机的硬件配置和软件信息,硬件配置包含有CPU主频、内存、磁盘等,软件信息包括CPU利用程度、网络通畅程度、数据传播速度、可靠性等。使工作单元在各个物理节点之间进行迁移时比较自由和灵活。在大数据执行模块中,由SP-DPP云平台为基于虚拟化技术而实现各种操作,使得SP-DPP云平台中的电力营销管理系统处理、计算处理均在虚拟机上运行。
2.2 大数据处理方法
由于BP网络算法模型本身的学习效率高,数据诊断速度快,数据判断的准确率较高,因此在面对电力营销管理系统各种大型数据时,用户需要分析出各个不同数据内在联系及关系,就要用到BP网络算法模型。神经网络算法模型主要类型有前馈神经网络、回复式神经网络、时序记忆神经网络等。该文主要采用前馈神经网络模型,这也是最为高效的网络模型。利用BP网络算法模型能够映射、处理电力营销管理系统内存在的各种信息样本中错综复杂的非线性关系,揭示电力营销管理系统数据之间的逻辑关系。
在利用上述方法时,首先在电力营销管理系统平台中选出用户待分析的不同类型的数据,通过学习、训练,将杂乱无章的数据进行预处理,将无关的电力数据剔除掉,过滤出较为纯净的数据类型,然后按照数据的特征属性进行聚类、归类等操作。由于BP神经网络模型包括输入层、隐含层和输出层。经过处理以后的数据通过输入层输入,这些数据包括电力营销管理平台中的电能计量数据、电费收取费用、配电管理费用、线损管理费用、用电监查费用等,通过反复调整神经网络中的权值、阈值,进而逐步逼近用户所需要的结果,最终使得电力营销管理数据最小化输出误差,使得数据处理精度比较高,在使用调整BP神经网络模型时,按照下述公式来调整:
调整输出层权系数的公式为:
调整隐含层权系数的公式为:
针对每种电力营销管理信息样本数据中的输入模式对的二次型准确函数模型为:
对于N个电力营销管理系统数据样本的总准确函数表达式为:
在输入层,电力营销管理系统平台内具有复杂信息数据,在利用上述公式计算之前,首先要对电力样本数据进行标准化处理,以便提高学习精度。
假设输入的电力营销数据的种类为m个,样本为N,对于输入数据xij的标准化按照下列公式的步骤进行:
其中,i=1,2,…,N;j=1,2,…,m,Zij为进行标准化处理后的数据。
标准化公式为:
其中,yi为输出电力营销信息样本;y'i为标准化后的电力营销信息样本数据;ymax、ymin为输出电力营销信息样本数据中的极大值和极小值;0<q<2,0<b<2。然后将隐层节点数确定在6~8之间,输入层到隐层的数值介于0.3~0. 5之间,隐层到输出层之间的数值介于0.1~0. 2之间。根据上述公式建立BP神经网络模型,即可实现BP神经网络计算。
结束语
由于大数据蕴含的巨大科学、经济价值,随着云计算技术的发展,云计算在大数据计算中发挥着越来越重要的作用。该文通过建立SP-DPP云平台进行云计算,在SP-DPP平台处理、分配电力营销大数据处理任务时,能够把数据在营销管理大数据中心节点上调度,又经过BP神经网络模型算法实现数据的更精确学习、训练。通过采用“大数据+神经网络”的深度学习算法针对电力营销管理系统中非结构化、模式多变的电力大数据群中的特征提取模式,有效地提高了数据的精确度。
参考文献
[1] 李佳,徐胜超.基于云计算的智能电网大数据处理平台[J].计算机工程与设计,2018,39(10):3073-3079.
[2] 郝然,艾芊,肖斐.基于多元大数据平台的用电行为分析构架研究[J].电力自动化设备,2017,37(8):20-27.
[3] 王远,陶烨,蒋英明,等.智能电网时序大数据实时处理系统[J].计算机应用,2015(z2):88-92.