基于云计算平台构建一种高效的政务大数据信息资源共享模型,以满足日益增长的信息共享需求。在这个模型中,考虑到数据资源的分块传输、共享任务调度、性能优化等关键要素,进行了一系列实验来评估模型的性能。
一、云计算平台的基本特点
1.弹性伸缩性:云计算平台允许根据需求动态分配计算和存储资源,使政府部门能够灵活地应对不同工作负载和数据规模的需求。
2.资源集中管理:所有计算和存储资源都集中在云计算数据中心,由云服务提供商负责管理和维护,政府部门无需负责硬件设备的采购和维护。
3.自服务性:云计算平台为政府部门提供了自助服务的能力,用户可以根据需要自行申请和配置资源,无需等待烦琐的审批流程。
二、云计算平台下政务大数据信息资源共享模型设计
1.计算资源共享时间开销。将需要共享的数据资源切分成多个数据块,传输到云计算平台上的各个虚拟节点,存放到云凭条中的HDFS环境中,在传输完成后,云平台内的虚拟机会根据调度模块内的调度方法依次执行共享任务,共享任务的优先级以各自任务的时间开销为依据。
2.分配资源共享任务。假设存在n个独立的资源共享任务,在构建模型过程中,默认各个共享任务的相对时限等于各自的周期,计算可知共享任务的最大响应时间,同时也能确定,在最坏的共享任务分配情况下,依然能在最大响应时间内完成共享任务的分配,说明共享任务的分配是合理的,能够满足共享模型的设计需求,在分配完成后,可向多方用户共享政务数据资源。
3.共享政务数据资源。在资源共享任务分配完成后,采用学习对象元数据规范描述共享资源,按照粒度的大小划分学习对象,单独的资源是低粒度资源,如图片、文本等;由多个低粒度资源组成的学习对象是高粒度资源。将待共享资源按照粒度的大小划分好后,分析资源结构,根据XML规范,描述共享资源的组织结构和元数据信息,将其转化为XML文件,按照统一的结构标准,自动打包共享资源,将物理资源保存在资源描述文件所指的位置,压缩共享资源,获得资源数据包。以云计算平台为共享的中转站,将打包的资源数据包上传到云计算平台上,平台检测资源包的合法性和规范性,提取政务资源的元数据信息,将符合标准的数据写入到云空间内,也上传到共享服务器内。在资源数据包完成上传后,元数据也已经入库,此时为了保证政务资源的合法知识产权,审核提交资源共享申请的用户权限,确定资源没有违反相关政策的同时,也确定发出共享申请的用户权限符合共享的标准要求,通过审核后,申请资源共享用户可查阅、下载上传的共享资源。如果一方审核未通过,则需要重新上传资源或重新审核用户权限后才能继续申请。至此,云计算平台下政务大数据信息资源共享模型构建完成。
三、实验研究
1.构建虚拟共享任务。实验中以验证信息资源共享模型的应用性能为主要目的,考虑到云计算平台的使用,在实验前,以云计算平台为主要平台,构建虚拟共享任务。在云计算平台上,模拟5类数据资源共享任务,在设计中,由500个节点构成中等规模存储集群的任务分配场景,在该场景中设置20个不同的任务调度器,每个调度器负责25个节点上的共享任务调度,在设置的所有节点上部署相同结构的应用副本,同时设置相同的传输时间。根据虚拟共享任务的计算量对5类应用按照升序编号,根据处理任务的大小估计共享操作需要的计算量,当任务执行时间足够长,整个实验环境趋于稳定时,比较分析不同的共享模型的应用性能。实验中以云计算平台为主,设计的虚拟共享任务执行情况。在任务调度阶段结束后,各个共享模型进入单独执行模式,分别验证常见的资源共享模型以及设计的共享模型的应用性能,使用不同的共享模型,在云计算平台依次完成各项实验。在完成上述的布置后,评估各个共享模型的共享任务分配能力,以共享任务请求所占的比例和信息的吞吐率作为实验指标;另外,以虚拟网络内节点映射时间和虚拟网络接收率作为实验指标,分析各个共享模型的性能。2.共享任务分配性能实验结果及分析。考虑到共享模型在工作过程中存在设备到设备的共享情况,因此,在共享任务分配性能实验中,搭建D2D模式下的异构网络,假设D2D接收设备与发射设备之间距离在50米范围内设置D2D设备发射的最大功率为23dBm,干扰噪声功率谱密度为17dBm。在此条件下,引入3种常见的资源共享模型,与提出的共享模型在相同的实验条件下进行共享任务分配性能实验。实验中引入的资源共享模型分别是基于环签名的共享模型、基于多源数据融合的共享模型、基于区块链的共享模型。实验中设置了泊松作业和非泊松作业两种实验条件,主要目的是模拟不同工作状态下的用户请求。观察图中实验结果可知,在泊松作业流下,提出的共享模型在有效的实验时间内,吞吐量最高达到了430MB,从初始时间单元开始,一直处于稳定上升的趋势,相比之下,另外3种共享模型,吞吐量在增长到一定值后趋于稳定,在不同的时间单元出现了不同程度的下降,整体吞吐量未超过300MB。在非泊松作业流下,提出的共享模型在实验有效时间内,保持着高水平的吞吐量,另外3种共享模型的吞吐量出现了不同程度的下降,整体水平在200MB左右,与泊松作业流下的实验结果相比,吞吐量下降明显。综上所述,在云计算平台下,设计的资源共享模型在噪声干扰的情况下,依然能够保持高水平的吞吐量,任务分配执行高效合理,分配性能优于常见的共享模型。
3.链路干扰实验结果及分析。实验以云计算平台为基础,依据虚拟共享任务5个不同的类型,随机生成多个虚拟请求,设置虚拟网络的到达率为每秒4个,节点间的连接概率为50%,以虚拟网络请求数量作为参考,在链路干扰虚拟网络环境的情况下,统计虚拟网络接收数量和节点映射时间,以这2个实验指标的变化衡量共享模型的抗干扰能力。虚拟网络请求数量是随机生成的,在各个共享模型工作过程中,数量不是固定的,在分析时,将生成的请求与接收的数量对比分析。通过表中各个共享模型的实验结果数据可知,对于不同的虚拟任务类型,各个共享模型产生了不同数量的网络请求,将请求数量与接收数量共同分析,了解到常见的共享模型并不能接收全部的虚拟网络请求,对于不同类型,接收比例也各不相同,网络内各个节点需要的映射时间也较高,最高在200ms以上,而提出的共享模型,节点映射时间短,对于虚拟网络发出的请求,没有出现拒绝的情况,全部接收。说明在链路干扰实验中,常见的共享模型受到链路干扰的影响,出现了大量请求未接收的情况,节点映射时间受到了严重影响,提出的共享模型却没有出现上述情况,保持稳定的接收状态,链路干扰对共享模型的干扰比较少,共享模型对于干扰因素的处理效果比较好。
总之,以政务数据信息资源共享为重点研究目标,在云计算平台的支持下,设计了针对政务大数据的资源共享模型,并在模型设计完成后,根据常见的共享模型的不足之处,设计多组对比实验,经过链路干扰实验和分配性能实验,验证了设计的资源共享模型的可行性,同时也证明了设计的共享模型具有更好的抗干扰性能。
参考文献:
[1]李浩宇.云计算平台的政务大数据信息资源共享模型构建研究.2022.