我要投稿 查看投稿进度
学术期刊
在线客服
客服电话：400-188-5008
客服邮箱：service@ccnpub.com
投诉举报：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享

请选择 目标期刊

配用电大数据分布式计算集群负载均衡框架 下载：92 浏览：473

张令涛1，2 赵林1，2 张亮1，2 田国辉1，2 孙湃1，2 《电网技术研究》 2019年1期

摘要:
为了解决配用电环节产生的大数据经常出现数据倾斜而造成分布式运算环境利用效率不高的现象,提出了一种用于配用电大数据分布式计算的负载均衡框架。框架首先定义了中间结果提前传输机制,通过限定范围的可控参数控制传输进程,将中间结果进行排序,传输低于负载均值的分片。然后介绍了分片的二次分拆原理,根据分片的大小动态决定分拆计划。完成分片的分拆之后,介绍了如何利用贪心启发式算法实现分拆结果的均衡分配,结合布隆滤波器实现了分拆后分片的传输。最后通过实验验证,文中提出的配用电负载均衡框架能够有效地提高配用电大数据分布式运算系统的效率,减少因数据倾斜造成的部分节点因运算任务过重而导致的总体执行时间过长现象。
[1/1]
|<
<
1
>
>|
在线客服：：点击联系客服
联系电话：：400-188-5008
客服邮箱：：service@ccnpub.com
投诉举报：：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享