最新录用
基于指数型二分性的二阶线性微分方程解的渐近性质研究
下载:37 浏览:505
一种基于平衡二叉树的CDP数据备份及重构方法
下载:60 浏览:358
政府科研项目管理过程中的问题分析及对策研究
下载:40 浏览:439
一种改进的Kubernetes动态资源调度方法
下载:62 浏览:484
摘要:
当前的Kubernetes集群默认调度方法是一种静态资源调度机制,它是基于应用对资源的请求量来确定调度的优先级,没有考虑节点的实际资源使用情况,造成得到的调度优先级不能准确反映该节点可提供的实际资源情况。同时还忽略了应用对资源的消耗是不均匀的,容易导致节点对不同资源的使用不均衡,从而造成节点对某一资源的性能瓶颈。针对上述问题,本文提出一种动态资源调度方法,通过实时监控节点上的资源实际使用情况计算调度优先级,考虑到cpu和内存这两类资源的均衡对集群性能的重要性,本方法将待调度的pod划分为cpu消耗型和内存消耗型,根据不同类型pod对节点资源使用情况设置不同的权重,选择集群中实际cpu和内存使用率最相近的节点来部署该pod。实验结果表明本方法相比默认调度方法集群节点cpu和内存资源使用均衡度更好。
一种基于差分进化的社团检测算法
下载:86 浏览:503
电力大数据平台中HBase的实时性优化方案
下载:82 浏览:236
摘要:
近年来,随着大数据场景的兴起,RDBMS由于其自身的扩展性和可用性限制无法满足企业需求。No SQL数据库的出现弥补了传统关系型数据库在大数据领域的不足。No SQL数据库本身具有良好的扩展性、容错性以及实时访问、存储TB级别数据的特点。HBase就是以HDFS和MapReduce为基础的开源No SQL型分布式数据库,它不支持二级索引、事务和批量数据处理时延长等[1]。本文以HBase和Spark为基础,增加插件使HBase支持SQL语句和二级索引,通过修改Spark源码,提升对HBase数据的本地化计算级别。插件对HBase无侵入、低耦合,支持用户输入SQL语句,把输入字段转化为HBase的列族和列限定符,根据不同的场景选取不同的执行方案。MapReduce计算框架具有计算效率低,无法利用HBase的读写缓存的缺陷[1],原始Spark框架不能感知HBase数据分片。本文改进Spark能感知HBase数据分片,对HBase中数据进行高级别本地化计算。最终,将本文设计的系统与业内常用的Hive+HBase方案对比常用SQL消耗的时延[3]。通过实验得出,本文构建的优化方案在没有缺失HBase的优良特性的基础上加强了部分应用场景的实时性。
一种改进的K均值微博热点话题发现方法
下载:65 浏览:249
基于虚拟仪器的微力监测系统的设计
下载:18 浏览:445
交叉验证对土壤制图模型的影响研究——以亳州市微量元素预测为例
下载:30 浏览:216
结合外部知识的动态多层次语义抽取网络模型
下载:65 浏览:349