我要投稿 查看投稿进度
学术期刊
在线客服
客服电话：400-188-5008
客服邮箱：service@ccnpub.com
投诉举报：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享

请选择 目标期刊

网络关联大数据的存储与计算架构设计 下载：68 浏览：433

王红心 龙文佳 《数据与科学》 2020年1期

摘要:
随着互联网应用发展,以微博为代表的网络关联数据在迅猛增长。这些规模庞大,关联复杂的图结构数据给传统数据库的存储、管理和计算带来了巨大挑战。论文提出了一套基于图数据库模式的关联数据的管理和计算框架。该框架能实现网络关联数据的高效存储管理和计算,能解决海量关联数据的存储和计算的可扩展性及其易用性问题。初步实验结果表明:图数据存储模式在面向关联数据的存储管理中,性能比传统的关系数据库模式有明显提高。另外,该框架还定义了网络数据关联属性的抽取工具和图计算API。该工具能有效地实现网络非结构化数据到结构化数据的转换;采用框架中引入图计算API,能满足关联数据的常用计算需求,支持关联数据的相关应用的开发。

海量数据驱动下的高分辨率海洋数值模式发展与展望 下载：63 浏览：472

宋振亚1 刘卫国1 刘鑫1 苏天赟2 刘海行3 尹训强3 《海洋研究》 2019年5期

摘要:
海洋数值模式是定量描述海洋物理现象及其变化的数值模型,也是海洋与气候研究、预测的核心工具.随着海洋观测的不断投入与积累、对海洋认识的不断深入,特别是在高性能计算技术的支撑下,海洋数值模式已有了长足进步,正朝着高分辨率和多物理过程的方向发展.随着分辨率的提高、物理过程的细化,海洋数值模式的发展面临着多个方面的挑战.当前,海洋数据数量和种类不断增多,同时超级计算机、高性能计算和深度学习等技术的快速发展,为海洋数值模式的突破提供了机遇与挑战.本研究回顾了海洋数值模式的发展现状,梳理和分析了其发展中遇到的大规模高效并行计算和参数优化这两个关键问题,探讨和展望了当前海量数据驱动下海洋数值模式的发展趋势.提出计算负载均衡、计算与I/O重叠的并行流水线设计以及降低全局交换的算法改进是当前突破高分辨率海洋模式大规模高效并行效率的关键.从海洋科学、高性能计算以及深度学习深度交叉融合的角度,提出了实现海洋科学与深度学习相结合的6个途径,在此基础上,探讨了基于深度学习的参数化优化可能实现的途径.

基于民航系统产生海量数据的消息队列的性能对比与优化研究 下载：106 浏览：1379

辛小虎 《数据与科学》 2023年5期

摘要:
随着现代民航系统的不断发展，消息队列在航班调度、客户服务、数据收集和处理等方面扮演着越来越重要的角色。要想实现对这些数据的高效处理，需要具备较好性能的分布式消息队列，这对于提升数据信息处理效率有着非常重要的作用。在面对海量数据时，选择使用哪种消息队列是目前传输过程中所面临的重点问题。本文主要基于海量数据环境下，对消息队列的性能对比进行了深入分析，并结合实际情况提出了一些有效的优化策略，希望能在一定程度上提升海量数据处理效果。本文研究了基于民航系统数据间的消息队列的性能对比与优化问题。消息队列是一种基于异步通信的架构模式，它可以提高系统的可伸缩性、可靠性和可维护性。本文首先介绍了民航系统数据间的通信模型和消息队列的基本概念。然后设计了Kafka消息队列模型，并进行了Kafka性能测试和对比。最后我提出了一些优化建议，包括创新性和消费者可靠性设计等方面。
[1/1]
|<
<
1
>
>|
在线客服：：点击联系客服
联系电话：：400-188-5008
客服邮箱：：service@ccnpub.com
投诉举报：：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享