面向大数据的分布式存储技术研究
李军 徐振立 王京亚 王玮
生成PDF 清样下载 引用

复制成功

导出题录

参考文献( GB/T 7714-2015 ) 复制

李军 徐振立 王京亚 王玮,. 面向大数据的分布式存储技术研究[J]. 数据与科学,2025.2. DOI:10.12721/ccn.2025.157014.
摘要:
经济的发展促进了计算机技术的进步,大数据时代正在来临,传统的信息存储技术已经不再适用目前信息传播的多样化需求,只有采取质量更高的技术,才能应对海量的数据。而在大数据环境下,海量的数据促进了云计算的飞速发展,而分布式存储作为其中的关键技术,为云计算数据中心的稳定运行提供了必要的保障。分布式存储技术是基于分布式文件系统基础上发展出来的一种新系统,可以整合网络中不同容量的服务器设备,最终呈现出统一存储资源。本文就面向大数据的分布式存储技术做简要探讨。
关键词: 大数据;分布式;存储技术
DOI:10.12721/ccn.2025.157014
基金资助:

大数据时代的来临促使了传统信息存储技术的变革,而分布式存储技术可以满足大数据时代下海量数据的存储需求,会按照算法将其分散在多台相对独立的硬件设备上,这可以充分保证数据的可靠性和安全性。同时分布式网络存储系统的设计扩展了整体的系统结构,多台存储服务器分担了存储的负荷,由于互联网产生的数据呈现爆炸式增长,这些信息都可以通过分布存储时系统将其转变为二进制数据存储下来。

一、面向大数据分布式存储技术发展中面临的问题

面向大数据存储的信息数据主要包括数据库、文件系统,其中数据库信息在存储过程中性能非常强大,文件系统的存储空间效果更加良好,所以在设计分布式存储技术是两者之间的差距非常明显。在存储信息时很有可能会遇到数据数量信息过于庞大或者用户高频进行同一操作等问题,这些行为都会使分布式存储技术的发展受到阻碍。除此之外,一些没有参与访问的数据也会占据其中的存储空间,这造成了成本的浪费,所以分布式存储技术作为新型存储技术,必须要克服传统技术上扩展性低、系统复杂等缺点。

二、面向大数据分布式存储技术研究的方案

(一)面向大数据的极限式

这一存储方案主要负责数量庞大,操作起来比较繁琐的数据形式,为了保证所存储的对象在操作中具有一致性,从而提高信息访问的速度,一般会将其应用在电子商务网站或购票网站中。同时为了达到大数据极限式分布存储的要求,也需要调整原有数据的存储结构,因为在传统的分布式存储系统中是由Hadop、NoSQL和NewSQL组成,但其实这三种系统的核心处理原理是一致的,都是通过零散的存储空间实现数据的存储,从而确保存储资源得到最优化的配置。其中后者相对于前两者来说,在兼容性这一方面更能满足用户多种存储需求,甚至处理数据的速度是传统数据的十倍,所以为用户提供的信息存储管理服务比较优质。

(二)低成本分布式存储技术

在大数据时代下,信息数据呈现飞速增长,所以存储成本也随之增高,而低成本分布式传统技术的出现,解决了现有数据存储成本过高的问题[1]。在诸多低成本分布式存储技术中,基于对象的分布式存储技术在节约这一方面效果最好,主要使用的是Web协议去实现数据传输通道和数据控制通道的分离,从而提高数据传输的效率。这一分布式传统技术会为用户提供两个ID,分别是存储对象ID和存储公空间ID,二者互相对应,所以能实现数据的定向存储,并且存储空间处于平级,并不会发生干扰和连带故障的现象,这也在一定程度上防止了数据丢失。除此之外,Swift作为最经典的低成本分布式存储系统,由数据访问和数据管理组成,可以实现各个节点信息的查询,能为用户的查询节省时间。

三、解决大数据分布式存储技术难题的措施

首先在大数据管理中,人才作为主要的管理者,将会直接影响着他数据的管理和应用,由于我国目前普遍缺乏大数据管理人才,绝大部分从事这方面的人员对于大数据分布式传输技术的了解并不深入,他们无法主动去应用一些技术,所以导致管理效率较低,使信息数据失去了利用的价值。因此各大高校可以开设与大数据有关的专业,增强学生的应用能力,企业也可以做好员工招聘和培训工作,尽可能通过考核挑选出能力最优的应聘者。而已经从事大数据管理的人员,也需要端正工作态度,积极学习大数据分布式存储技术,提高自己的工作能力。其次在信息时代下信息数据的安全性是非常重要的问题之一,而现有的绝大部分大数据分布式存储系统还不能完全抵挡所有的病毒和黑客,也无法全面保障用户的信息数据,所以为了有效解决这一问题,开发者必须要加强研究力度增强系统的防御能力,同时也要通过提高内部自检能力来应对病毒和黑客的攻击。一方面要具有信息保护的意识,随时为系统设置密码,另一方面要制定详细的使用规则,这可以防止数据的外泄。最后要想真正体现大数据分布式存储系统的价值,开发者不仅要了解用户和市场的需求,还需要增强系统的功能,提高系统处理数据的能力与效率。除此之外,还要定期维护,确保系统能正常运行,确保系统中存储的信息不会被外来人员窃取[2]

结束语:

通过全文的分析可以知道,面向大数据的分布式存储技术作为一种新型的存储技术,能节约存储成本,提高数据管理的效率,满足用户的多样化需求。但是在时代变化和用户要求扩大的背景下,这种新型的存储模式必须要整合数据库和文件系统,要为用户提供低成本效率高的存储服务,这才是工作的重点。

参考文献:

[1]顾勤. 面向大数据的分布式存储技术研究[J]. 无线互联科技, 2020, 17(15):2.

[2]杨文娟.面向大数据的分布式并行集群存储技术研究[J].电子测试,2021(09):88-89.

》在线投稿系统

*文章题目:
*作者姓名:
*电子邮箱:
*通讯地址:
*联系方式:

  备      注:

*上传稿件:

支持上传.doc,.docx,.pdf,.txt,.wps文件

投稿须知:

1、审稿结果将于1~7个工作日以邮件告知,请注意查收(包含录用通知书、审稿意见、知网CNKI查重报告)。

2、提交投稿后,若7个工作日之内未接到录用通知,则说明该文章未被录用,请另投他刊。

3、凡投寄本刊稿件,如在内容上有侵权行为或不妥之处,均应文责自负。本刊有权对来稿进行文字编辑、加工和修改,如不同意,请附说明,以便妥善处理。

4、多作者文稿署名时须征得其他作者同意,排好先后次序,通知用稿后不再改动。

5、凡投往本刊稿件一经录用发表,其版权归本刊所有。

6、本刊已全文录入中国知网、万方、维普等数据库,如作者不同意被收录,请提前申明,未申明者,本刊一律视为同意被收录。

7、请勿一稿多投。