物联网大数据存储与管理技术研究
DOI: 10.12721/ccn.2022.157119, PDF, 下载: 161  浏览: 1816 
作者: 王琦 黄俊 尚中义 应俊
作者单位: 衢州学院,浙江衢州,32400
关键词: 物联网;大数据;数据存储
摘要: 如今,物联网已被越来越多的行业广泛使用,物联网大数据中的海量数据整理成为了各个企业急需解决的问题。本文针对物联网中大数据的应用特征,对物联网大数据存储与管理策略进行深入研究。

1.前言

物联网即“万物相连的互联网”,是互联网基础上的延伸和扩展的网络,将各种信息传感设备与网络结合起来而形成的一个巨大网络,实现任何时间、任何地点,人、机、物的互联互通。物联网技术的典型特征是以数据信息为管理中心,但是因为物联网将终端延伸到了任意物品与物品之间,导致了每时每刻都有大量的数据产生。所以如何对物联网中产生的海量数据进行存储与管理成为了一大难题。

目前物联网大数据存储面临如下问题:存储规模大,物联网大数据中数据大容量通常可达PB级别的数据规模,甚至可达更大的EB,ZB级别,因此,海量数据存储系统也一定要有相应等级的扩展能力。同时,大数据应用不仅拥有庞大的数据规模,而且还有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题,处理不当的话会影响到系统的扩展能力和性能种类和来源多样化,存储管理复杂。

物联网大数据可以来源于搜索引擎服务、电子商务、智慧城市、智慧交通、个人数据业务、地理信息数据、传统企业、公共机构等等各个领域。因此数据呈现的方式众多。所以,使用原有的存储模式无法满足数据时代的需求,还会使存储管理更加复杂化。

基于以上物联网大数据存储管理中存在的问题,本文通过一种混合技术的物联网存储策略,为大数据环境下的数据存储问题提供解决思路。

2.物联网层次与信息服务系统

如图1所示,物联网可以划分为四个层次。分别为感知层、网络层、数据层、应用层。

其中信息服务系统作为核心位于数据层。它将传感器收集到的海量信息互联网,使得信息能够通过统一的API接口进行远程调用与控制,为本地应用、外部应用外部系统提供服务,承担了承上启下的桥梁作用。通过信息服务系统平台可实现对联网物体的监控,跟踪,管理与使用,使物联网技术得到了广泛的应用。

(1) 感知层:感知层是物联网的最底层,其主要功能是收集数据,通过芯片、蜂窝模组/终端和感知设备等工具从物理世界中采集信息。网络层主要通过物联网、互联网和移动通信网络传输大量信息。

(2) 网络层:网络层将感知层采集到的信息传递给物联网云平台,还负责将物联网云平台下发的命令传递给应用层,具有链接效应。网络层主要通过物联网、互联网和移动通信网络传输大量信息。

(3)数据层:数据层负责处理数据,在物联网体系中起承上启下作用,主要将来自感知层的数据进行汇总、处理和分析。同时支持实时性和历史性不同时刻规模数据查询和处理,并对外提供统一的开放性数据接口,用于实现外部不同类型的物联网应用相互之间,数据共享。

(4)应用层:应用层是物联网的最顶层,负责向外进行数据展示。主要基于平台层的数据解决具体垂直领域的行业问题,包括消费驱动应用、产业驱动应用和政策驱动应用。应用服务子层包括公共安全、远程医疗、智慧城市、数字化农业等行业应用。1.png

图1 物联网层次

3.数据存储技术

数据的存储与管理是物联网信息服务系统的关键。从数据存储发展至今,已经发展与衍生出许多信息存储与管理的方案。以下主要基于文件存储、数据库存储以及混合技术存储进行研究。

(1)基于文件的数据存储技术。

最早,数据信息的存储主要是基于XML的文本记录方法。将数据信息以文本文档的方式存储于系统文件中。此存储方式可以通过事先定义好的数据库索引技术大幅度提升搜索效率。但是,由于文件存储难以维护数据库索引,文档索引可能因为文档内容的修改而改变。

由此可见,通过文件的数据存储技术对物联网的海量数据进行存储,是远远不足的。

(2)基于非关系型数据库的存储技术

在NoSQL的数据库技术中,采取的是一种非关系模型,数据之间无关系,这样就非常容易扩展。无形之间也在架构的层面上带来了可扩展的能力。大数据量,高性能,NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。相较于传统数据库技术, NoSQL的灵活性较强、可扩展性远远提高。但是在目前,NoSQL技术仍存在诸多不足之处,例如应用范围较为狭窄,安全风险系数较高。

(3)基于混合技术的数据存储技术

以上无论何种数据存储技术都无法单独处理大量异构数据信息。所以,现如今,部分项目在会采取混合技术的使用对数据进行存储。例如在智能交通中,使用系统文件存储方式存储智能交通文件,而文件信息内容与路径信息内容则采用非结构化的数据存储在关系数据库中。这种混合技术的存储方式发挥了两种不同存储技术的各自优势,但在单一系统访问时增大了开销,影响系统性能。

综上,现如今各种存储方式都存在各自优缺点。对于物联网大数据异构存储尚未拥有一套标准的数据存储解决方案。但混合技术的数据存储目前已经成为主流。

4.物联网数据存储技术应用

(1)分布式文件系统技术应用

分布式文件系统在实现过程中,通过加强对计算机网络的应用,实现对多台计算机进行分布式文件设置,从而形成计算机群。分布式文件系统将HaD HDFS作为主要实现技术。HDFS可以存储非常大的文件,可以实现大数据集读写与跨平台兼容性。但同时存在一些缺陷。例如不适合大量小文件存储,对于其中的文件难以进行及时的修改。

(2)云数据库技术应用

云数据库技术是云计算的重要组成部分。它是部署和虚拟化与云计算环境中的数据库,能够进行虚拟化工作与部署工作,实现数据库数据信息存储能力的提升。避免了人员,软硬件重复配置的工作,提升了工作效率。在云数据库中,阿里云的AnalyticDB云数据库有着十分重要的地位。它拥有极致的性能,领先的MPP+DAG融合分布式执行引擎、智能全索引、智能优化器实现万亿数据毫秒级分析,复杂SQL相比于传统数据库快10倍。同时,阿里云数据库弹性十足,采用存储计算分离架构,存储和计算都可以独立弹性扩展。在云数据库中,用户可以在百度云平台,360云盘等平台上进行数据存储操作。此类高效存储能够大幅提升数据信息的真实性与有效性。基于此,云数据库的动态扩展性,高可用性,安全性等优势使得它被广泛应用于各个行业与领域。

(3)分布式数据库技术应用

分布式数据库技术的查询关键字是HBase,HBsae是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。HBase可以支持不同类型的接口访问,例如Native Jave API,HBase Shell等,所以能将不同访问形势的优势发挥出来。同时,Hbase对比与传统数据库,拥有更为简单的数据模型,在数据存储是,能将数据转化为信息字符串,提升了数据信息的安全性。另外,Hbase还拥有数据信息索引,信息伸缩性等优势。由此可知,分布式数据库技术应该被合理运用于物联网大数据存储与管理之中,使得数据存储更加灵活。

(4)NoSql数据库技术应用

NoSql技术也是物理网大数据存储与管理技术中的重要一环。NoSQL数据库的产生是为了解决大规模数据集合多重数据种类带来的挑战,以及大数据应用的难题。与传统关系型数据库相比,NoSql数据库技术拥有更强大的可扩展能力。数据之间无关系,使得系统非常容易进行扩展,在架构上为系统带来了更高的可扩展能力。NoSql数据库拥有很多种类,例如键值存储数据库、列存储数据库、文档型数据库等等。其中键值存储数据库最为典型,它的优势在于简单,易于部署。但缺点也显而易见,如果只对部分值进行查询与更新时,键值形式效率就较为低下了。

5.结语

物联网大数据存储与管理技术是物联网技术发展必不可少的重要环节。因此,如何解决物联网异构数据的大量存储与管理问题已成为燃眉之急。针对此现状,合理运用物联网异构数据混合存储策略能够达到理想的效果。灵活地利用技术优势,满足不同的需求。

参考文献:

[1]赵培植.物联网大数据存储与管理技术研究[J].中国新通信,2021,23(07):9-11.

[2]单志鹏.新时期物联网大数据存储与管理技术研究[J].决策探索(中),2020(12).

[3]陈瑾瑾.物联网大数据存储与管理技术探究[J].无线互联科技,2021,19(06).

[4]牛晓丽.物联网大数据存储与管理技术研究[J].电脑编程技巧与维护,2020(02):.

[5]张志得. 面向物联网的数据存储策略研究[D].安徽大学,2020.

作者简介:王琦,衢州学院2020级数据科学与大数据技术专业本科学生。