大数据时代下的计算机信息处理技术应用与实践
盛玉洁
生成PDF 清样下载 引用

复制成功

导出题录

参考文献( GB/T 7714-2015 ) 复制

盛玉洁,. 大数据时代下的计算机信息处理技术应用与实践[J]. 信号处理与图像分析,2025.4. DOI:10.12721/ccn.2025.157491.
摘要: 当今,信息技术革新促使数据量呈指数级增长,社交网络、移动设备、物联网等成为数据的重要来源。各行各业都被数据洪流包围,传统信息处理手段难以应对。这种形势推动计算机信息处理技术不断革新,以适应大数据时代的发展需求。本文围绕大数据时代展开,阐述计算机信息处理技术在其中的应用与实践情况,为信息处理技术在大数据环境下的优化应用提供参考。
关键词: 大数据时代;计算机信息处理技术;应用;实践
DOI:10.12721/ccn.2025.157491
基金资助:

在信息技术高速发展的今天,人们已经进入了大数据时代。数据量的爆炸式增长和数据类型的越来越复杂给计算机信息处理技术带来了新的挑战。如何有效地对海量数据进行处理并从中发掘出宝贵的信息已经成为目前各个领域研究的重点。大数据时代计算机信息处理技术的运用和实践意义重大,是促进各个产业智能化发展至关重要的动力。

一、大数据时代下的计算机信息处理技术应用特点

大数据时代下计算机信息处理技术表现出一系列鲜明特征,深刻改变着数据处理的方式。

一是数据规模大。在大数据时代,数据量呈现爆炸式上升,规模已经远超传统数据处理系统,比如互联网公司在日常产生大量用户浏览记录,社交网络信息和交易数据。这些资料从各种渠道、各种设备获取,多样性、复杂性很高。以电商平台为例,它在世界各国的日成交笔数可以达到几亿笔,每笔成交中都有商品信息,买卖双方信息,支付情况等多维度的数据,这么大的数据量,要求有一个新的信息处理技术架构进行处理[1]

二是数据类型多样化。大数据涵盖了结构化数据(例如关系数据库的表数据)、半结构化数据(如XML文件)和非结构化数据(例如,文本,图像,音频,视频)。以医疗领域为例,病人病历信息中可能含有结构化诊断代码,用药记录以及医生文字诊断描述、X光片和其他非结构化数据。计算机信息处理技术要求能同时对这些不同种类的数据进行处理,并在多种格式下提取出具有重要意义的信息。

二、大数据时代下的计算机信息处理技术应用与实践的方法

(一)数据挖掘技术

数据挖掘技术是大数据时代起着至关重要的作用,是一种从大量、复杂数据中挖掘潜在模式与宝贵信息的核心方法,数据挖掘技术涉及到很多方法与算法,关联规则挖掘就是最主要的技术之一,被广泛应用于商业领域[2]。以超市销售数据为例,对关联规则进行挖掘,能够找到客户所购物品间的联系。在对海量购物篮数据分析中,人们或许能发现这样一个很有意义的联系:买啤酒的客户同时频繁地买尿布。这一联系并不明显地表现在大量交易记录中。商家可利用这些信息对商品陈列进行优化,把啤酒、尿布摆放到临近货架处,以增加销售额。在数据挖掘中,分类算法又是一个至关重要的环节。在医疗诊断方面,可以利用分类算法依据病人的病症、检查结果和其他数据对疾病类型进行预测。例如,在处理大量病历数据的基础上,通过运用决策树和支持向量机等多种分类算法,能够构建一个用于判断患者是否患有特定类型疾病,例如糖尿病的模型。该模型通过分析患者的年龄、体重、血糖水平和家族病史等多个维度的数据,能够输出患病的可能性,从而帮助医生更准确地进行诊断和制定治疗计划。

(二)分布式存储技术

分布式存储技术作为大数据时代处理海量数据存储需求的重点解决方案,为可靠保存与高效访问数据提供强大支持。分布式存储系统,其核心是把数据分散存储到若干独立节点中,以Hadoop Distributed File System(HDFS)为例,它是一种典型的分布式文件存储系统。在大数据应用场景下,例如大型互联网公司对用户数据进行存储时, HDFS会把大文件划分为若干个数据块并且把这些数据块分布存储于集群内的各个节点。该存储方式具有很多优点[3]。一是存储容量扩展性增强。当数据量越来越大时,只要新增一个存储节点就可以很方便地扩充存储系统容量以适应业务增长。例如,某社交媒体公司通过在分布式存储集群上加入新型存储服务器来实现用户的激增以及用户产生内容的激增,便能连续储存大量用户动态、图片、视频等信息。二是分布式存储技术也提高了数据可靠性。在分布式存储系统里,数据一般都会被多个副本保存到不同节点中,在某一节点遭遇故障的情况下,其他节点上的数据副本能够确保数据的稳定性和可用性。例如,在某个科研数据存储项目里,有大量的珍稀实验数据被储存,特别是当一个存储节点因硬件故障而损坏,并且数据在其他节点存在备份时,科研人员仍能正常获取数据,不因个别节点出现问题造成数据丢失,为科研工作顺利开展提供保障。此外,分布式存储技术还可以并行地获取数据。不同应用或者用户可在不同节点上同时读取数据以提高数据访问效率。电商平台促销活动过程中,海量用户同步查询商品信息和浏览订单记录,分布式存储系统能够使上述请求并行被处理,从不同节点获取数据以缩短用户的等待时间和改善用户体验。

(三)云计算技术

云计算技术就像大数据时代的基石,它为数据处理与存储提供功能强大的计算资源以及灵活多样的服务模式。云计算中基础设施即服务(IaaS)模式,为企业及开发者提供基本计算、存储及网络资源,以亚马逊AWS EC2为例,公司不需要自己搭建并维护一个大型数据中心,仅需要租用AWS平台虚拟服务器资源即可。对创业公司而言,该模式极大地降低了早期硬件成本与技术门槛。它们有能力根据业务增长的需要,灵活地调整服务器的数量和配置。例如,一个新成立的电子商务平台,在其促销活动中,可以暂时增加服务器资源以应对流量的高峰期,在活动之后又减少对资源的利用,以免造成资源浪费。平台即服务(PaaS)模式为开发人员提供了一个专门用于开发和部署应用软件的平台,在大数据应用开发中,谷歌的App Engine是一个典型代表。开发者可将注意力集中到该平台中进行应用程序开发,不必在意底层操作系统、服务器和其他基础设施管理问题。比如,某数据分析团队需要在大数据基础上开发市场预测应用时,可以借助App Engine开发环境,利用该平台所提供的数据库服务、消息队列服务以及其他多种工具与服务对应用程序进行快速搭建与部署,从而加速开发周期并提高开发效率。

软件即服务(SaaS)的模式,允许用户不需要安装到本地就能直接通过网络使用软件应用,在公司的办公环境中,Salesforce被广泛认为是一个著名的SaaS应用,它为客户关系管理(CRM)提供了服务。企业员工可通过浏览器登录Salesforce平台对客户信息和销售流程进行管理。针对大数据应用,采用SaaS模式,能够便捷地集成多种数据来源。比如企业可在SaaS平台中整合不同行业的销售数据、市场数据以及客户反馈数据,并借助该平台的数据分析功能对其进行全面分析,从而更深入地理解客户需求及市场趋势。

结束语 

在大数据时代,计算机信息处理技术正在飞速发展,应用广泛。经过不同方面的历练,给各个行业都带来极大的价值与机遇。尽管面临不同挑战,但随着技术的不断创新和完善,有理由相信计算机信息处理技术将在大数据时代发挥更重要的作用,推动社会向更加智能化、信息化的方向发展。

参考文献

[1]斯马依力江·木萨汗,姜杰,李晴等. 大数据时代人工智能在计算机网络技术中的应用 [J]. 数字技术与应用, 2024, 42 (01): 82-84.

[2]姜宇,黄芳. 大数据环境下计算机应用技术的发展趋势 [J]. 数字技术与应用, 2024, 42 (01): 45-47.

[3]马艮娟,卜言彬. 简析大数据时代计算机网络安全技术的优化策略 [J]. 数字技术与应用, 2024, 42 (01): 224-226. 

》在线投稿系统

*文章题目:
*作者姓名:
*电子邮箱:
*通讯地址:
*联系方式:

  备      注:

*上传稿件:

支持上传.doc,.docx,.pdf,.txt,.wps文件

投稿须知:

1、审稿结果将于1~7个工作日以邮件告知,请注意查收(包含录用通知书、审稿意见、知网CNKI查重报告)。

2、提交投稿后,若7个工作日之内未接到录用通知,则说明该文章未被录用,请另投他刊。

3、凡投寄本刊稿件,如在内容上有侵权行为或不妥之处,均应文责自负。本刊有权对来稿进行文字编辑、加工和修改,如不同意,请附说明,以便妥善处理。

4、多作者文稿署名时须征得其他作者同意,排好先后次序,通知用稿后不再改动。

5、凡投往本刊稿件一经录用发表,其版权归本刊所有。

6、本刊已全文录入中国知网、万方、维普等数据库,如作者不同意被收录,请提前申明,未申明者,本刊一律视为同意被收录。

7、请勿一稿多投。