计算机软件技术在大数据时代的运用
黄喜娥
生成PDF 清样下载 引用

复制成功

导出题录

参考文献( GB/T 7714-2015 ) 复制

黄喜娥,. 计算机软件技术在大数据时代的运用[J]. 软件工程研究,2025.3. DOI:10.12721/ccn.2025.157024.
摘要: 为了能够快速从企业在持续经营活动中产生的海量数据中获取能为企业产生价值的数据,企业需要制定数据资产管理模型,通过软件工具规范数据资产管理,使数据资产管理过程更加体系化、规范化、流程化、自动化。
关键词: 数据资产;数据标准;数据中台;数据安全
DOI:10.12721/ccn.2025.157024
基金资助:

伴随着大数据时代的悄然来临,对数据的重视提到了前所未有的高度。数据是资源,数据是企业在持续经营活动中积累下宝贵资产,是企业的基本生产资料,伴随这大数据时代支撑数据交换共享和数据服务应用的技术发展,企业不断积淀的数据开始逐渐发挥它的价值,但未经“雕琢”的数据是一组无序、无意义的数字,并不能给企业带来何种价值。今年,我司在集团和总部的号召下,按要求盘点企业的数据资产,也让我深刻的认识到数据资产的价值,围绕数据所进行的活动必须得到管控,建立数据管控体系对数据资产实现管理越来越重要,采取更好的数据管理方式,更好的利用数据,实现数据最大价值化。

1. 数据资产与数据资产管理

数据资产与数据资产管理不同,是两个不同的概念。数据资产(Data Asset)[1]是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。而数据资产管理(DAM,Data Asset Management)[2]是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。

在企业中,并非所有的数据都能构成数据资产,数据资产是能够为企业产生价值的数据资源。数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。企业在管理数据时需要把在各个系统中获得的数据有效的管理起来,通过数据加工、数加分析、数据应用,实现业务价值目标。

2.企业数据资产管理模型

企业在实际数据资产管理时,会遇到很多问题,例如数据资产到底如何管理,管理哪些内容,如何将数据资产管理有效落地等。为此,企业需要围绕数据资产本身建立一套完整的数据资产管理模型及体系,形成一个可靠可信的管理机制;建立数据安全合规体系,保障数据安全合规;设计数据质量稽核规则,建立数据质量监控体系,从数据源头加强数据质量控制,统一数据标准,提升数据质量;建立数据中台,实现数据互联互通,形成覆盖数据全生命周期的数据资产管理,指导企业资产管理的实施,实现数据向优质资产的转变。

2.1 数据全生命周期管理

从时间视角上看,企业管理数据资产,就是管理数据的生命周期。数据首先在业务过程中产生,通过系统或者其他方式创建或获得;其次通过格式化的方式或者非格式化方式进行存储;然后在使用过程不断进行数据维护、数据治理,使其通过数据分析、数据挖掘的方式发挥其价值,为决策提供相应数据支撑;最终数据被归档或者销毁。因而有效的数据管理,在数据获取之前就需要开始进行相应的管理,例如制定数据规范,对数据进行长期规划等,数据管理需要贯穿整个数据生命周期。

加强企业数据资产的管理,首先需要从数据家当进行全面盘点开始,梳理已经建设系统的情况,形成数据地图,将其作为企业数据的全面映射,为业务应用和数据获取夯实基础,帮助数据开发者和数据使用者及时掌握数据最新情况,并为数据资产监控提供有效的管理手段。

2.2统一数据标准,提升数据质量

由于大多数时候系统的建设是由各个业务部门提出,各自管理自己建设的系统,且各自按照自己的标准进行管理,缺少专门的部门对数据资产进行管理,也缺少统一的数据标准,导致数据质量参差不齐。为此企业需要做到以下几点:(1)建立识别重要数据资产制度,优先保障重要数据资产统一;(2)建立明确的主数据管理方式,确保集团内部使用一套主数据,提升主数据的质量,例如用户、组织机构、客商、产品等统一一套编码,确保数据资源统一,避免重复建设,加强业务协同,避免数据不一致的情况;(3)结合我司自身特点,统一数据库建模标准,规范数据库表、实体关系、表字段业务属性设计,统一数据库表、字段命名规则,实现企业数据库标准化设计,形成完整、清晰的系统逻辑模型,建立规范化数据架构管理制度和流程,打破数据“黑盒”,实现数据从“黑盒”向“白盒”转换[3]

2.3建立数据中台,实现数据互联互通

从空间视角上看,由于不同的业务数据在不同系统中扭转、流动,通过制定企业内部统一数据标准,建立统一的数据中台及数据共享制度,实现跨系统、跨业务的数据互联互通。同时,企业需要做到以下几点。(1)建立本单位新建系统数据上下游流向审批制度和流程,外部数据接入规范,对外输出数据规范,审批制度和流程,确保对外流出或者外部接入数据统一,实现企业内数据高效共享。(2)规范数据源及数据录入,制定统一数据申请、传输、使用等数审批流程,提升数据质量,将原多源管理方式整合为单源集中管理方式,通过数据集中、共享的方式,大大缩短前期数据分析人员和数据科学家准备数据的时间,提高数据获取效率,打破部门墙,实现跨部门、跨系统之间的数据应用,加快数据价值的释放过程。(3)搭建数据流程开放平台,促进跨系统数据交换,加大数据的可获取性,分析某事物相关的所有数据,而不是依靠分析少量的数据样本[4],降低片面的数据分析,增强数据整体分析能力,提升数据的服务应用能力,提高数据应用的效率。

2.4保障数据安全合规

随着《网络安全法》、《网络安全等级保护》等安全法律法规的相继实施,数据安全合规已成为数据资产管理的底线。数据安全合规不仅仅要确保数据自身的安全,还需要为数据价值的充分挖掘提供安全可靠的环境,确保数据所在环境的安全合规性。因此,企业需要建立数据安全组织体系,制定完善的数据安全策略,建立数据安全措施体系,制定数据安全管理体制度,定期进行数据安全审计,全方位进行安全管控,确保数据获取和使用合法、合规。数据安全合规既要确保数据生命周期的安全,同时也要确保信息系统整个生命周期的安全。

3 通过软件工具规范数据资产管理

随着数据量的增加,手工管理已经不切实际,因此在数据资产管理实践实施过程中,需要依托具体的软件工具来执行,使数据资产管理过程更加体系化、规范化、流程化。并且随着信息化技术的发展,软件工具的自动化、智能化程度不断地提高,使数据资产管理过程更加自动化。

(1)数据标准管理

根据企业业务领域,参考行业标准,结合企业自身现状规范信息分类、信息录入、信息修改等,通过数据标准管理工具能够生成数据标准,维护数据标准,能实时对标准的更新、废止进行管理,实现标准文档的管理等。

(2)主数据管理

将分散在各个系统中主数据集中到主数据存储,通过加工、合并等方式统一主数据,确保各个系统间准确性、完整性、一致性。严格执行主数据申请、校验、审批、变更、冻结、解冻等审批流程,通过企业服务总线(ESB 工具)的方式,实现主数据对其他系统的分发与分享。

(3)数据安全管理

为了确保在数据使用、交换、共享的过程中的安全,需要将数据分级分类管理,划分信息等级、密级模式,不同的级别使用不同的角色授权。对敏感数据进行脱敏、加密管理,统一身份认证,设置密码等级,加强数据安全管理。实时监控异常行为,及时预警提醒。

(4)数据质量管理

数据质量越高,数据分析越准确,通过制定稽核规则,定期对对所关注的数据进行规则校验,对校验结果进行实时监控、分析,对问题数据进行预警,生成整改报告,加强数据治理。

(5)数据模型管理

系统集成过程中经常遇到数据模型的不一致的情况,为此需要构建集中、统一的数据模型管理,定期对数据模型与应用数据库进行比对,进行差异化稽核,避免设计与实际生产环境“两张皮”的现象,生成数据库表结构差异报告,监督整改,确保数据模型一致。同时还需要加强数据模型变更管控,实现从设计、提交、评审、发布、实施、消亡的全过程流程化管理,自动生成版本号,变更明细报告。

4 结束语

企业通过对数据采集、存储、应用和销毁进行全生命周期的管理,通过自动化软件工具,管理各个业务环节的数据定义、数据格式、数据字典、业务规则、业务数据之间的逻辑关系等,让管理过程更加规范化、流程化。通过数据资产管理,让数据的使用者能够认清数据和数据之间的关系,从而更好的对数据进行应用;让数据应用的管理者能够洞察数据、应用、系统之间的关系,从而更好的数据进行管理。

【参考文献】

[1]《数据资产管理实践白皮书(4.0)》

[2]维克托·迈尔舍恩伯格 大数据时代[M].浙江:浙江人民出版社,2013

[3]  程永新 大数据时代的数据资产管理方法论与实践[J]计算机应用与软件 2018年11期

》在线投稿系统

*文章题目:
*作者姓名:
*电子邮箱:
*通讯地址:
*联系方式:

  备      注:

*上传稿件:

支持上传.doc,.docx,.pdf,.txt,.wps文件

投稿须知:

1、审稿结果将于1~7个工作日以邮件告知,请注意查收(包含录用通知书、审稿意见、知网CNKI查重报告)。

2、提交投稿后,若7个工作日之内未接到录用通知,则说明该文章未被录用,请另投他刊。

3、凡投寄本刊稿件,如在内容上有侵权行为或不妥之处,均应文责自负。本刊有权对来稿进行文字编辑、加工和修改,如不同意,请附说明,以便妥善处理。

4、多作者文稿署名时须征得其他作者同意,排好先后次序,通知用稿后不再改动。

5、凡投往本刊稿件一经录用发表,其版权归本刊所有。

6、本刊已全文录入中国知网、万方、维普等数据库,如作者不同意被收录,请提前申明,未申明者,本刊一律视为同意被收录。

7、请勿一稿多投。