PDF下载
基础数据治理之数据共享的实践探索--以柳州城市职业学院为例

罗永有

柳州城市职业学院 信息工程学院 广西柳州 545036

摘要: 在高职教育领域,数据产业已经具备了良好的发展基础,但是数据资源开放共享的程度还不高,数据资源整合一直是一个亟待解决的难题。尽管科技手段的不断发展为数据开放和共享提供了更多可能性,但要着重建立大数据共享融合开放服务机制,仍然面临着诸多困难和挑战。基于此,该文针对高职院校数据开放共享实现的方法进行探究,为新形势下高校信息化服务拓展思路,提供参考。
关键词: 数据开放;数据共享;数据治理
DOI:
基金资助:
文章地址:

习近平总书记在多个场合多次强调:“打通信息壁垒”“实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务”。如何构建以数据为关键要素的教育数字化是高校信息化升级发展的关键。

一、高校数据开放共享现状

自高校进入数字化校园建设阶段,数据共享的需求便一直是不可忽略的一部分。这些年逐步完成了“公共数据管理平台”、“统一信息门户平台”和“统一身份管理平台”基础支撑平台的建设,实现了将分散的业务数据集中、整理、分发,在一定程度上解决了数据共享和交换的难题,为业务管理效率和使用体验均带来了提升。但是,在取得了较好成绩的同时,也存在不同程度上的发展瓶颈:

(一)统筹规划不够完善,顶层设计不够清晰

目前,各个学校对信息化建设投入的资金和人力都非常大,在建设中也得到了相关部门的支持却也暴露出各种问题。

(二)数据家底不清,数据标准不统一

在信息化建设中很多高校都做了一期的数据标准,而且这些标准基本上都已经落地,但是由于历史原因部分业务系统很难采用完整的新的数据标准。这类数据受高校管理架构的影响一直散落在各个业务部门,甚至主导了学校核心数据的生产和管理,信息化管理部门缺少对该数据的驾驭能力,造成家底不清,数据指代不明、数据之间缺乏关联,阻碍了业务系统之间顺畅的数据共享。

(三)数据资源整合不足、良莠不齐

数据资源整合共享是发展趋势,当前高校距离全面的、以数据为决策支撑的管理还有很大的差距。具体表现在:数据需求不明确,业务系统建设产生哪些数据不明确,数据整合需要整合哪些数据不明确,这样就产生了更多的冗余数据,交叉使用,难以以数据作为决策的依据,统计分析也不准确。

(四)数据管理制度不全,数据安全无保障

数据安全管理需涵盖数据治理的全周期,各高校都制定了相应的管理办法和应急机制来加强网络安全规范的执行力度,将数据安全作为网络安全的一部分纳入其中,但随着数据采集、共享的深入,数据问题的不明确性越来越突出。比如:1.来源不明确。当需要使用数据时,使用者并不知道应该去什么地方获取,甚至不知道应该去问谁;2.权责不清晰。数据缺失时,应当由谁来提供?数据被共享前,应该由谁负责审批?数据发生错误时,应该由谁来纠正?学校各个部门在这些问题上缺少明确的分工和一致的认知。3.数据不全面。学校应该有的数据是哪些,已经有了哪些,未来信息化建设投入的重点应该在哪里?没有人搞得清楚。

二、数据开放共享应遵循的原则

为了打通业务流程,更大程度地发挥数据隐藏的价值,在抓机遇,应对挑战时,应让数据真正“跑”起来。

(一)确定数据共享模式和共享机制

根据数据共享应用的业务场景,数据的共享模式可以分为两类。一是通过授权实现远程访问共享。数据使用方通过访问多个或单个数据提供者的共享数据,实现数据的按需获取和使用。二是通过数据汇聚实现在汇聚点上的集中共享,这些数据是经过处理形成的底层数据。

柳州城市职业学院(以下简称城职院)采用的是第二种共享模式,此模式适合业务系统较多且杂的情况。是以基础数据库(主数据)作为中心节点与其他各业务系统进行数据共享,其主要功能是集中存储和统一交换数据,“谁产生数据,谁负责管理”,负责数据的产生、维护、存储、归档和备份的全周期管理,最终形成一个星型结构。

以此模式进行数据层面的直接抽取和推送,在系统数量不多、信息化建设变化幅度不大时,这类架构具有操作直接、交付快速的特点,但随着信息化的不断发展,应用需求越来越多、共享系统和数据管理规模的不断增大,主数据库服务器的压力越来越大,ODI集成共享发生的故障率越来越高,其执行效率却在持续降低,如何管控好主数据库以及优化ODI集成服务器性能也是面临的一个难点。

(二)确定权威数据源和数据标准

基础数据是学校信息化数据的基石。权威数据源的确定,是基础数据管理的第一步。由于业务系统繁多,各业务系统都存在了大量的数据,且随着系统的运行在不断的增加,不可能把所有数据都同步到基础数据库中,因此必须对系统中的各类数据进行梳理,明确数据“从哪里来”的问题,通过“谁产生、谁维护、谁负责”的原则进行,最终形成学校各类主题数据“一数一源”,避免“一数多源”“有数无源”“有源无数”等问题,保障数据完整、准确、可共享。在这些数据中主要包括组织机构、人事、学生、资产、教学、科研等管理和服务数据。这套数据虽然不能够确保一定全面完整,但是其范围应根据基础数据库建设进度和信息化工作需要可逐步扩展,但一定更新及时。比如,组织机构数据,它的构成至少包括学校各级单位和组织结构名称、编码等,应有党委组织部、发展规划处、人事处负责产生和维护;学生基本数据,应由教务处、学工处等负责产生和维护数据,基础数据应包括学号、姓名、班级、专业等;人事基本数据,它的构成应包括教职工号、姓名、身份证号等信息,并由人事处、党委组织部负责产生和维护。建立的这些基础数据实现了数据的共享和一致性的管理。

数据的标准化保证了学校范围内数据的定义和使用规范,通过制定一套由管理制度、管控流程、技术工具共同组成的体系,对数据定义、分类、格式、编码进行标准化管理。通俗的讲,就是对数据类型、长度、归属部门等定义一套统一的规范,对接入的应用系统所需数据起到规范和约束作用,保障不同业务系统之间做到对同样的数据理解统一和使用统一。

城职院在数字化校园建设初期就以教育部颁发的《教育管理信息 高等学校管理信息》的标准和相关行业标准为基础,制定出学校的公共基础信息编码标准v1.0。对标准的制定、发布和原则进行了定义,具体为已经建设的系统和新增的系统做标准指南。具体实施为,对老旧系统应进行更新或建立原有编码与标准编码的对应关系;对于新建系统一般采用强制实施标准策略,严格执行学校已发布的相关数据标准。

三、数据开放共享的实现方式

随着互联网和大数据技术的快速发展,数据共享现象日益普遍。为了利用和促进数据的融合提升数据价值,城职院在近些年实现的数据共享方式上,主要通过两种方式实现。

(一)定时推送方式

该方式是通过数据的定时推送完成数据的同步。主要涉及权威源数据库、基础数据库和业务系统中间库。在具体实施之前,应与业务部门及第三方就同步方案进行讨论,并加以确认。下面是具体步骤:

第一,将各数据标准从权威数据源头同步到数据中心主数据库与执行标准库中,权威数据源头的数据标准必须与学校数据标准一致,若不一致则要求将其转换成学校新标准或建立新标准与旧标准的对照差异说明,或通过清洗转换方式,将中间数据库数据推送到学校的数据中心。如仍有不准确的,需经三方协商,确定数据的清洗、纠错等方案进行落地实施,直至数据准确;

第二,待数据中心库数据完善并都与定制的数据标准一致后,在通过ETL工具将基础数据同步到其他业务系统中间库中,业务系统可在数据交换过程中根据自身数据标准情况,数据共享方式进行相应的清洗转换后同步,需要注意的是应先同步到业务系统中间库由系统技术人员进行转换表后再引用。

最后,推送过程无误后,双方确认数据抽取周期,制定各业务系统执行数据集成的定时任务并启动。

(二)数据服务技术

基于统一的标准数据服务接口为前台提供规范、统一的数据服务,实现后台技术差异对前台透明,做到随用随查。通过接口调用将最新的数据“拉”到本地,更新本地数据库。同时,还可通过平台提供的自定义SQL的脚步模式,按需编写API并生成数据服务接口,根据业务数据的使用场景自定义数据服务模板。即将需要共享的数据对象封装成API接口,目标业务系统需要数据时,直接调用接口,实现通过输入必要参数的形式发起查询请求,并将执行检索后的结果返回给应用程序,实现多源异构数据的高效连接,减少使用ODI接口时定时执行的时间,以及将数据从中间库转到生产库的延迟,也实现了统一管理、统一鉴权和统一交互。

四、当前模式下存在的问题

基于统一的数据标准,并通过基础数据库实现主要业务数据的集成和共享,在一定程度上解决了业务系统之间数据的共享和交换的难题,提升了学校的业务管理效率。但是,在当前智慧校园的建设过程中,面对激增的业务应用和大数据分析需求,此种数据共享和服务能力共享已疲于应对,主要体现在:

1.数据的实时性难以保证

数据的上行抽取、下行分发都需要划出时间段,一般间隔为数个小时,且为了减轻服务器负担,普遍都采用每天定期执行的方式,这难免会造成数据的延迟,实时性效果难以得到保障。尤其在学生缴费时,体验更差。

2.数据接口的运维和管控困难

由于业务系统增多、数据量不断增加,采用ODI制作接口进行数据推送的方式给日常的运维工作带来了极大的负担,很难对所有业务系统创建的中间库和各类接口进行有效监控和管理,在遇到接口执行或调度失败,错误产生影响后方知问题所在。同时由于数据的共享在数据库底层进行运转,对于运维人员的工作带来“不可见”的困扰。

3.数据接口无法重复使用,每次都需要来回折腾

业务系统数据的共享均在数据库层面采用中间库或视图完成,对于新建的应用系统,原本的工作无法重复利用,即需要重复制作多个相同的推送接口,且由于学校信息化建设中应用系统涉及多个厂家,每次都需要经过多方协调,沟通成本过高,给各方带来不好的感受。

结束语

重视数据的支撑作用,不仅仅止步于数据大屏的可视化应用,而应引入更多开发资源,集众智共建可持续、可快速迭代的数据服务应用,建立符合当前和未来需要的数据开放共享体系,真正让数据在各个业务系统之间流动起来、应用起来,发挥其更大的价值,为智慧校园建设提供强劲的驱动力。

【参考文献】

[1] 毛文卉,刘雅琴,李凯,严帆,熊鹰.高校数据共享的若干实践研究.中国教育信息化,2021.01:39-42.

[2] 王逸晨.基于数据共享及开放的数据治理体系研究.中小企业管理与科技(中旬刊),2020:154-155

[3] 肖炯恩,刘欣荣.智慧校园的数据中台建设与数据治理研究.高等职业教育(天津职业大学学报),2021,30(2):82-86

[4] 朴艺娜.高校步入数据治理新时代:无数据,不智慧.中国教育网络,2020.11:15-17

[5] 蒋广学.高校校务数据治理的实践探索与理论探讨——以北京大学为例.《北京教育》(高教),2021.4:8-11

[6] 钱喆敏,金鑫迪,高焕江,丁浩然.高校数据共享中心现状与分析.《计算机时代》2021.05:130-134

[7] 胡贞华,陈雪花.数据治理中安全保障措施的探究.网络安全技术与应用,2022.06.