数据资产的统计理论与分析方法的应用研究
蒋晓静 杜江

复制成功

导出题录

参考文献( GB/T 7714-2015 ) 复制

蒋晓静 杜江,. 数据资产的统计理论与分析方法的应用研究[J]. 数据与科学,202311. DOI:10.12721/ccn.2023.157107.
摘要: 近年来,随着信息技术的迅猛发展,数据规模呈爆炸式增长,大数据和人工智能作为两种重要技术,逐渐成为学者们关注的热门话题。统计理论、方法和应用在这两个领域中发挥了关键作用。在大数据方面,本文介绍了哈达玛矩阵估计器的新方法和非参数统计方法,以及济南市公安局使用大数据与统计方法构建的社区治安风险人群识别与预警系统的应用案例。在人工智能方面,本文讨论了深度弱正则化方法和深度信念网络模型的统计学,以及AlphaGo围棋游戏的应用案例。总体而言,本文呈现了统计学在大数据和人工智能领域中的重要作用和发展趋势。本文将详细探讨大数据和人工智能中的统计理论、方法和应用论文。
关键词: 大数据;人工智能;数据资产;统计学理论;应用案例
DOI:10.12721/ccn.2023.157107
基金资助:

在当代社会中,随着互联网和各类智能设备的普及,大数据和人工智能逐渐成了人们关注的热门话题。大数据和人工智能的发展为人们提供了更多的数据资源和更智能的数据处理方式,因此就必须寻找方法来掌握和解释这些多维度的数据。众所周知,统计学早在过去的数百年中就已经成为了探索数据的关键工具之一。与此同时,人工智能的快速发展也在推动着统计学理论与方法的不断升级,从而更好地满足了大数据和人工智能的发展需求。

数据资产是企业拥有的能带来收益的数据资源。在一个例子中,数据资产可以包括与企业的业务相关的原始数据,比如产品数据、运营数据或者销售数据等等。在相关的数据资产管理平台中,一般会针对于企业的不同诉求定制化针对于特定维度的数据资产进行统计分析的功能,并对外提供可供调用的接口,通过调用该接口可以获取针对于特定维度的数据资产的统计结果。但是,随着企业的发展以及业务调整,企业对于数据资产存在新的维度的统计需求,此时需要根据该统计需求重新进行定制化开发和测试新的统计分析功能,开发测试周期长,开发成本高,无法快速支持发展需求。

本文将着重探讨企业数据资产的统计理论、分析方法和应用,对于两个领域中的统计学理论与方法的发展和应用进行详细的分析与讨论。同时,通过对这些领域中众多著名学者的研究和成果的归纳总结,我们希望能够为相关学者提供一些应用建议和实践参考,以促进相关理论与方法的不断创新和完善。

一、大数据的统计方法

随着大数据的规模不断扩大,数据统计的角色越来越显著。如何利用大数据解决实际问题,成为许多人关注的热点。在大数据中,传统的统计方法已不能应对数据挖掘等方面的问题,有许多发展中的新的统计方法相继出现。

哈达玛矩阵估计器是近年来提出的一种非传统的大样本参数估计方法,可以用于大型数据的处理和分析。该方法基于随机矩阵理论,采用哈达玛矩阵代替数据矩阵,可在样本数极大的情况下依然具有很好的效果。此外,在非参数统计中,有一个称为“核密度估计”的方法,可以采用Parzen窗的方法,利用局部估计方法,来获得样本的真实分布函数。

实际上,基于大数据的应用也需要建立全面完整的方法体系,必须使用更全面、更复杂、更可靠的模型和算法来构建数据,分析数据。例如,济南市公安局使用大数据与统计方法构建的社区治安风险人群识别与预警系统,该系统基于人口普查数据、户籍数据、常住人口信息数据、执法记录数据等数据源,采用空间分析、关联分析、聚类分析等相应技术,对嫌疑人的行动进行预测和识别,并及时采取相应的行动,从而更好地维护了社会治安。

二、人工智能中的统计学理论

人工智能的快速发展需要寻找新的描述和解释模型,统计学理论为此提供了许多可行的解决方案。传统的常规统计和概率模型无法适应单处理器环境下庞大的数据集,现代人工智能模型的发展需要新的数学理论和算法来支持。

深度学习作为一种机器学习技术被广泛应用,其创新来源于深度神经网络创新和损失函数的优化。近年来,出现了许多对深度学习进行结构改进、正则化的方法,如深度弱正则化方法,可以有效地改善深度学习中梯度爆炸或梯度消失的问题。深度信念网络模型也提供了一种处理大数据问题的强大工具,它提供了一种全局性的优化模型参数的方法,可以高效地利用大量数据。

以下为深度信念网络(Deep Belief Networks,DBN)的模型图表:1.png

深度信念网络是一类前馈神经网络,它包括一个输入层、多个隐层和一个输出层。每个隐层都与前一个隐层相连接,所有的层都是全连接的。每层中的神经元可以被视为不同特征的检测器,它们学会表示输入数据在不同方向的特征。在训练过程中,DBN采用无监督学习的方法来逐层训练,其中每层都是一个受限玻尔兹曼机器(RBM)。训练完成后,可以使用反向传播算法来微调整个网络。

三、大数据和人工智能中的统计的应用案例

烟草行业统计由于其明确的统计目标,应列入统计适用范围。统计学的使用是一种收集、组织和分析统计数据的方法。其核心任务是对数据进行处理、分析和推理,旨在通过对内部数据的定量分析来了解客观事实。在目前的发展阶段,为了实现对现有各种资源的有效综合利用,实现经济效益最大化,需要运用科学的统计方法对相关数据进行整理和分析,从而做出预期收益更高、投资风险更低的决策。由于统计理论的应用与烟草生产经营的各个方面存在一定的联系,需要相关人员对此进行深入的研究。通过学习相关专业的基础知识,增强学生对统计学的创造性理解,更好地运用相关统计技术。加强统计方法创新,实现制度变革。统计工具的创新内涵非常广泛,各种新技术、新工艺的应用都可以称之为“创新”。对于烟草企业来说,首先是数据报告的创新。工业部门在编制相关统计应用程序时,要力求严谨、细致、灵活,提高统计系统的适用性,延长统计软件的使用寿命。其次,改革统计研究方法。统计工作要综合考虑当前国民经济及行业的热点和难点问题。在深入进行底层研究,收集大量资料,充分掌握情况的前提下,运用现代数据处理技术,探索数据的深层次规律,实现定性与定量分析相结合,探索烟草行业发展规律。

结束语

通过对大数据和人工智能领域中的统计理论、方法和应用的探讨,我们可以看到,统计学作为大数据和人工智能领域中必不可少的一环,对于数据解析和智能分析起到了至关重要的作用。在大数据与人工智能的飞速发展下,统计学的创新和发展需要得到不断地推动和完善,才能满足现代社会对于高精度、高效率的数据分析与决策需求。未来,我们期待更多学者加入这一领域的研究中,并推动统计学理论与方法的不断发展,以更好地应对大数据和人工智能领域的挑战。同时,更多的应用和实践也需要我们去探索,实现更灵活、高效的数据处理和智能决策,助推社会和科技的发展。

参考文献

[1] 杨盼盼.大数据统计分析方法及应用[J]. 科学技术创新,2019(19):68-69.

[2] 邵举.基于深度学习的大数据建模与预测方法研究[J]. 数字技术与应用,2019(9):87-88.

[3] 徐华, 黄明, 叶文静,等.大数据深度学习在智慧物流中的应用[J]. 物流技术,2019,38(5):214-218.

作者:安徽省烟草公司亳州市公司 蒋晓静

安徽省烟草公司亳州市公司 杜江