伴随计算机深入各行各业，企业数据持续增加，这一现象在通信行业尤为突出，甚至日增数据已经达到TB级别。经过长期实践，大数据技术愈发成熟，而新时代到来促使通信行业优化改进业务模式。站在计算效率和智能特征角度来看，早期用于商业活动的经营分析软件已经不能满足企业对数据分析所提要求，正因如此要合理运用大数据平台创建所需通信数据管理系统，从数据层面入手为业务开展提供支持，助力我国通信事业发展。
1大数据平台数据分层架构
从某种角度来看，大数据平台其实是用于存储数据的空间，拥有可继承属性，从数据层面为业务决策制定提供支持。伴随信息化水平提升，企业日常经营衍生大量数据信息，呈现出多样化特点，企业在制定管理决策时对数据分析提出更高要求。正因如此，企业发展阶段必须对大数据平台进行分层处理，优化平台整体架构，这一点具有非常重要的意义。究其原因，大数据平台是基于结果和数据结构为企业提供帮助，解决数据存储、管理等方面暴露的问题。平台对数据架构有较为严格的要求，可细分为操作数据存储、细节数据、数据仓库、数据集市和数据应用多个层次，本文一一加以介绍：
操作数据存储与业务之间有紧密联系，其中包含各类数据且没有经过任何处理，常规情况下这些数据存储时间不会超过一周，规定时间内平台不会在未经授权的情况下操纵数据，该层次也不会因数据规模庞大而对其压缩；细节数据层主要用于整合不同类型数据，这是业务数据处理流程中的首个环节，对业务开展过后生成的数据进行延伸处理，基于主题对数据进行分门别类，随后将数据存储于不同空间，通过比较掌握不同数据之间联系，包括映射表关联，至于无效数据则被该层次直接剔除；数据仓库汇总所有与业务有关的信息，这一层是基于业务需求形成的结果，按照二级主题域原则整理数据。分析阶段，首先调用这一层存储的数据，之后依次调用前两者存储数据；数据集市用于存储根据开发需求而成的计算公式，以公式作为途径进行计算，最终结果反馈至该层；数据应用层概括前端设计需求下产生的一切数据，具体详情不做任何展示。
2通信数据管理需求
和普通行业相比通信行业较为特殊，具体表现在数字化需求方面。通信线路结构复杂，包含不同功能设备与元件，对运维工作人员来说，快速掌握通信线路工作状态，了解故障详细信息具有非常重要的意义。为加快信息传输速度，平台必须调用大数据技术处理相关数据，具体内容包括针对数据进行收集、分类、存储等一系列操作。此外，为带给用户更为优质的体验，需基于大数据技术打造可视化界面。
通信系统内含多个子系统，运行阶段不仅要保证数据完整性与真实性，同时数据还要具备时效性。数据收集阶段，以数据源作为参考采用针对性方式采集数据。为将数据误差控制在允许范围内，可借助抽取算法整合各类数据，以便数据能传输至用户端。因平台节点通过分布手段处理各类数据，为此必须整合数据，结合模块功能安排相应队列，如此可提升系统运行稳定性，方便用户同时读取大量数据信息。操作数据存储层运行需对采集的数据进行持久处理，保证所有数据均能得到妥善安置，并依据数据规模扩张存储空间。
数据处理期间，平台及各节点需均保持稳定状态，如此才能为数据需求提供相应服务，全面分析不同类型数据，依照设备工作状况进行计算。从客观角度出发对大数据平台做出评价，并基于此创建针对性虚拟模型，确定不同模型实际指标数值，以可视化方式展示数值变化，动态监测模型状态。这一过程中，要积极完善模型基础，准备所需元件提高服务水平。另外，平台要具备批量处理数据的功能，如此才能在规定时间内调用指定类型数据。
3系统设计
对常规大数据平台进行全面分析发现，多数平台是由多个层次构成，即底层硬件物理、平台构架以及系统应用。底层硬件物理又可细分为硬件存储、无线传输设备等多个模块，这些模块功能迥异要求不同。站在平台整体架构来看，平台层涉及数据均来自底层数据仓库，本地数据库通过不同功能组件获取数据，如此可将不同数据传输至对应维度包含的模块内，随后通过数据仓库技术加以处理，包括码值转化以及类型调整。
各类数据汇总过程中需要注意两个组件应用，即HBase和Kafka。为提高数据管理水平，需借助shell脚本处理数据。除此之外，机器学习和深度学习是平台中不可缺少的重要模块，两者质量是决定平台学习能力的主要因素。物理层是由交换机、服务器等多种元件组合而成的基础设施，为不同硬件运行提供帮助。
一般情况下，大数据平台包含生产与测试两种不同用途的环境，因此物理层同样要构建这些环境，以便生产活动能顺利进行，为测试活动提供保障。基于数据存储空间分割测试与正式环境，优化资源配置发挥应有作用，减少测试环境占据的存储空间。然而，测试环境能够保障最低的资源使用效率，而不影响其使用体验。应用层主要是基于以上两个层次开发的各类大数据应用，直接面对用户，是用户和系统交互的主要媒介。
综上所述，此平台主要包含整体架构、数据采集、数据聚合分析、资源调度和预警可视化等基本模块。平台的主要逻辑如下。接口采集模块通过各类物理节点以及组件，实现对数据的采集。将采集的数据分配至各类数据搜集器中，数据搜集器中的数据被ETL以及其他相关的程序进行处理，并传输至服务器模块中，从而实现对任务的监督和管理，进而实现对任务的调度。数据搜集器的另一个分支会通过数据管道将其传输至消息队列中，进而传输至数据聚合模块中。数据聚合模块是采用分布式数据存储架构。数据存储模块的运行状态会被平台告警和数据营销分析两个模块监控，分别实现平台运行、日志分析告警管理、预测和推荐等功能。在最上层的可视化模块中，主要实现对平台资源利用率、平台节点可视化、指标计算可视化3个维度的数据展示，以供维护人员能够第一时间发现系统的问题所在。
4结语
总而言之，伴随科学水平提升技术创新，互联网络规模持续扩张，深入社会各个领域，为社会发展和大众日常生活提供帮助。根据数据分析判断企业经营现状，引领管理人员对企业运营做出客观结论，这正是大数据应用价值直接体现。文章对大数据平台的通信数据管理系统做出了全面说明，分析平台内部架构和数据管理机制。可以看出，随着大数据持续发展，状态评估模型将愈发完善，可视化方式同样愈加丰富，进而指明未来发展方向。
参考文献
[1]张德康.基于大数据平台的通信数据管理系统研究与应用[J].通信电源技术,2022,39(10):58-60.
[2]徐永梅,余淮,王晶.编组站综合自动化系统大数据平台构建及应用探究[J].2021(2020-12):49-53.
[3]庞武华,王智微,王毅,等.电力企业实时数据治理框架研究及设计[J].电力信息化,2022(020-005).
