PDF下载
基于AR的远程专家即时视频通信及指导系统

石富义1,2 龚红伟3 金笑天4

1.亮风台(上海)信息科技有限公司,上海市,201210;2.亮风台(昆山)信息科技有限公司,苏州市,215335;3.京雅(上海)科技有限公司,上海市,201306;4.遥导通(上海)信息有限公司,上海市,201702

摘要: 变电站的智能运维是电力行业数字化转型的重要工作目标,基于AR眼镜的智能交互运维技术,将增强现实、人工智能、知识管理等智能技术相结合,搭载智能运维管理系统,协助现场人员进行数字化、智能化、标准化的巡点检、运维及检修作业。基于实时回传的远程现场视频,后端的各类专家可进行远程作业指示和指导,从而实现高效的作业指导和安全支持,有力支撑“后端专家团队+前端现场作业人员”的运维模式,助力变电站的智能化运维。
关键词: 变电站智能化运维;增强现实AR;远程专家即时视频通信;人工智能;远程指导
DOI:10.12721/ccn.2024.157023
基金资助:
文章地址:

0 引言

近年来,国家对电力系统建设投入很大,变电站工作环境复杂,稳定性要求极高,这给当前变电站运维提出了更高的要求[1]。电力系统中的变电站的主要电力设施的种类繁多、设备单体庞大、技术更新较快,目前电力设备的巡点检和运维操作,基本还是以现场的人工巡点检和现场勘查为主,通过检测设备状态、发现潜在和实际的故障点位和故障技术特点,然后设计和提出巡点检和维修的具体方案。目前设备的巡点检和维修的全过程基本采用纸质作业记录方式,现场前端和运维后台是相互分离的,不仅纸质数据的数据统计和挖掘分析比较困难,而且后台的专家无法直接对现场提供直接的支持和协作,这造成难以高效地前后联动地解决现场发现的问题,难以快速消除主要设备的运行隐患,造成总体巡点检和运维成本较高,难以实现智能化运维。目前变电站的巡点检和运维的主要痛点:由于巡点检人员携带纸质作业指导书和各种检测和通信设备,造成无法解放现场作业的双手,造成巡点检和维修的效率不高;并且后端的各类专家难以第一时间实时高效地把握巡点检设备和人员的各类参数数据和实时状态;前方人员与后方专家、团队有效沟通及技术支持不够顺畅;现场发现问题反馈沟通方式有限。 

为了解决这些难题,迫切需要研发基于AR的远程专家即时视频通信指导系统,前方巡检人员遇到疑难检修问题或难以处理的问题时,作业人员可以通过远程专家通信及指导系统连线后台专家获取专业指导,以视频、文字、图片等方式实现前后端智能协同工作,提升运维效率。系统建立可以辅助一线人员开展智能化、规范化的巡视、维护及检修作业,智能辅助现场作业人员开展运维工作,智能指导运维作业,助力变电站巡点检的精益化管理和智能化升级。

此外,为了实现“碳达峰、碳中和”目标,科技创新是关键。在构建“清洁低碳、安全高效”能源体系和“碳达峰、碳中和”目标的要求下,发电领域还需深入实施创新驱动发展战略[2]。国内的研究者也研究了变电站、换流站的智能运维系统[3],并且也探索了“双碳”目标下基于绿色建造理念的变电站碳排放评价方法[4]、电力行业碳排放预测与分析技术[5]等,这些研究都是针对变电站的双碳目标实现、智能化运维等的研究和探索,本文研究的基于AR的远程专家即时视频通信及指导系统,符合了双碳目标要求,是新科技在电力行业智能化运维领域的创新应用。

1 国内外增强现实AR技术发展现状

国内外AR技术的发展都在不断进步和完善,未来随着技术的进一步发展,AR技术的应用场景和范围也将不断扩大。

1.硬件方面:增强现实(AR)技术的硬件设备主要包括AR眼镜、AR头盔、AR显示器等。在硬件研发方面,国外的AR龙头企业与半导体企业通过上下游产业链合作,较好地整合和融合了硬件芯片和AR技术,反观我国目前虽然也有AR芯片的研发和实验,但依然还处于初期探索阶段。

2.软件方面:增强现实AR的软件方面主要包括AR底层操作系统、AR软件包、AR各类应用程序等。在AR通用软件平台方面,国外AR龙头例如Google、微软等龙头企业,已经面向广泛的开发人员提供各类接口、以支持全球开发者基于平台开发移动端的各类软件,并且依靠强大的云计算、云存储等云服务能力以及领先的计算机显卡和计算机视觉等先端技术,逐步打造了面向全球的AR通用技术开放平台,典型平台包括苹果的Arkit、Google的ARcore等全球AR技术开放平台。反观中国AR技术通用开放平台,目前百度、科大讯飞、腾讯等,正在奋起直追,预计中国企业也会逐渐推出各类AR技术开放平台,并会逐步接近国外技术水平。

3.内容与应用方面:增强现实(AR)技术的内容与应用方面主要包括通过AR技术提供的各种虚拟信息与真实世界的结合。从内容与应用方面来观察,国外龙头AR企业一般都开发了AR浏览器(AR移动平台),AR移动平台中包含了丰富的应用内容,例如:基于位置的游戏、社交和导航,基于移动端的电子商务、广告营销,电子出版和阅读服务等。中国AR移动平台尚未出现一家独大的情况,往往以独立应用程序的方式出现和提供服务,相对于世界级巨头,用户数量也相对较少,还有很大的技术和市场发展空间。

4.技术发展方面:随着增强现实(AR)技术的不断发展,其应用场景和范围也不断扩大。根据Gartner发布的2020年新技术成熟度曲线,说明AR技术趋于稳定,从一项有待观察的技术转变为可以使用的技术。并且AR技术的产业推广与应用也正在加速,可以预见在不久的将来、将迎来AR产业的大爆发,各类应用和用户数量也将持续增高。

AR技术在电力行业的应用正在不断扩展和深化,未来随着技术的进一步发展,其应用场景和范围也将不断扩大。同时,随着国内电力企业对于AR技术的认识和应用能力的不断提高,国内AR技术在电力行业的发展也将迎来更加广阔的发展空间。

1.巡检运维:AR技术可以辅助巡检人员对电力设备进行实时监控和巡检,通过实时数据采集和数据分析,及时发现设备故障或潜在问题,提高运维效率和质量。

2.培训和演练:AR技术可以模拟电力设备的运行状态和故障情况,帮助工作人员进行培训和演练,提高应对突发情况的能力。

3.设备制造:在电力设备制造过程中,AR技术可以通过实时监控和数据分析,提高生产效率和产品质量。

4.安全管理:AR技术可以通过实时监控和预警,帮助电力企业降低安全事故的发生率。

2 远程专家即时视频通信及指导的技术发展现状

远程专家即时通信及指导技术已经得到了广泛的应用,未来随着新技术的不断发展和应用,这种技术将进一步发展和完善。

1.技术实现:目前,远程专家即时通信及指导技术已经比较成熟。这种技术主要依赖于各种通信协议和网络技术,如TCP/IP、UDP、HTTP等,以及各种音视频编码和解码技术,如H.264、AAC等。通过这些技术,可以将专家的音视频信息和指令传输到远程的终端设备上,从而实现远程的实时指导和监控。

2.应用领域:远程专家即时通信及指导技术已经广泛应用于各种领域,如医疗、教育、工业等。在医疗领域,这种技术可以让专家医生在不同的地点对病人进行实时诊断和治疗;在教育领域,这种技术可以让教师和学生在不同的地点进行实时互动教学;在工业领域,这种技术可以让专家对现场设备进行实时监控和指导。

3.存在的问题:虽然远程专家即时通信及指导技术已经得到了广泛的应用,但是还存在一些问题。例如,网络延迟和不稳定可能影响通信的质量和实时性;不同终端设备之间的兼容性问题也可能影响通信的效果;此外,这种技术的安全性也是一个需要考虑的问题。

4.未来发展趋势:未来,远程专家即时通信及指导技术将进一步发展。一方面,随着5G、物联网、人工智能等新技术的普及,远程专家即时通信及指导技术的通信质量、低延时等技术将加速发展;另一方面,随着大数据和人工智能技术的快速发展和普及应用,这种技术也将更多地应用到智能决策和自动化控制等领域中。

3 基于AR的远程专家即时视频通信及指导的关键技术

基于AR的远程专家即时通信与指导结合了AR技术、实时音视频通信技术、远程协作指导和即时通信技术等功能,实现远程专家与现场人员之间的即时通信和协作指导,帮助现场人员更好地完成工作任务。

3.1 AR技术

AR技术是该系统的核心,它通过计算机生成的虚拟环境与现实世界进行融合,使得虚拟的信息能够与真实的环境无缝对接。在远程专家指导过程中,AR技术可以帮助专家将虚拟信息与现场实际情况相结合,提供更准确、直观的指导。

3.2 远程专家视频通信技术

通过高速网络连接,系统可以实时传输远程专家的音视频信号,使得现场人员可以与远程专家进行实时交流。这种技术可以使得现场人员和远程专家能够进行面对面的沟通,提高指导效率。

1.png

图1  远程专家第一视角查看设备情况

3.3 远程专家协同指导技术

该技术允许远程专家和现场人员共享屏幕和应用程序,以便进行协同操作和指导。通过协同指导技术,远程专家可以实时地与现场人员共享信息、标注和注释等,实现更高效的指导。

3.4 即时通信技术

系统使用即时通信技术,使得现场人员和远程专家可以实时地进行文字、语音和视频交流,打破地理和时间的限制,提高沟通效率。系统使用数据库和文件共享技术,可以存储和共享与远程专家指导相关的文件和数据,以便进行数据管理和共享。

4 基于AR的远程专家即时视频通信及指导系统

4.1 系统框架

基于AR的远程专家即时通信与指导系统的技术架构需要结合具体的应用场景和需求进行设计和开发,需要解决AR技术、音视频编解码、数据同步、通信传输等多个技术领域的问题,并需要与硬件设备进行交互,实现具体的应用功能。系统技术架构分为五层,包括数据采集层、信息处理层、通信传输层、显示呈现层和应用层。

一是数据采集层:负责捕捉AR场景和音视频数据,包括通过AR设备捕获的现场图像和音频信息,并将其传输到后台服务器。

二是信息处理层:负责对采集的数据进行处理,包括音视频编解码、数据同步、图像增强等操作,以便于实时传输和显示。

三是通信传输层:负责数据的通信和传输,包括基于AR的远程即时通信和多人协同通信。这一层需要解决网络延迟、数据丢包等问题,以保证通信的实时性和稳定性。

四是显示呈现层:负责将处理后的数据呈现给用户,包括AR场景的合成和呈现、音视频的播放等。这一层需要与硬件设备进行交互,以便于实现多人协同指导等功能。

五是应用层:负责实现具体的功能和应用,包括AR远程专家即时通信与指导的具体实现。这一层需要结合具体行业和领域的需求,开发出符合实际应用的功能。

基于AR的远程专家即时通信与指导系统包括用户管理、即时通信、协同指导和系统配置等功能模块。

4.2 成员管理

基于AR的远程专家即时通信与指导系统的成员管理模块可以实现高效的用户管理、权限控制、任务分配以及日志审计等功能。有助于提升系统的安全性和可靠性,同时提高用户体验和工作效率。该模块允许系统管理员管理系统的用户成员,包括巡检人员、远程专家和系统管理员等用户。管理员可以通过该模块进行用户的创建、删除、权限分配等操作。

4.3 远程专家即时通信

基于AR的远程专家即时通信与指导系统的远程专家即时通信模块可以实现清晰、稳定的音频和视频通信功能,同时保证通信内容的安全性和可追溯性。这将有助于提高远程专家指导的准确性和效率,同时方便后续的回顾和学习。该模块负责实现工人端与专家端之间的远程通信功能。它可以通过网络连接将现场的图像、音频和视频信息实时传输到专家端,同时也可以将专家端的音视频信息传输到工人端。该模块需要支持多种网络协议和数据传输格式,以确保通信的稳定性和兼容性。

作业员除了可实时语音还可,借助AR眼镜摄像头、显示画面以及5G网络,还可以将所看到的视野画面实时回传远程专家屏幕,以实现远程信息过程共享。在实时协作画面过程中,可以看到开启视频用户的视频画面,了解现场情况;运用多种协作工具,高效精准的进行沟通和指导。

页面的核心是通话中用户的视频画面。仅一人开启视频时会全屏展示,多人开启视频时会分屏显示。分屏模式下,如果需要协助指定视频用户,双击对应视频窗口可以全屏显示该视频;同样,如果想切换回分屏显示查看多人视频,双击屏幕就会回到分屏模式。

4.4 远程专家协同指导

基于AR的远程专家即时通信与指导系统的远程专家协同指导模块可以实现丰富的标注、涂鸦、共享等功能,从而提供更为直观、高效的远程协同指导体验。同时,该模块还具备记录和回放功能,方便用户进行回顾和学习。该模块允许专家端对工人端进行实时的远程指导。专家端可以通过该模块将音视频信息与现场图像进行合成,并将合成后的信息呈现给工人端。同时,专家端还可以通过即时通信功能与工人端进行实时语音交流,以便更好地指导和解决问题。

4.5 系统配置

基于AR的远程专家即时通信与指导系统的系统配置模块为用户提供了丰富的参数设置和功能配置选项。用户可以通过这个模块来个性化设置系统参数、管理网络连接、配置用户权限以及查看系统日志和报告等。这有助于提高系统的灵活性和可定制性,以满足不同用户的需求。管理员可以通过该模块设置系统的参数、配置网络连接、系统日志及报告管理等。

5 结论

基于AR的远程专家即时通信与指导系统是一种结合了AR技术、实时音视频通信技术以及云计算技术的新兴应用,其研发背景是基于AR技术的快速发展、实时音视频通信技术的普及、远程专家指导的需求以及云计算技术的支持等多种因素的推动下逐渐发展起来的。

基于AR眼镜的智能交互运维技术,将增强现实、人工智能、知识管理等智能技术相结合,搭载智能运维管理系统,协助现场人员进行数字化、智能化、标准化的巡点检、运维及检修作业。基于实时回传的远程现场视频,后端的各类专家可进行远程作业指示和指导,从而实现高效的作业指导和安全支持,现场运维人员可通过远程指导获得跟现场专家指导同样的效果,打破陈旧的“师带徒”模式,有力支撑“后端专家团队+前端现场作业人员”的运维模式,有效提高协作效率、增强指导效果、降低企业成本,助力变电站的智能化运维。

参考文献

[1]吴振跃,章程熙等,面向变电站运维的智能机器人路径规划算法研究[J].电力与能源,2020(12):688-692

[2]徐冬,碳中和目标下发电领域低碳转型路径[J].洁净煤技术,2022(7):23-33

[3]金鑫,王吉灵等,特高压换流站智能运维系统的设计与实现[J].微型电脑应用,2021(9):176-181

[4]朱晓虎,“双碳”目标下基于绿色建造理念的变电站碳排放评价方法[J].上海轻工业,2023(1):93-95

[5]杜效鹄,王继琳,张妍,电力系统碳排放预测与分析,[J].中国能源,2022(8):12-19

作者简介:石富义,男,亮风台(上海)信息科技有限公司,亮风台(昆山)信息科技有限公司,工程师。主要从事大数据、人工智能、虚拟现实、增强现实、数字孪生、智慧城市等技术的研究与应用,E-mail:zhaotools@163.com。

通讯作者:石富义,男,亮风台(昆山)信息科技有限公司,工程师。E-mail:zhaotools@163.com。