从我国城市视频监控建设总体状况来看,仍存在视频资源建设统筹性差、标准不统一、共享不足、应用单一等问题,技术亟待创新与突破。为加快建设新型智慧城市,支持建立城市大数据中心。探索完善数据产权和隐私保护机制,强化网络信息安全保障。加强基层治理,改革创新群团组织、社会力量参与社会治理模式,围绕建设“新型智慧城市”总体目标,加强公共安全视频监控资源建设力度,推进视频数据联网整合、共享应用,坚持依规建设、按需联网、整合资源、规范应用、分级保障安全可控原则,推动公共安全视频监控建设集约化、联网规范化、应用智能化,夯实视频联网整合应用基础,促进视频应用与政府职能相融合,初步建立起智能化、自动化的预警防范机制,为政府决策指挥提供智慧支持,促进城市管理治理智慧化水平提升。
以某市某区为例,当前全区建设近4万路视频,共享率不足37%。建设一个上接全市视频资源、下联各委办局视频应用的视频汇聚共享平台成为迫切需求。该省市相关指导文件中指出要夯实视频联网整合应用基础,实现基于视频专网作为承载网的全市视频联网应用网络建设,推动全市公共安全视频监控整合共享服务平台建设,实现公安、城管等各单位视频信息资源整合共享。采用省“雪亮工程”视频联网共享平台“一总两分”的设计原则,以市经贸信息委“智慧城市视频联网整合应用服务平台”为总平台,市综治办“视频共享管理平台”和市公安“反恐指挥及社会治安视频应用平台”为分平台的全市视频联网整合共享架构。各部门负责开展涉及各自行业内部视频资源联网整合,各区负责开展本区视频资源联网整合,最终在市、区、街道三级综治中心形成视频联网共享,分权管理、分级调控、应用服务的视频综合应该模式。
建设智慧视频汇聚共享应用服务平台,需统筹规划辖区视频监控系统,实现统一规划、统一管理。避免重复建设或者出现盲区。通过视频汇聚共享应用服务平台实现对辖区一类、二类和三类监控视频进行综合管理和综合应用,对接市级视频专网。在视频专网上逐步搭建满足政府各部门建设行业管理相关的视频应用和智能体系,实现各部门建设打击防控等相关的平安城市视频应用和智能体系。各部门利用视频资源进行城市运行监测、态势预测、城市部件和事件管理、安全隐患排查、智能交通管理、应急指挥调度等管理工作。
接下来本文将讲述智慧城市中视频汇聚共享应用服务平台建设。
1. 视频汇聚共享应用服务平台体系架构
为实现视频资源统一规划、统一管理的目标,按照 “雪亮工程”视频联网共享平台“一总两分”的设计原则和“条块结合、以块为主”的 联网共享原则。将辖区街道、小区的视频监控资源和企事业单位、 商户、居民社区或者住宅小区的视频监控资源,以及辖区的视频门禁资源、移动执法视频资源,进行统一联网共享,实现全市的视频资源进行联网接入、联网共享的区级视频汇聚共享应用服务平台。
本系统平台由多层结构组成。系统从物理结构上讲由WEB服务器、应用服务器、数据库服务器组成。系统采用B/S方式,通过浏览器访问WEB服务器,再通过WEB服务器访问应用服务器。然后应用服务器与数据库服务器连接并通信,系统的配置信息保存在系统支撑库数据库服务器中,业务信息保存在数据整合资源库中,系统通过应用服务器的程序访问资源库,然后读取配置信息访问资源库。读取的数据再通过,资源库返回到应用服务器,然后传到web服务器,web服务器组织网页显示在浏览器中。Web服务器可连接多个浏览器,每个浏览器可看成一台客户端,通过这种模式,可实行轻量级客户端访问模式,较之传统模式支持更多的并发数,以及更快的响应速度,更方便的升级维护。
视频服务能力开放平台架构设计上,采用全文检索、非结构化分布式文件存储,MPPDB等先进技术,按照分层解耦设计思想进行设计,架构分为IT基础平台、安全体系、数据存储层、服务支撑层、应用层及展示层。如下图
接入层:通过GB/T 28181或者下级平台接口接入各层级局委办视频资源数据。
传输层:主要包括政务外网、政务视频专网以及互联网等。
基础设施层:IT基础平台,软硬件基础设施。
平台支撑层:主要包括数据接入、数据处理、数据管理以及数据服务,采用微服务架构,主要提供视频推送、视频解码、视频结构化、车辆算法、人像算法等服务。数据处理主要实现各类数据的存储,包括结构化数据、非结构化数据、MPPDB数据存储以及全文检索索引库。通过与各系统的对接对获取、存储数据的软件结构,提供数据支撑。
应用层:在服务层的支持下,应用层主要是实现视频汇聚、视频共享、视频应用、视频服务各应用系统的各项业务功能。包括首页相关信息功能的展示;文档中心的接入指南、认证机制、技术文档、常见问题相关功能;下载中心包括各类视频播放器和处理工具的下载;应用案例描述各类视频应用的成功经验;开放平台提供各类视频处理的开发能力,为各接入厂家赋能。在设计上视频汇聚、视频共享、视频应用、视频服务模块相对独立,有利于数据库的维护和管理。针对系统权限,设计单独的统一的权限管理模块,其中登陆本系统用户的权限,增加系统的安全性。
展示层:展现层采用先进的HTML5、CSS3等技术,支持指挥中心、PC端、手机APP等多种访问方式。
2. 视频汇聚
2.1. 视频汇聚现状
各单位视频平台建设分散,统筹性差;缺乏统一标准,不便于进行视频共享。
2.2. 视频汇聚目标
将辖区一类、二类和三类监控视频资源进行整合汇聚联网,通过统一标准,结合辖区实际情况因地制宜,执行各部门分工、科学有序的推进政府视频建设的有效汇聚,将政府各部门以视频监控为主的信息化项目的投资建设进行统一台账管理:
(1)有效管理政府投资建设(以视频监控内容为主)信息化项目,控制工程建设投资,合理节约城建资金。针对视频前端监控建设内容进行规范引导,结合各职能部门建设情况进行有效管控共享共建,高效透明部门间资源协同。
(2)标准化汇聚接入管理,将分布于不同地理位置、跨部门、跨行业的摄像点按照统一的技术规范进行视频汇聚。系统建设优先遵从国家、行业、省级相关的视频监控联网技术规范。
2.3. 视频汇聚服务
统一视频汇聚标准,以某区为例,在视频汇聚联网方面,使用GB/T28181标准作为汇聚基础标准。IPC、DVR、NVR、视频平台等外部视频资源通过信令网关和媒体网关接入汇聚到视频汇聚共享平台。
视频资源联网采用GB/T28181中级联的方式,两个信令安全路由网关之间是上下级关系,下级信令安全路由网关主动向上级信令安全路由网关发起注册,经上级信令安全路由网关鉴权认证后才能进行上下级系统间通信。
级联方式的多级联网结构示意图,如图1、图2所示,信令流都应逐级转发;媒体流宜采用图2所示方式传送,也可跨媒体服务器传送。
图1 信令级联结构示意图图2 媒体级联结构示意图
GB/T28181标准满足对上下级平台的视频数据传输,交换,控制的基本要求和安全性要求,以及控制、传输流程的协议接口等技术要求。对支持该协议的厂商平台/设备可快速对接。实现注册鉴权,目录共享,信息查询,视频点播、控制、下载,告警订阅等功能。如视频资源管理应支持GB/T 28181协议的下级平台/设备添加、注册、修改。定时检查下级的心跳信令,管理下级平台/设备的注册在线状态。因国标出台前,市面上所有设备主要对接模式仍为私有SDK模式对接,将平台中未纳入国标服务的设备,底层分别对不同厂商利用SDK C++接口方式对设备进行添加、修改,通过接口获取设备状态完成对零散设备的整合,统一访问入口。对己添加的下级平台/设备发起目录查询,保存视频通道的详细信息。定时发送订阅查询,更新目录的变更信息。
视频资源视频播放可以通过GB/T28181信令交互获取视频流。支持对不同的厂商平台/设备,开发统一的接口获取视频流。支持TCP/UDP传输协议获取视频流,可以优先使用TCP传输协议,来保证视频的流畅性。根据不同的网络环境,可自行切换UDP/TCP传输方式。对复杂的网络环境,可分布式部署,层层级联。自动计算视频播放的最优路径。
对获取的码流进行分析,支持RTP/PS封装解析,支持码流类型为H264、H265的解析,抽取一帧数据,再进行RTP封装分包处理以此来完成视频流分析和组帧;视频流标准化封装支持输出符合GB/T 28181规定的PS封装流,支持将H264、H265原始视频裸码流,进行标准化PS封装,再进行RTP封装分包处理。RTP流媒体管理视频媒体流的转发,当有多个用户同时请求同一路视频通道时,由RTP流媒体服务负责将码流分发给多个用户,以减轻视频通道的带宽压力。
2.4. 视频汇聚功能
为解决各部门信息化项目建设分散,统筹性差的问题,开发统一的信息化项目管理功能,从项目申报到项目验收,备案结束进行全流程管理。同时包括项目的建设单位、承建单位及专家进行统一的信息管理,并提供相应的接口对接,报表等各种辅助功能。
统一标准,进行标准化汇聚接入管理,对汇聚接入总览提供自定义添加系统链接功能,满足用户可以添加各系统的快捷操作入口,管理平台更加便捷。可视化展示视频数据总量情况,各级视频标签分类的数据量情况,视频数据标注情况。
对接入设备进行管理,视频设备分组、编码规格、视频门禁信息对接、设备对接、设备联动、数据查询统计,数据可视化展示。
提供标签化管理功能通过对设备、应用场景属性标签管理,实现标签层级展示挂接功能和可视化展现数据标签思维导图。根据每个场景信息管理,进行实景图片上传。
3. 视频共享
3.1. 视频共享现状
政府各部门视频网络较为零散,网络不统一。各网络之间,只有少量视频资源实现共享,大部分 视频资源相互独立,难以共享。
3.2. 视频共享目标
通过视频资源的汇聚,完成视频资源的初步积累,而海量的视频汇聚后,应遵循统分结合、开放兼容、分层解耦的设计理念,解决政府和社会跨时空、跨层级、跨行业、跨部门间的视频数据共享与业务协同问题。
通过向视频资源申请平台申请获得用户帐号和相应权限,在登录到视频汇聚共享应用服务平台后,可以主动获得需要从分局共享出来的视频资源,然后根据权限在共享客户端上可以进行相应的基本实况浏览和录像回放等基本功能。另外各主管部门、各街道办可由政务外网通过边界平台接入视频汇聚共享应用服务平台调看视频数据。与此同时,满足各局委办对其关注的视频资源进行二次开发及流程整合的共享资源输出。
视频资源共享主要通过视频汇聚共享应用服务平台横向共享至各业务部门专网用户及各局委办专网用户,为公安、消防、城管、安监、交通运输、交警、环水、网格、应急等各职能部门业务提供应用服务。
纵向通过视频汇聚共享应用服务平台推送视频资源给到智慧城市视频联网整合应用服务平台。后续辖区所有建设的视频监控系统将统一纳入本平台统一管理。
视频共享建设时视频资源需清晰分类、资源开放共享,方便各部门用户主动便捷获取待选视频资源;要满足全业务数据流程审批,有效把控资源申请环节;要实现视频数据资源共享有效的管理,并对系统效能进行实时监控。3.3. 视频共享服务
视频共享服务采用客户端共享和接口资源共享两种模式
客户端共享:申请审核通过后赋予相应部门用户,具有查询视频资源的圈线,在登录到城市融合实景监控平台客户端和网页版视频预案巡控管理系统,可以获得直接在线观看视频资源,然后根据权限在客户端上可以进行相应的基本实况浏览和录像回放等基本功能。
接口资源共享:资源申请审核通过后通过GB/T 28181国标推送服务,或RTSP/RTMP/HLS等视频流推送相应的视频资源。标准化汇聚接入平台本身管理着各单位二、三类点的视频资源,对已经有相关视频资源,则优先从辖区单位获取,如果下属部门没有相关视频资源,再通过联网共享平台根据权限设置GB/T28181共享出来的视频资源列表获取,媒体码流优先通过联网共享平台的平台转发服务器,由媒体服务模块向各部门用户提供视频推送等基本功能。视频联网共享平台联网支持基于GB/T28181标准实现与各级标准平台(符合GB/T28181协议的标准平台)间的互联互通,平台之间通过信令安全路由网关进行信令对接,在信令的控制下媒体通过媒体服务器互联。
图3 SIP监控域互联结构示意图
3.4. 视频共享功能
视频资源申请进行统一管理,开放注册,通过统一的注册管理,让各部门在资源共享应用的同时又能实现安全访问,满足政府多部门不同的需求,控制访问权限进行视频资源分配。平台对用户进行权限划分,设置数据管理局、政法委具有最高权限,其他用户根据重要性进行权限划分。即当两个不同级别权限的用户同时并发调阅同一路视频图像或同时对某个摄像机进行控制时,根据优先权大小顺序进行识别执行。将汇聚的视频资源根据各单位需要申请的业务进行场景搭建。在此模块中还提供热门资源,最新资源,快速资源检索等等功能。
有关部门可以根据部门管理实际需要申请调用视频资源共享平台的视频,主管部门根据有关部门的申请材料进行审核,申请通过后将开通相关的视频资源调用权限,申请不通过根据主管部门的反馈意见重新补充材料申请或者申请直接结束。
针对视频共享,要进行单独的视频共享管理。建立共享看板,可在看板上展示最新视频数据资源和资源流向,接入应用等相关信息,方便管理员快速掌握全部资源及共享情况,使用率等。对资源申请,审批,共享等各方面相关的信息进行综合性管理,包含资源申请平台注册的用户信息,申请方信息,资源共享方式信息等。同时提供一些针对共享的数据统计比如用户活跃度,资源使用情况,视频播放时长等等数据信息,另外还可以根据不同周期及需求生成相关资源共享报告。
4. 视频应用
4.1. 视频应用现状
目前绝大部分的视频监控平台都是基于传统的系统架构根据己方设备进行适配接入和图像调取,此类平台架构在实现大规模视频接入、海量视频存储、大规模并发访问、视频的深度应用、功能拓展等方面存在或多或少的设计短板,不能满足当前更多深层次业务需求。当前已有的视频监控项目建设存在重建设、轻应用现象。从根本角度出发,前端设备建设的目的是为了实现更好的应用和服务,而目前应用水平扩展难,应用单一,使用过程不透明也制约了视频应用的深度发展。单一部门或业务领域的应用已经无法满足构建整个区域内视频监控资源大汇聚、大融合的愿景。
当前的很多地方的视频的预案调度按照手动一路路的点播查看,费事费力,操控管控力度也远远达不到日常生产所需要的效能,虽然在智慧城市的建设进程中,视频监控得到了大力发展,各部门都建立了自己多路视频监控,但是这些数据没有进行融合,不能满足各部门深度业务需求。
4.2. 视频应用目标
智慧城市的建设,尤其是政府投资建设以视频为主的项目工程如平安城市、雪亮工程等,其起始于“建”,重点在“管”,难点在“维”,核心在“用”,利用最直观的城市视频监控资源,通过视频智能应用有效提高对公共空间、重点场所、环境卫生、实有人口以及突发事件等城市治理领域的数字化管理水平和效率,是视频应用迫切实现的目标:以前视频的预案调度按照手动一路路的点播查看,费事费力,操控管控力度也远远达不到日常生产所需要的效能,规划后的系统可以按照设定好的规则,在指定的操作终端上进行自动的监控图像显示。同时能有效对视频预案巡查控管理,满足视频应用看、查、管、控基础上,实现场景化预案编组,动态可视化巡控;
视频融合数据可视化管理,通过对以视频为主的大数据多维度动态呈现,高品质、组件化、深度业务整合,实现智慧城市建设成果和价值的集中体现,让我们的智慧城市变得更为可知可感;城市数字图像管理需求,将各类视频图像分析结果,分类、结构化、标签化存储,提高数据纯度及关键价值,推进视频大数据向视频深数据的发展,为视频人工智能算法的改进升级,积累、提炼训练样本;各政府部门场景化应用需求,满足各部门视频应用的扩展,包括公安网上作战平台、应急城市融合实景监控平台、智慧校园等实现与业务系统进行深度场景化应用。
4.3. 视频应用服务
使用GB/T 28181国标服务,视频转码、文件存储、点播服务等再结合以图搜图、图片处理、图像训练推理、视频浓缩、视频摘要、地图基础服务、短信服务等为上层应用提供底层服务支撑。
遵循对集群分析服务资源的统一管理和调度,弹性根据某类智能分析流量或任务优先级自动申请计算资源,满足超大路数或突发处理任务计算资源的灵活分配。具备多种不同类型算法的共存、统一管理、调度,满足针对不同解析需求的视频和图像进行调度,由不同的算法进行解析的需求,支撑业务应用上单一视图对象分析向多元视图对象集中分析转变。具备各层功能可进行灵活组合能力,根据应用需求,各功能组件进行拆分与合并。通过人工智能与视频大数据技术有效提高对公共空间、重点场所、环境卫生、实有人口以及突发事件等城市治理领域的数字化管理水平和效率,展示最直观的城市AR实景视频监控效果。
4.4. 视频应用功能
为了有效对视频预案巡查控管理,满足视频应用看、查、管、控基础上,实现场景化预案编组,动态可视化巡控。利用视频目录管理功能实时监测设备在线状态,同时根据不同的应用场景可设置所有预案默认参数,设置轮巡间隔,轮巡分屏数。把数据整合为一个图层进行展示,根据辖区资源、业务资源、基础资源统计,进行自定义图层管理。每个图层将显示基本详情和图片信息。将镜头预案分组展示、预案播放、预案选点以及预案共享等多功能应用在视频播放上实现视频全屏,多屏播放;通过云台控制进行不同场景切换和镜头控制,同时视频与地图联动,一键定位视频监控空间位置,并支持重新地址定位功能。也可以通过地图应用快捷播放视频,快读检索定位,显示镜头物理位置和其他详细信息。支持2D;2.5D,3D地图切换,支持其他地图服务对接。
对视频融合数据进行可视化管理,数据接入时通过ETL抽取本地数据存储。进行融合空间管理,根据项目和部门不同来划分大屏空间。通过数据源,分析维度展示图像报表数据功能。建立可视化看板及视频轮播管理,也可订阅可视化主题,对重点场所空景监控视频场景、街道办的数据看板、视频共享数据可视化等多项自动以主题显示。
建立融合城市数字图像管理库主要实现对数字图像信息的统一存储分类管理,按照统一的标准规范实现对视频信息资源的采集、分类、描述、处理、展现、应用和管理,实现对政府监控视频信息资源的识别和分析服务,从而更加有效管理、利用和合理开发视频信息资源,提升城市数字图像综合应用技术水平。城市数字图像管理库主要包括各类数据的存储与管理,是平台最核心的数据资源所在,包括了原始智能感知数据库、基础资源库与专题库,具有重要作用。通过对抽取视频信息建库,实现未来视频大数据分析的应用前提,同时,具备数据搜集、数据分析、数据建模三个主要业务核心,利用数据的深度融合为城市管理提供最关键的视频信息服务,精确定位视频信息中的要素:时间、地点、人物、行为、事件。
针对各部门需求对应用需求进行深化建设。搭建视频网上作战管理场景,提供视频巡查,电子地图等基础视频应用功能。同时搭建查询检索应用,如全析搜图,既用户可对一张图片中的多个不同类型目标(人脸、人体及车辆)进行全析搜图,系统返回符合相似度阈值要求的相关图片,并自动依照目标分类展示查询结果,同时查询结果支持显示与目标存在关联关系的对象信息。期间可设置限定条件,包括通过树形资源或地图框选选定点位,选定相应时间段等。也可以通过以脸搜脸,以人搜人,以车搜车等功能进行人脸、人身、车辆等查询。针对人脸、车辆、人证数据搭建相关的人员、车辆轨迹分析应用及其他相应的分析研判模型如同行人员、同行车辆、人员、车辆轨迹分析等等。还可以进行多维数据结合应用,提供以人找车,以车找人等功能。提供相应的数据看板,对人脸等各类数据进行统计分析。为了更加有利网上作战,可以提供相应的人员、车辆布控告警功能以此提高相应工作效率。通过这些功能可在多部门具体工具场景中应用,如在警务工作上在治安相关部门可进行治安监控,指挥中心可利用平台进行可视化指挥调度,刑侦、技侦等部门可进行视频侦查。
提供融合实景监控功能,在实景监控展示时显示各类标签,动态展示监控区域各类要素。实现静态背景的结构化,方便视频数据提取和分析,同时也具有空间位置、方位感知能力等功能。不仅能够获得视频背景的结构化描述信息,还可以通过视频联动能汇聚已有的低点监控视频,在当前监控画面中以画中画形式呈现目标摄像机的监控画面。
5. 视频服务
5.1. 视频服务现状
随着公共视频监控建设的不断完善,基础设备、业务系统、支撑系统的迅速发展,网络规模迅速扩大,主机、网络设备、应用软件数量不断增多,业务资源访问、操作量不断增加,为了避免内控措施不力造成的安全问题。原来普通的各个系统单独日志、运维管控的做法已经无法满足目前和未来业务发展的要求,急需建立统一的视频安全审计系统。
智慧城市的发展需市场多方面、产业链的各环节共同促进,相关政府的积极引导,围绕相关领域的技术前沿、产业趋势和热点问题进行总体规划。当前也没有一个专门的视频服务能力开放平台来解决这些问题。
5.2. 视频服务目标
围绕新时期政府管理模式向服务型的转变,视频汇聚应用提供更便捷、更高效地更人性化的服务,从视频处理、播放、分发各环节全方位保障视频内容安全。在对系统使用情况进行实时监控情况下,系统支持视频业务操作的精确统计及系统操作账号的全项审计。 视频服务能力开放需求。平台通过嵌入各相关智能部门业务流程以及与其他能力服务集成,满足融合业务需求;进一步降低各相关职能部门监控业务深度开发的提供成本、缩小业务提供周期。整合和利用现有全区视频资源的基础上,采用统一的多层级的开放接口来开放视频服务能力,聚集互联网上有潜力、有创造力的开发者,让开发者能利用这些能力不断地创造出更好的应用和服务,实现开发者的无限的创造能力。
5.3. 视频服务功能
视频服务主要提供开放式视频能力输出管理、场景应用服务、服务管理控制台等功能。同时,平台支持视频加密、防盗链、防下载、防录屏环环相扣的保护措施,从视频处理、播放、分发各环节对视频访问行为、视频访问内容、视频访问流量全方位保障视频共享安全可控。在安全审计方面针对平台的运营情况比如资源在线情况、服务性能、异常告警等情况进行可视化数据、图表展示;对日志信息进行收集分析、报告;建立异常行为模型针对账号异常登录行为、异常操作行为、账号密码安全级别以及服务器CPU、性能、服务流量进行实时、定时控制告警;并对特定事件设定相关告警阈值,通过多种方式发送告警内容,实现告警联动;约定具体时间,可定期对海量日志信息进行迁移。
视频服务能力开放模块在整合和利用现有全区视频资源的基础上,采用统一的多层级的开放接口来开放视频服务能力,聚集互联网上有潜力、有创造力的开发者,让开发者能利用这些能力不断地创造出更好的应用和服务,实现开发者的无限的创造能力。实现政府各类用户个性化业务需求,充分挖掘视频汇聚共享服务应用平台潜力。集成各相关智能部门业务流程以及与其他能力服务,满足融合业务需求。实现文档中心、下载中心、开放平台的功能,降低各相关职能部门视频监控业务提供成本、缩小业务提供周期。通过各类信息展示,包括成功案例、最新信息等。从而吸引智慧南山建设合作伙伴以及大众用户参与业务创新。
6. 结束语
通过统一规划,统筹建设视频汇聚共享应用服务平台,解决当前智慧城市视频监控建设中的视频标准不统一,共享困难;视频存储分散,资源管理混乱;视频平台建设分散,统筹性差;应用单一,缺乏体系规划多个棘手问题。
随着智慧城市的建设推进以及技术不断发展,未来还可将视频大数据与政府部门数据、运营商数据、公用事业单位数据、地理信息数据、互联网数据等进行多维数据碰撞比对分析,使得城市管理决策者可以站在更高的层级,全方位、多角度地看待城市运行中最为生动的细节。视频大数据与各部门业务数据进行多维数据碰撞比对分析应用逐步深入的过程,也是发掘、研究并利用城市运行规律的过程,有助于开拓新视野、发掘新问题、探索新规律、找到新方法,从而有力地提升城市管理治理智慧化水平。
参 考 文 献
[1]GB/T28181-2016,公共安全视频监控联网系统信息传输、交换、控制技术要求[S].