基于边缘计算的监控(基于边缘计算的新型监控系统展望)
摘要:面向公共安全领域内的视频监控系统主要应对违法犯罪及社会管理等公共安全问题。传统视频监控系统具有前端摄像机内置计算资源较少、数据量较大、传输带宽延迟较高、目标跟踪效率较低等不足,为此,需构建基于边缘计算的新型视频监控系统的软硬件服务平台。本文主要从针对视频监控的边缘计算系统、基于边缘计算的视频监控系统协同处理、基于边缘计算的摄像机网络目标跟踪以及基于边缘计算的突发事件处理等方面来介绍边缘计算在视频监控系统中的应用及其优势。
1 背景介绍
视频监控系统主要用于视频处理、目标查询和人员跟踪等方面,并逐渐成为城市公共安全的重要保证。基于传统视频监控系统前端摄像机所采集的视频分辨率较高,视频数据量较大,现有智能监控系统的视频处理能力不足,传统云模式视频监控系统的计算和传输带宽负载较重。
现有摄像机存在计算能力以及上传数据的时延和带宽等不足,造成目标信息检测漏检较大和检测效率低效等问题。此外,视觉目标跟踪通常是对摄取的图像或视频进行分析计算,识别与跟踪场景中的目标,如何构建基于边缘计算的多摄像机组成的摄像机网络,以实现监控范围大、全方位的监控系统,克服单摄像机容易受到复杂背景、光照变化等局限,成为监控系统的研究热点之一。
图1 基于边缘计算视频监控系统框图
3 基于边缘计算的视频监控系统协同处理
3.1 现有方法的问题
在目前的视频监控系统中,绝大多数摄像机并不具备车辆识别功能,通常只根据少量从高速公路等关键路口采集的车辆信息,来初步判断车辆的路过时间,并以此为起始点,人工搜索周边摄像机,该方法追踪效率低下且无法达到实时跟踪。此外,同时追踪多路的视频流,会加剧网络的负担,导致延迟和丢包[8]。
3.2 安珀警报助手(A3)解决方案
边缘计算将计算推至靠近数据本地端,进而降低了数据传输和带宽[1]。随着一些车辆识别算法的成熟[9、10],使用普通摄像机的数据对车辆进行实时的跟踪,成为一种可能。如目前公共交通车辆[11](如出租摄像机,家用车辆的行车记录仪)。Zhang[12]等人因此提出了一种利用摄像机周边的边缘计算设备,安珀警报助手(A3)来实时追踪车辆。
利用静态和移动摄像机周边的边缘设备,安珀警报助手对摄像机的视频数据进行分析,实时跟踪特定车辆的应用。同时,该应用还可以自定义跟踪策略,以优化参与追踪的节点数量,提升系统效率。
图2是A3的系统结构图。整个系统主要基于烟花模型编程框架[13],根据功能将系统分为三种角色——任务发布者、任务接收者和数据处理节点,其中任务发布者供警察使用以提供追踪任务的管理,任务接收者用于接受任务、扩散任务、获取视频流以及部分任务处理,而数据处理节点为一群和任务接收者相近的纯计算节点。实验证明A3系统具有较好的易部署性、高效性和追踪实时性。
图2 安珀警报助Static Camera手(A3)系统结构图
4 基于边缘计算下摄像机网络目标跟踪
4.1 现有方法的问题
视觉目标跟踪是计算机视觉领域的一个重要分支,其主要任务是通过对摄取的图像或视频进行分析计算,达到对场景中的目标进行识别与跟踪的目的。基于多个摄像机 [14]组成的摄像机网络在扩大监控范围的同时也产生了海量视频数据,给视频的传输、存储以及实时目标跟踪应用,带来了极大挑战。若将视频都上传云中心,云中心将面临数据洪流的挑战 [15]。需就近对视频进行处理,而现有摄像机端计算资源不足。因此,需针对大规模摄像机网络,以降低通信负载、计算负担和提高算法实时性为目标,提出适合大规模环境下目标跟踪的方案。
4.2 目标跟踪解决方案及实现
近来,边缘计算模型为该类问题的解决提供了新的思路[1],将数据处理本地化,有利于解决较高传输代价、带宽需求以及较长的响应延迟,解决目前大规模实时跟踪中的短板。如,当选择寻找或跟踪一个目标P,其初始位置可以通过常规的监控信息得到(如报警信息),记为(Px, Py)。为了能实时不间断地进行目标跟踪,需要协调周围其他摄像机参与跟踪,故以(Px, Py)为中心,半径为R的区域内所有摄像机组成摄像机网络。由于控制中心与目标P之间存在传输和计算延迟,因此用RP作为补偿半径。值得注意的是,RP的值与目标P的运动速度成正比。 如果服务延迟越小,R P的值就越小,因此有必要将计算前置。在时刻k,形成的紧急监控区域内,会涉及NC(k)个摄像机组成的网络,如图3所示。
图3 基于边缘计算的摄像机网络拓扑以及边缘节点框图
如图3中的摄像机,在采集端增加视频处理的硬件单元,对采集到的视频信息进行复制,然后进行预处理(比如目标检测),这部分工作使用目前已有算法进行此项工作[16]。在得到目标位置后,摄像机将有用的信息传输给其邻居节点,同时接收邻居节点发送过来的信息,该节点将对接收到的信息和自身测得信息进行信息融合,从而提取有用信息,再将融合后的信息发送给邻居节点。在相邻时刻内完成多次类似的信息传输,就可以使得整个网络信息达到一致[17]。因此,可以融合各个摄像机的信息用分布式的方式实现全局信息共享。最后使用状态估计算法[18]组成鲁棒的目标跟踪系统。
5 基于边缘计算的突发事件处理
5.1 现有方法的问题
像Uber和滴滴打车等共享出行工具服务已经受到大众欢迎,并在日常生活中得到普遍应用。如何能有效保障旅客和司机的安全仍然是安全出行所遇到挑战。
共享汽车上主要存在两种人身攻击[19],司机被乘客攻击或乘客被司机袭击。为解决安全问题,滴滴公司采用脸部识别、行程共享、SOS呼叫等手段为行车驾驶提供安全保障[20]。现有主要的安全状态判断和检测方案是在驾驶端采集[21],在云端判断和检测,然后将判断结果反馈给驾驶终端,但其实时性较差,在大规模车载设备中,其运行环境较不稳定[22]、传输带宽的延迟较大、不利于实时处理突发事件。
为此,Liu[19]等人提出了一种基于边缘计算方法的共享出行服务的实时攻击检测框架SafeShareRide,该框架可以检测危险事件的发生,而且检测效率实现了近乎实时性的效果。SafeShareRide主要由三个阶段组成,语音识别检测、驾驶行为检测和视频采集与分析。这三种阶段所采用的算法是基于开源的算法架构,测试实验证明了SafeShareRide具有较好的适用性。
5.2 突发事件处理方案及实现
图4 SafeShareRide架构中三阶段检测时间序列
SafeShareRide架构主要包括三个阶段的处理。具体而言,第一阶段使用语音识别的方法对车内的声音进行判断,主要关键词有“帮助”或“大声”等做判别。第二阶段是驾驶行为的判断。SafeShareRide可以从从车载诊断、智能手机的传感器上收集驾驶数据,根据车速的行驶速度、加速度和角速度等结果来检测异常驾驶行为。第三个阶段通过分析车载视频数据以确定车内是否有紧急情况。每次检测开始的时候,前两个阶段独立运行,以检测并捕捉车辆危险情况。当在前两个阶段检测到攻击时,第三阶段的视频采集和分析功能将被触发,并将所获取的车载视频以及前两个阶段的检测结果上传到云或边缘服务器。
总之,通过三个阶段的安全性检测,SafeShareRide可提供准确性较高、视频传输带宽需求较低的高精准突发事件检测服务。
6 总结
视频监控系统在公共安全领域的应用越来越受到重视,基于边缘计算的新型视频监控系统为视频数据处理增加了更高的计算能力、更低的传输延迟以及更精准的处理能力。随着边缘计算系统架构的发展和定制化功能的完善,边缘计算能够更好地推动新型视频监控系统在公共安全领域更好地应用。
基金项目:安徽省重点研究与开发计划项目(1704d0802193);国家自然科学基金(61802001);安徽大学2016年博士启动经费项目(J01003214)
作者简介:
施巍松(1974-),IEEE Fellow,美国韦恩州立大学计算机科学系教授,博士生导师,移动与互联网系统结构实验室主任,Intel Internet of Things 创新实验室主任。2013至2015年间任美国国家科学基金会(NSF)项目主任。全国百篇优秀博士论文获得者, 美国国家科学基金会杰出青年教授奖获得者(NSF CAREER Award)。施巍松教授的研究兴趣包括计算机系统, 边缘计算和可持续计算,在分布式共享存储系统,移动互联网计算和高效能系统结构等领域取得多项重要研究成果。他是边缘计算这一研究领域的早期提出者之一和倡导者, 并长期致力于边缘计算在工业界的推广,是ACM/IEEE 国际边缘计算大会(SEC)的创始人。
孙 辉(1983-),博士,讲师,安徽大学先进计算机系统研究所所长助理。研究兴趣主要包括计算机系统、边缘计算、基于GPGPU高性能数据处理、面向非易失介质新型存储系统。目前主持国家自然科学基金、安徽省自然科学基金、安徽省科技攻关项目、安徽省高校自然科学基金重点项目等8项。在IEEE Transaction on Computer, SEC, MASCOTS, IGSC等期刊或会议上发表文章近10篇。
陈彦明,博士,安徽大学计算机科学与技术学院讲师。研究兴趣主要包括边缘计算、传感器网络、一致性算法。已发表论文10余篇,并公开专利6项,IEEE Sensors Journal、IET Radar, Sonar & Navigation等SCI期刊审稿人。
参考文献:
[1] 施巍松, 孙辉, 曹杰, 张权, 刘伟. 边缘计算:万物互联时代新型计算模型[J] 计算机研究与发展, 2017, 54 (5) : 907 - 924.
[2]R.ty T D. Survey on Contemporary Remote Surveillance Systems for Public Safety[J]. IEEE Transactions on Systems Man & Cybernetics Part C, 2010, 40 (5) : 493 - 515.
[3]Kumbhar A, Koohifar F, Guvenc I, et al. A Survey on Legacy and Emerging Technologies for Public SafetyCommunications[J]. IEEE Communications Surveys & Tutorials, 2017, PP (99) : 1-1.
[4]Sergeant R G, Corbin S A, Jones T L, et al. Video surveillance system: US, US5517236[P]. 1996.
[5]Osuna A. IBM System Storage N series and Digital Video Surveillance[J]. Advanced Materials Research, 2010, 953 -954 : 1113 - 1116.
[6]J. Gantz and D. Reinsel. The digital universe in 2020: Big data, bigger digital shadows, and biggest growth in the fareast[R]. International Data Corporation, 2012.
[7]SunH,LiangX,ShiW. VU:videousefulnessanditsapplicationinlarge-scalevideosurveillancesystems:anearlyexperience[C] // SmartIoT Workshop. 2017.
[8]Botta A, De Donato W, Persico V, et al. Integration of cloud computing and internet of things: a survey[J]. Future Generation Computer Systems, 2016, 56 : 684 - 700.
[9]openalpr[EB/OL]. https: // github.com/openalpr / openalpr, 2018 - 09 - 02.
[10]liuruoze. EasyPR[EB / OL]. https: // github.com / liuruoze / EasyPR, 2018 - 09 - 02.
[11]简明全.“透视”智能行车记录仪市场[J]. 中国公共安全, 2016, 10 : 005.
[12]Zhang Q, Zhang Q, Shi W, et al. Distributed Collaborative Execution on the Edges and Its Application to AMBERAlerts[J]. IEEE Internet of Things Journal, 2018.
[13]Zhang Q, Zhang Q, Shi W, et al. Firework: Data processing and sharing for hybrid cloud-edge analytics[J]. IEEE Transactions on Parallel and Distributed Systems, 2018.
[14]黄凯奇, 陈晓棠, 康运锋, 谭铁牛. 智能视频监控技术综述[J]. 计算机学报, 2015, 38 (6) : 1093 - 1118.
[15]Luke ic A, Vojír T, Zajc L C, Matas J, Kristan M. Discriminative Correlation Filter with Channel and SpatialReliability[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 4847 - 4856.
[16]P. F. Felzenszwalb, R. B. Girshick, D. McAllester, D. Ramanan. Object Detection with Discriminatively Trained Part -Based Models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32: 1627 - 1645.
[17]陈彦明, 赵清杰, 刘若宇. 一种适用于分布式摄像机网络的SCIWCF算法[J]. 电子学报, 2016, 44 (10) : 2335 - 2343.
[18]A. T. Kamal, J. A. Farrell, A. K. Roy-Chowdhury. Information weighted consensus filters and their application indistributed camera networks[J]. IEEE Transactions on Automatic Control, 2013, 58 : 3112 - 3125.
[19]Liangkai L., Xingzhou Z., Mu Q.et al. SafeShareRide: Edge-based Attack Detection in Ridesharing Services, [C]//USENIX Workshop on Hot Topics in Edge Computing (HotEdge 18), 2018
[20]滴滴出行通过必修课程提升驾驶员培训系统用户体验[EB/OL]. https: // www.didiglobal.com/news / newsDetail?id=240&type=news, 2018-9-2.
[21]滴滴出行提升驾驶员和乘客安全框架[EB/OL].https://www.didiglobal.com/news/newsDetail?id=270&type=news, 2018-9-2
[22]HuiSY,KaiHY.Challengesinthemigrationto4Gmobilesystems[J].CommunicationsMagazineIEEE,2003,41(12):54-59.
摘自《自动化博览》2018年增刊《边缘计算2018专辑》
,免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com