阅读新闻

大咖 清华大学王生进教授:人像态势识别及其在智能视频监控中的

发布日期:2019-09-18 09:42   来源:未知   阅读:

  安防已经成为人工智能落地场景中的重要赛道,其涉及的智能视频分析、人脸识别等关键技术也在研究领域受到了极大的关注。那么安防领域中涉及的人脸识别有何痛点?人工智能+安防的未来又有哪些新的趋势?

  10月29日,2017年第十六届中国国际公共安全博览会(CPSE安博会)在中国深圳会展中心开幕。在政府管理论坛上,清华大学媒体大数据认知计算研究中心主任王生进教授发表了题为《人像态势识别及其在智能视频监控中的应用》的演讲,他指出,目前我国视频监控建设卓有成效,摄像头的数量惊人,达到了2000多万个。如此大量级的数据只依靠人工监控已经无法实现大规模视频监控,急需人工智能以及智能分析技术有效的技术支撑。

  王生进教授从三个方面阐述了人脸识别在安防中的应用:1、新一代人工智能发展与智能安防;2、人脸识别技术与应用系统;3、以人为中心的安防理念与人像态视识别。

  大数据文摘从现场发来一手报道,以下为王生进教授演讲精华,在不改变原意的情况下有部分删改:

  当前,世界范围内公共安全面临严峻情势,是国际上关注的重大课题,信息内容与情报成为掌控局势的关键要素。面向大数据背景下国家公共安全保障是重大的国家的需求。聚焦公共安全、平安城市、视频监控、网络安全的需求,以安防视频大数据,及网络空间各种视频、图像、语音、网络信息为大数据基础,创新人工智能和机器学习理论,构建公共安全大数据应用技术创新平台是我们工作的重点。

  第一面向物理空间安全:全国平安城市建设视频监控前端数量已超过2000万。目标感知能力不足,大数据给公共安全事件即时感知、精确分析、快速搜索带来巨大困难,急需人工智能技术支撑。

  第二面向网络空间安全:网络空间富媒体通信的引入,带来新型媒体信息管控难题,国家急需大数据环境下富媒体内容感知、网络信息安全、网络多媒体内容监测的支撑技术。

  十二五期间,全国600大中城市视频采集系统建设已初具规模,监控系统26.8万余个(2009),安装摄像头2000万余个(2013)。按每个摄像头每天约7.2GB (0.3G(CIF)*24)的数据量,北京市摄像头40余万个(2011),每天产生的数据量为 2800TB,数据量巨大。

  在这样大量的数据下,依赖人工监控,智能化程度低,无法实现大规模视频监控环境下的事前感知、事中联动、事后有效处理及智能检索。急需人工智能以及智能分析的技术,在视频监控里能够提供有效的技术的支撑。

  2017年7月8日,国务院发布新一代人工智能发展规划(国发〔2017〕35号)。人工智能成为国际竞争的新焦点,是引领未来的战略性技术;人工智能成为经济发展的新引擎,作为新一轮产业变革的核心驱动力;人工智能带来社会建设的新机遇,将深刻改变人类社会生活、改变世界。抢抓人工智能发展的重大战略机遇,构筑我国人工智能发展的先发优势,加快建设创新型国家和世界科技强国。

  根据这个核心,《规划》里提出利用人工智能提升公共安全保障能力的规划和要求。

  第一、促进人工智能在公共安全领域的深度应用,推动构建公共安全智能化监测预警与控制体系。

  第二、围绕社会综合治理、新型犯罪侦查、反恐等迫切需求,研发集成多种探测传感技术、视频图像信息分析识别技术、生物特征识别技术的智能安防与警用产品,建立智能化监测平台。

  第三、加强对重点公共区域安防设备的智能化改造升级,支持有条件的社区或城市开展基于人工智能的公共安防区域示范。

  第一、有配合人脸识别。分认证和查询,通常应用在证件照人脸,声明我是A,然后将A的模板人脸图像和现场采集的A的人脸图像进行比对,给出Yes or No,或查询大库。通常要求配合。

  第二、半配合人脸识别。也分认证和查询。通常应用在受限的通道、卡口,进行黑/白名单比对。该类应用通常光照稳定,不要求配合。

  第三、非配合人脸识别。查询为主,通常应用在视频监控的动态布控场合,进行黑名单查询。该类应用光照复杂,姿态不确定,难度大。

  清华人脸识别技术——人证合一验证通关应用:2005年,由公安部出入境管理局主持集成清华大学人脸技术,世界上首次在我国出入境旅客最多的深圳罗湖口岸开通“旅客自助查验通道” ,日均出入境人数在数十万以上。已推广到深圳、珠海两个地区的边检口岸共已开通了近400条自助通道,近300万旅客,验放旅客超过数亿人次,通过率98%,成为世界人脸识别技术大规模成功应用的范例。

  人脸识别技术通过采用摄像机或摄像头,采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关处理技术,通常包括:人脸检测、人脸跟踪、人脸五官定位、人脸归一化、特征提取、分类器训练和比对匹配,以达到识别不同人身份的目的。被广泛地应用在安全、认证等身份鉴别领域,因而被誉为”21世纪十大影响人类生活“的革命性技术。

  人脸识别从应用上一般分为人脸检测,人脸五官定位,1:1人脸识别,1:N人脸识别,M:N动态布控。人脸检测与五官定位应用方向:客流量统计,视频检索等。智能贴图,智能美妆美颜,变脸特效等:

  1:N人脸识别应用方向是指身份证照片查重,护照照片查重。比如你现在要做一个护照,你是张三,公安部门会到人口库里面查一下,看你会不会是顶替,也就是一人多证。

  M:N人脸识别应用方向是指动态监控,黑名单监控,VIP客户管理系统,校园人脸识别系统,智能楼宇。

  人脸识别技术,近两年发展非常迅速。基于机器学习的人脸识别方法方面,人脸识别方法总体上可分为三大类:

  一是基于统计的识别方法,主要包括特征脸(Eigenface)方法、隐马尔科夫模型方法、子空间法等;二是基于网络连接机制的识别方法,包括人工神经网络(ANN)方法和弹性图匹配方法等;三是几何特征方法和三维模型等一些其他的综合方法。

  人脸识别的过程:令x 为一个待识别的人脸输入,F(x)为一个分类器函数,y 是关于x 的类别标签输出。人脸识别的关键,是获得高性能的F函数。传统的人脸识别的方法(Deep Learning以前): F分类器函数的构建,主要是分步处理、人工设计的。

  基于统计学习的人脸识别方法得到了广泛的应用。人脸识别当前遇到的主要困难包括:

  以上问题给人脸识别带来了相当大的挑战。随着深度学习的发展,我们遇到的困难得到了解决。

  人工神经网络是一种端到端的机器学习方法(全步骤一次性学习)。端到端的学习方法一出现给人工智能带来了巨大的推动,应用在AlphaGo,图像识别,语音识别,无人驾驶,VR/AR,智能交通,智能视频,智慧医疗,智能制造。

  1)人脸检测:判断输入图像中是否存在人脸;如果存在人脸,返回人脸所在的位置。

  2)关键点定位:确定人脸中眼角、鼻尖和嘴角等关键点所在的位置,为人脸的对齐和归一化做准备。

  3)人脸归一化:根据关键点的位置,采用相似变换,将人脸对齐到标准脸关键点,并裁剪成统一大小。

  4)特征提取:利用海量数据,训练卷积神经网络;将人脸图像表示成具有高层语义信息的特征向量。

  5)特征比对:主要是利用Metric Learning等技术,进一步提升识别准确率。

  (2)人脸识别网络。针对不同人脸识别场景,设计了多种网络架构,以适应不同场景(速度、精度)的要求。图是我设计的一个网络,左边的网络具有速度快的特点,仅需要5毫秒的CPU时间,在LFW上的识别准确率为97.28%,主要用于对实时性要求高的场景。右边的网络,RES-FaceNet,一共包含26个卷积层,5个max-pooling和1个全连接,单个model在LFW上的识别准确率可达99.22%。

  基于以人为中心的安防理念,提出人像态视识别新概念。安防的重点是人,特别需要关注和获取重点人群的全面信息。例如以下的相关信息:关注人物出现在公共场所和交通卡口;他的行为和举止是否异常;携带包裹进入公共场所,走出后箱包是否消失;其面部表情和神态如何;近期是否有过敏感接触、过激言语等。

  人像态视识别,是我们构建的深度人像识别的一个新概念,即对于人的像态、形态、神态、意态。

  —像态包括人脸和行人表观图像;像态,感知两个维度: 1、对感知对象的物理特征进行精准认知,以表达如颜色、尺寸等;2、对这些特征组合的表象进行属性描述,以表达是什么,如车牌、人脸、行人。像态包含表观:人脸、指纹、掌纹、虹膜、指静脉、人群聚集事件等。

  形态包括静止和序惯图像。形态,感知两个维度: 1、对感知对象的静止肢体特征进行认知,以表达如动作、姿态等;2、对感知对象的肢体变化特征进行描述,以表达做什么,如步态、奔跑、逆行。形态包含多种人体肢体特征:姿态、行为、动作、步态、轨迹等。视频监控行人识别系统,是在跨视域视频监控网络中,依据行人外观和步态特征,识别查找追踪在不同摄像头下的特定行人。

  神态包括主动和被动下的人脸图像。神态,感知主动和被动两个维度: 1、对感知对象的面部表情特征进行认知,以表达如喜怒哀乐等;2、对感知对象的面部神色特征进行描述,以表达其内心的波动、思想的意识、精神的状态,通常不为人的意志所控制。神态主要用于表达人的内心状态:神态自若、神色慌张、精神恍惚等。

  意态包括显性信息和隐性信息。按照这个范畴定义,构成人像态势识别新概念,智能安防,人是其中核心关键的要素。意态与隐形信息相关联,主要体现在信息的逻辑关系的关联上,具有显性和隐性两个维度: 1、对感知对象行为的企图、目标、后果的显性特征进行认知;2、对感知对象行为的企图、目标、后果的隐性特征进行认知,以表达其行为与其他事件的关联、影响、及潜在的可能后果。意态的显性特征认知较为容易实现,意态的隐性特征认知难度较大,但实际的事件预测十分需要。例如,同样是购买一把菜刀,如果是一个主妇,可能是用于家庭的厨房餐饮;但若是有前科的人,则需要预警;—又如,一个人长时间在某个地方徘徊,像态是徘徊,但意态可能预示可能的事件。

  大数据时代,如何处理从各个数据源收集来的信息,如何对不同地点、不同媒体、不同时间、以及不同清晰度、不同粒度的信息进行综合利用,包括对信息的真伪进行鉴定;都是从未完成过的挑战。显性信息关联,主要体现在目标表观信息的关联上,如目标类型,目标属性,目标状态,目标时空点;隐性信息关联。主要体现在逻辑关系信息的关联上—“蝴蝶效应”,亚洲蝴蝶拍拍翅膀,将使美洲几个月后出现比狂风还厉害的龙卷风!

  人像态视识别,全面构建对人的像态、形态、神态、意态的深度识别。通过人像态视识别,实现对目标人的整体信息分析、完善的状态描述。1、2态,侧重“格物”,本意即为考察人这个事物; 3、4态,偏向“致知”,进而达到完善的识别和理解; 人像态视识别的目标就是“格物致知”。综上,通过人像态视识别,实现对目标人的整体信息分析、完善的状态描述。人脸识别系统包含人脸识别、年龄估计、性别识别等,新一代的具有智能的安全监控技术,可实现对人脸的检测、识别和分类;人像态视识别,全面构建对人的像态、形态、神态、意态的深度识别。通过人像态视识别,实现对目标人的整体信息分析、完善的状态描述。

  将人像态视识别与智能视频分析有机结合,运用于安防领域,无疑将提高公安安防工作的效率,为平安城市建设和公共安全保障提供精准和有效的信息技术手段,大数据背景下国家社会安全保障重大需求。

  智能视频监控caffe,yolo,theano都是现在相对常见的开源框架。Caffe(CaffeDeepLearningFramework)是一个清晰而高效的深度学习框架,其作者是博士毕业于UCBe...博文来自:深度学习 图像算法

  点此下载第一章1.典型的编译程序在逻辑功能上由哪几部分组成?答:编译程序主要由以下几个部分组成:词法分析、语法分析、语义分析、中间代码生成、中间代码优化、目标代码生成、错误处理、表格管理。2.实现编译...博文来自:@you的博客

  作者:万卫兵 等编著 出 版 社:上海交通大学出版社 出版时间:2010-1-1 本书系统介绍了智能视频监控中目标检测与识别的基本问题及其相关处理技术。主要内容包括智能视频监控的理论、算法和典型应用实例。包括计算机视觉基本理论、运动目...

  硕士论文:本论文从发现光照恒常性规律的角度入手,对几种补偿光照、或改善光照的传统方法进行了讨论,并提出了一种基于小波的可变光照改善方法。实验结果证明了此种方法的有效性,并可以推广到实际的应用系统中,提高系统鲁棒性和适 应性。

  本文分别对人脸检测 人脸识别以及人脸表情识别技术展开相关研究 分析 了当前各技术的发展状况 然后针对每种技术都提供了一种切实可行的实现方 法 在人脸检测方面 本文通过基于肤色检测和 Adaboost 算法的融合 完成了一个具有较高的实时性...

  本书在《网络视频监控技术与应用》一书的基础上,重点增加智能视频监控技术和应用的研究成果。由于智能视频监控应用目前尚处于发展初期,整体技术框架尚处于搭建的阶段,本书吸纳业内先进技术成果及思想的基础上,通过全面的实验和研究进行归纳总结,对智能...

  本书的主要内容:模型预测控制基础理论,复杂系统模糊预测控制,基于人工神经网络的智能预测控制,非线性预测控制,新型预测控制(预测函数控制、多速率采样和多模型切换预测控制等基本理论、应用机理和实例仿真等)及智能预测控制的应用研究。

  人工智能是在计算机科学、控制论、信息论、心理学、语言学等多种学科相互渗透的基础发展起来的一门新兴边缘学科,主要研究用用机器(主要是计算机)来模仿和实现人类的智能行为,经过几十年的发展,人工智能应用在不少领域得到发展,在我们的日常生活和学习...

  该课程是清华大学的精品课程,面向对象与可视化程序设计,主要内容是在学习了C/C++程序设计语言基础上,进一步学会使用 Visual C++ 6.0 的编程。

  本周周二,即5月15日,第二届世界智能大会天津正式召开,本届世界智能大会将以“智能时代:新进展、新趋势、新举措”为主题,坚持“高起点、入主流、国际化、有特色”目标,持续打造智能科技领域最有权威、最有品...

  操 作 指 南 一. 对于没有USB摄像头的用户。 把要进行人脸检测的BMP,或JPG图像文件放在一个目录下。 启动软件后,在第一步处输入目录名如: D:\image 然后点按钮 即可。 二. 对于已接...

  在视频监控中,被监控的场景包含了很丰富的信息,比如地形、地貌等几何或物理属性,这些信息可以有效地辅助视频分析任务。本次直播介绍一些方法,把这些额外信息与目标检测跟踪技术相结合,实现场景自适应的目标检测与跟踪。

  Gilbert Strang教授的《线性代数及其应用》,在网上找了个完整的,但是没有书签,我给它加上了书签之后共享出来

  本文研究了智能视频监控中的目标提取、视频稳像和目标的自动跟踪技术, 研究了DM642 DSP的代码优化方法,将算法在DSP上的实现,构建了一个以DSP 为核心硬件平台,鲁棒实时的智能视频入侵检测监控系统。

  这是我从中国优秀硕士学位论文全文数据库下载的优秀硕士学位论文《面向交通的智能视频监控系统研究与应用》,如果文件格式为*.kdh或者*.nh,请到中国知网下载阅读阅读器CAJViewer, 网址为

  本书采用读者容易理解的体系和叙述方法,深入浅出,循序渐进地帮助读者把握智能Agent技术的主要内容,富有启发性。本书既可作为计算机科学技术学科、电子信息学科以及网络与通信专业的大学高年级学生、硕士及博士研究生的教材,同样对从事分布式计算、...

  当今的智能科技分支林立,蓬勃兴旺,在国内外已获得了飞速发展,诸如模糊逻辑、遗传算法、神经网络、专家系统、仿人智能、粗糙集理论、物元可拓方法、知识工程、模式识别、定性控制、小波分析、分形几何、混沌控制、数据融合技术等等,真可谓是八仙过海,各...

  张学良、刘丽琴编著的《智能优化算法及其在机械工程中的应用》,结合了作者多年来在相关方面的科研和教学工作的积累,以较为通俗简练的语言详细地介绍了智能优化算法中的遗传算法、粒子群优化算法、差异演化算法、模拟植物生长算法和果蝇优化算法及其在机械...

  本人用VS2017编辑C++代码,其中用到OPENCV4.0图像处理软件。在编辑界面包含的头文件显示出标识符都已声明完好(如图),但是在编译的时候就出错说是语法错误,错误的标识符Mat。这种明显的矛盾...

  截图大咖软件主要制作支付宝对话生成器,(微信对话记录生成器)(QQ对话记录生成器,QQ红包,财付通,红包记录等)(苹果手机来电装逼截图生成器)(支付宝对话,账单,转账记录模拟生成器)这是由截图大咖(梦想工作室)荣誉研发出品的一款绿色好用的...

  由于TSP(Traveling Salesman Problem)与众多网络优化问题在形式上有 一定的相似性,所以研究遗传算法在TSP问题中的应用对后续问题的展开 有一定的指导意义。

  清华的经典版本 王凌 本书系统地叙述模拟退火算法、遗传算法、禁忌搜索、神经网络优化算法、混饨优化、混合优化策略等智能优化算法的基本理论和实现技术以及最新进展和应用

  很好的一本群智能优化算法的教程,从算法的思想,理论证明分析,到实际的应用讲解的很详细

  探讨分析了智能控制的发展历史,与现在状况,着重分析了现代社会智能控制发展的两个领域,朱茵什么时候结的婚?老公是谁?,智能机器与智能空间

  本书是融合了作者编写的《Wireshark网络分析的艺术》和《Wireshark网络分析就这么简单》中的重要内容,并新增了一些Wireshark的实战技巧。 Wireshark是当前最流行的网络包分析工具。它上手简单,无需培训就可入门,很...

  毕业设计谈论关于大四准备毕业设计等等要求及要做的事情 希望能帮到大四学生

  第一次发帖。清华大学谭浩强教授的C++教程。内涵ppt课件和程序代码。

  SphinX(斯芬克斯) HFR是一款联想自主研发的人像识别软件。取意于希腊神话中的守护神。 作为联想创新科技的一项成果,运用人工智能领域内先进的人像识别技术,将带给您前所未有的使用体验。 此软件已经破解 适用于任何电脑,当然,这要你有...

  Drive.ai驾驶日记:有一天,我们让一辆无人车连续行驶了24小时……阅读数

  luopeng12345:博主您好,小白才接触这里,想问个问题: 1、图中不同颜色的点聚集在一起表示什么? 2、比如采用您的算法将我提取的68张人脸照片的128维数据作为data输入,然后随着我把数据从(128,68)增加到(128,100)点的颜色也增加了,这说明找到了更多的主成分吗? 3、相同颜色的点没有集中聚集就说明 降维效果不好吗? 希望能得到博主的回复,最好的祝愿送给博主!