嵌入式人脸识别技术

新闻资讯news information

热门关键词

联系我们

公司名称:

成都西亚深图智能科技有限公司

联系电话:028-87560601

公司邮箱:

xyst_deeprec@163.com

公司地址:

四川省成都市高新西区新业路4号

汇都总部园二期1-3-4

深圳办事处::深圳市龙华区民治

街道白石龙华富锦大厦512

电话:代经理 13632664173

公司网址:

www.deepgraph.cn


[深度学习概念]·人脸识别MTCNN解析

您的当前位置: 首 页 >> 新闻资讯 >> 行业新闻

[深度学习概念]·人脸识别MTCNN解析

发布日期:2020-09-25 作者: 点击:

人脸识别MTCNN解析

源代码,效果相当不错(只有测试代码): https://kpzhang93.github.io/MTCNN_face_detection_alignment/index.html?from=timeline&isappinstalled=1

一位同学实现的MTCNN基于MXNET的训练代码,工作比较完整,参考价值比较大: https://github.com/Seanlinx/mtcnn

———————————— Pipeline————————————


嵌入式人脸识别.jpg


上面是该方法的流程图,可以看出也是三阶级联,和我之前的一篇博文CascadeCNN很像。

stage1: 在构建图像金字塔的基础上,利用fully convolutional network来进行检测,同时利用boundingbox regression 和 NMS来进行修正。(注意:这里的全卷积网络与R-CNN里面带反卷积的网络是不一样的,这里只是指只有卷积层,可以接受任意尺寸的输入,靠网络stride来自动完成滑窗)

stage2: 将通过stage1的所有窗口输入作进一步判断,同时也要做boundingbox regression 和 NMS。

stage3: 和stage2相似,只不过增加了更强的约束:5个人脸关键点。

———————————— Network ————————————

Stage1: Proposal Net



Stage2: Refine Net



Stage3: Output Net由上可以看出,其网络结构较CascadeCNN略深但每层参数较少,所以该方法性能较好同时速度和CascadeCNN也相差无几。

补充:

(1) 文中训练使用了Online Hard sample mining策略,即在一个batch中只选择loss占前70%的样本进行BP;

(2) 不同阶段,classifier、boundingbox regression 和 landmarks detection在计算Loss时的权重是不一样的;

(3) 训练数据共4类,比例3:1:1:2,分别是negative,IOU<0.3; positive,IOU>0.65; part face,0.4

———————————— Result ————————————

在FDDB上的表现:



速度表现,CPU约15FPS



该MTCNN算法出自深圳先进技术研究院,乔宇老师组,是今年2016的ECCV。(至少我知道的今年已经一篇cvpr,一篇eccv了)。

进入正题

理论基础:



正如上图所示,该MTCNN由3个网络结构组成(P-Net,R-Net,O-Net)。

Proposal Network (P-Net):该网络结构主要获得了人脸区域的候选窗口和边界框的回归向量。并用该边界框做回归,对候选窗口进行校准,然后通过非极大值抑制(NMS)来合并高度重叠的候选框。

Refine Network (R-Net):该网络结构还是通过边界框回归和NMS来去掉那些false-positive区域。

只是由于该网络结构和P-Net网络结构有差异,多了一个全连接层,所以会取得更好的抑制false-positive的作用。

Output Network (O-Net):该层比R-Net层又多了一层卷基层,所以处理的结果会更加精细。作用和R-Net层作用一样。但是该层对人脸区域进行了更多的监督,同时还会输出5个地标(landmark)。

详细的网络结构如下图所示:



prototxt的更加详细的网络结构如下:分别为det1,det2,det3。

det1.prototxt结构:



det2.prototxt结构:



det3.prototxt结构:



训练:

MTCNN特征描述子主要包含3个部分,人脸/非人脸分类器,边界框回归,地标定位。

人脸分类:



上式为人脸分类的交叉熵损失函数,其中,pi为是人脸的概率,yidet为背景的真实标签。

边界框回归:



上式为通过欧氏距离计算的回归损失。其中,带尖的y为通过网络预测得到,不带尖的y为实际的真实的背景坐标。其中,y为一个(左上角x,左上角y,长,宽)组成的四元组。

地标定位:



和边界回归一样,还是计算网络预测的地标位置和实际真实地标的欧式距离,并最小化该距离。其中,,带尖的y为通过网络预测得到,不带尖的y为实际的真实的地标坐标。由于一共5个点,每个点2个坐标,所以,y属于十元组。

多个输入源的训练:



整个的训练学习过程就是最小化上面的这个函数,其中,N为训练样本数量,aj表示任务的重要性,bj为样本标签,Lj为上面的损失函数。

在训练过程中,为了取得更好的效果,作者每次只后向传播前70%样本的梯度,这样来保证传递的都是有效的数字。有点类似latent SVM,只是作者在实现上更加体现了深度学习的端到端。

在训练过程中,y尖和y的交并集IoU(Intersection-over-Union)比例:

0-0.3:非人脸

0.65-1.00:人脸

0.4-0.65:Part人脸

0.3-0.4:地标

训练样本的比例,负样本:正样本:part样本:地标=3:1:1:2

安装步骤:

caffe-windows的安装:

http://blog.csdn.net/qq_14845119/article/details/52415090

Pdollartoolbox的安装:

Pdollartoolbox由UCSD的Piotr Dollar编写,侧重物体识别(Object Recognition)检测相关的特征提取和分类算法。这个工具箱属于专而精的类型,主要就是Dollar的几篇物体检测的论文的相关算法,如果做物体识别相关的研究,应该是很好用的。同时它的图像操作或矩阵操作函数也可以作为Matlab图像处理工具箱的补充,功能主要包括几个模块: * channels模块,图像特征提取,包括HOG等,Dollar的研究工作提出了一种Channel Feature的特征[2],因此这个channels主要包括了提取这一特征需要的一些基本算法梯度、卷及等基本算法

* classify模块,一些快速的分类相关算法,包括random ferns, RBF functions, PCA等 * detector模块,与Channel Feature特征对应的检测算法1 * filters模块,一些常规的图像滤波器 * images模块,一些常规的图像、视频操作,有一些很实用的函数 * matlab模块,一些常规的Matlab函数,包括矩阵计算、显示、变量操作等,很实用 * videos模块,一些常规的视频操作函数等

下载链接:https://github.com/pdollar/toolbox

下载到Toolbox后,将其解压到任意目录下,如E:MATLABMATLAB Production Servertoolbox

在Matlab命令行中输入

addpath(genpath(‘toolbox-masterROOT’));savepath;

将解压目录加入Matlab路径。其中toolbox-masterROOT为解压目录路径,如解压到E: MATLABMATLAB Production Servertoolbox时,则命令为 addpath(genpath(‘E: MATLABMATLAB ProductionServertoolbox’)); savepath;

这样Piotr’s Image & VideoMatlab Toolbox就安装好了。

path里面加入caffe的库目录,例如本人的path加入如下的路径



打开demo.m,修改其中的caffe_path,pdollar_toolbox_path,caffe_model_path

。同时由于本人电脑没有GPU,因此对其做如下修改。



实验结果:

运行时间1.2S,按照检测出18个脸算,平均一个66MS,运行版本为release版本。从实验结果来看,不管是检测还是对齐都是空前的好。以我的经验来看,face++的对齐是最好的,剩下的开源的里面这篇MTCNN算是最好的了,然后才是SDM。



从下面的作者在FDDB+WIDERFACE+AFLW上验证的正确性来看,基本95%的准确度。可见该MTCNN的性能和效率都是很给力的。



从实验结果可以看出,上图的第二行的第二个对齐的出了问题,因此,本人对其程序进行了微小改动,实际运行效果如下图,时间和效果上都有了提升。



下载链接:http://download.csdn.net/detail/qq_14845119/9653138

组后感谢公司大牛的帮忙,C语言版本终于改出来了。老实说,真心不容易,走了好多坑。贴个效果图,纪念那些苦了笑了的时光。




本文网址:http://www.deepgraph.cn/news/469.html

相关标签:嵌入式人脸识别

最近浏览: