2017-11-18 08:12:15
一种多模活体检测方法和评估指标方法说明，在文末附上最近对RFID及人脸识别结合方法的一种考虑；

一、多模生物特征方法

1、最常见的几种生物识别方法：

• 指纹识别
• 虹膜识别
• 视网膜识别
• 面部识别
• 手掌几何学识别
• DNA识别
• 声音和签字识别

[1]包桂秋,林喜荣,苏晓生,周兆英. 基于人体生物特征的身份鉴别技术发展概况[J]. 清华大学学报(自然科学版),2001,(Z1):72-76.

2、可以考虑生物特征鉴定方法：

• 语音身份鉴别方法 根据发声的频率和声音信号的幅值
  语音识别方法有依赖特定文字识别和不依赖于特定文字识别两种。
• 静态生物特征身份鉴别
  通过人脸识别对人的身份进行识别是人们最常用的也是最基本的身份鉴别方法
  红外感应温度图身份鉴别方法
• 指纹身份鉴别方法
  人脸和指纹结合、人脸和语音结合等方向。传统的磁卡、 IC卡、密码等身份鉴别方法面临着严峻的考验。 磁卡、 IC卡容易丢失 ,也容易被不法分子盗用 ;密码容易忘记、也可能被解密。
• 脉搏、心跳验证方法

启发

如果为门禁的话，考虑从RFID的方面进行入手。

3、参考文献及参考内容

[2]程嘉奇,谢生,毛陆虹,陈力颖. 基于UHF RFID技术的无线脉搏血氧监测系统设计[J]. 传感器与微系统,2016,35(05):70-73.

对血氧进行检测，但是感觉对生物特征进行识别，没必要那么精确，借鉴其中的检测生理特征的方式即可。
使用UHF 半有源标签芯片 工作频段为 860 ～ 960 MHz

但是结构为接触式的，需要传感器直接接在手上(时间较长)，不符合门禁系统中快速便捷无接触的方案，暂时pass。

[3] 刘广伟,毛陆虹,谢生,孟庆斌,张庆荣. 一种光电反射式脉搏血氧监测方法[J]. 光电子.激光,2014,25(03):620-624.

刘广伟等人利用 2.4GHz ＲFID技术，开发出可收集患者体温和位置信息的生命体征定位系统，

可接触式的，暂时放弃。

[4] 郭京京. 基于ZIGBEE+RFID技术对搜救人员信息采集及传输的研究[J]. 中国集成电路,2013,22(08):43-45+84.

基于ZIGBEE与RFID 技术的无线自组织网络生命信息采集和传输系统

备注：ZigBee是基于IEEE802.15.4标准的低功耗局域网协议。根据国际标准规定，ZigBee技术是一种短距离、低功耗的无线通信技术。

思路来源：

采用无源待机、有源激活的方式，温度传感器、压电薄膜脉搏传感器和有害气体传感器的RFID
标签制成很小体积的芯片，然后做成轻便的腕式标签，无源模块用来接收激活信号，有源模块负责与读写器进行通信。

带来启发

设计一款手腕式RFID芯片与脉搏传感器相结合的方案检测是否为活体。

RFID使用无源RFID+脉搏传感器，在人进行刷脸验证时。进行多模进行验证，RFID读卡器主动识别人体身份，然后通过脉搏传感器进行数据采集，如采集通过，可发送至服务器进行活体验证比对。

方案可能存在问题

延时问题，不知道一次验证过程的时间是多少。

[5] 何芙蓉, 黄荣兵. 融合多生物特征的RFID智能身份识别系统设计[J]. 电脑知识与技术, 2014(19):4535-4537.

RFID技术和生物特征识别得到了快速发展，为进一步提高身份识别的精度和效率，该文介绍了一种融合RFID和多生物特征的身份认证系统模型。

方法介绍

整个系统的工作过程描述如下：当一个人准备通过访问控制系统时，他随身携带的 RFID卡首先会被扫描，ID信息首先进行入系统暂存，同时他还需要按指纹，另外视频头拍摄到他的人脸图像将同时存储于系统，系统会对人脸和指纹提取特征并进行融合，最后系统通过 RFID卡的信息和融合的特征信息进行身份验证。

评价

单纯的使用RFID系统与人脸识别设备、指纹识别设备综合的方法，然后将每种信息都传输至主机进行考量。

其中数据流程处理方式如下：

其中数据处理流程只交代是决策层融合的方式，并未详细交代，未提及实现方法，经查证如下

简称，将结果拿出来进行判断的规则：
存在两种规则，就是OR规则和AND规则。

• OR就是指 H1拒绝 ,子系统 H2 将对用户再进行一次验证 ,如果通过则确定为真实用户。
• AND就是指:在这种系统中用户只有同时被子系统H1和子系统 H2接受 ,方能够被确认为真用户。

[6] 徐新萍,赵鹏,王晓民,高亚兵,彭瑞云,王德文. 基于RFID技术的多模态生物特征识别系统设计[J]. 中国体视学与图像分析,2008,(03):188-192.
采用特征多特征融合的当时进行匹配

借鉴其中方法:

借鉴其中的过程与流程：

借鉴其中的决策判断方法(多模态生物特征信息的融合)

• 特征层的融合

  输入数据经过前端处理后对每种生物特征分别得到其特征描述向量；在进行处理特征的时候就进行决策判读是否可行。(融合效率高)。

• 匹配层的融合

  匹配层融合过程中重要方面之一是对不同系统得出的分数进行归一化。在进行归一化以后 ,不同系统得出的分数就被映射到一个 N维的空间 ,在这个空间里再对所有的点进行分类。
  (据描述实现比较容易)

• 决策层的融合
  不同的单个特征可以分别进行独立的处理 , 然后进行匹配得到匹配分数, 最后通过决策融合的过程 ,将多个匹配结果经过一定的融合算法进行综合 ,得到最终的结果。

[7] 王静然. 结合人脸识别和RFID卡的考生身份认证系统的研究[D].太原理工大学,2013.

提出复合认证技术（相当于多模生物认证技术）:通过RFID卡片、密码、指纹及人脸识别方式进行验证。

采用人脸识别和卡的双重身份验证技术，实现以下三个功能

• 具有摄像头和读写卡器，可以拍摄人脸图像和检测到RFID卡；
• 能够实时的处理图像、检测人脸以及是别人脸，并快速的给出识别结果；
• 能够和数据库进行数据交换、完成提取、保存信息的功能。

研究内容

研究了结合人脸识别和卡技术的考生身份认证系统，描述RFID技术和人脸识别技术的主要算法和实现；

RFID卡技术在系统中的应用；

在身份认证算法设计上，深入分析和研究了AdaBoost人脸检测算法，通过改进的PCA技术，克服光照对目标的影响。

最后实现内容

人脸检测采用AdaBoost算法进行检测，并在的OpenCV环境下实现了AdaBoost算法，人脸识别详细描述了基本的PCA算法，利用改进的奇异值分解融合PCA算法解决了识别过程中光照的影响及单样本的问题。
最终实现了RFID和人脸识别的考生验证系统
存在备注：简介人脸检测算法的基于特征方法和基于图像方法；
脸识别算法简介：
基于OPenCV的一种人脸检测方法AdaBoost算法

---

---

4、总结

结合人脸(背景检测)、RFID、视频体重、监控方法设计一种门禁考察方法。

方法思路：

考虑一种多模验证方式，尽量不使用接触式的传统指纹、掌纹等识别方式，考虑使用方式的话即将基于RFID技术的多模态生物特征识别系统设计思路之中进行扩展。

方案一

硬件方案

RFID感应(读写器、天线、主机及其它相关线材等)设备一套，RFID定制标签(手环+脉搏感应器)，定制人脸识别设备一套(包括检测人脸等)

安装准备

• 人脸识别设备安装于门禁外侧
• 门禁使用单门禁人脸+RFID验证方法
• RFID手环安置在员工手腕处

检测流程

• 进入门禁，通过RFID信息进行识别，并通过脉搏感应器将活体信息发至服务器；
• 服务器通过数目与RFID信息开启人脸检索RFID认证信息；
• 通过人脸识别检测与背景检测方法确认人脸门禁识别信息；
• 通过RFID+(预存)体重检测真实人信息(设置阈值，如上下范围在10kg)；

实现方案

信息来源：http://www.elecfans.com/wearable/465477_a.html

• RFID+脉搏等感应设备 (各类手环已经有应用，但是现在实现方法仅有了解)

  • PPG 光电容积脉搏波描记法原理

    简单来说，就是反射而已，利用血液中透光率的脉动变化，折算成电信号，通过软件算法转换，对应的就是心率。

  • 心电信号测量，类似ECG（心电图）

    点类似去医院做过的心电图，腕式手表就不需要那么多数据，仅仅心率就够了。

• RFID检测信息传输至服务器，只了解我们的的一套，检测信息传输到服务器，通过比对在数据库专门设计字段进行比对！
• 人脸识别流程刚清楚，活体检测自己的方法暂时未实现，但是如果真实现的话建议可以直接调取阿里或者百度的库！(但是需要自己建立人脸库等方式实现)
• 体重检测实现也不难(小米秤等已有实现，少接口数据及设备实验)
• 然后其余信息交互及验证方式及业务方面实现逻辑不再赘述(也不清楚细节实现)

存在疑惑

实现的话需要以下几点(至少)

• 简单使用融合方法的话创新点在什么地方，如何支撑起一片论文？；
• 方法等只需要综合描述？不需要细节实验？
• 如果需要实验的话，摊子铺的很大，做不出来的可能性很大；
• 建库，人脸数据库、体重库、RFID库；

方案二

硬件准备

RFID感应(读写器、天线、主机及其它相关线材等)设备一套，RFID定制标签(手环+脉搏感应器)，定制人脸识别设备一套(包括检测人脸等)；视频监控设备一套(用于检测其中人数及动态预警)

安装准备

• 人脸识别设备安装与门禁外侧
• 门禁使用双门验证方法
• 视频监控设备安装于AB双门之间
• RFID手环安置在员工手腕处
• RFID其余感应设备按照双门思路布置

检测流程

• 进入门禁，通过RFID信息进行识别，并通过脉搏感应器将活体信息发至服务器；
• 服务器通过数目与信息开启人脸比对，并通过人脸识别检测与背景检测方法确认认证识别信息；
• 检测成功，通过A门；
• 在AB双门中间时，AB门先同时关闭，检测人数，确认预警信息，并通过人数、体重信息再次识别；
• 检测人数、体重信息成功后，使用RFID门禁卡或者是人脸OR虹膜认证方式打开B门。

难点

• 除RFID部分我们有思路，其它部分暂时无法实现，只有想法；
• 范围太大，每一部分点都很多，没有想到好的思路细化；
• 感觉写专利尚可，但是在论文方面，没想到什么好的点进行实现；

思路扩展(可出专利)

可以基于多模生物特征进行防尾随问题检测
—- 体重防尾随 —人脸识别防尾随 —-人数检测防尾随

识别思路的话还是一样的，基于上下文检测的防尾随方法

使用设备

一台人脸识别设备，人脸识别设备双重验证，在其中验证门禁进入人数及是否有尾随人员的确认！
然后在刷脸结束后，考虑开门后，按照统计信息，进行人脸识别和比对！进行人脸识别和验证比对！

AB门设计思路，中间的摄像头进行人数统计的思路，并在中间加入地秤等检测体重，按照等级信息设置阈值进行体重人数检测！

把人脸识别和防尾随集合起来，在人脸识别中加入人数检测算法，在刷脸人数与实际检测人数相匹配，在保证人脸识别的识别成功率。

正好也可以结合背景检测算法进行人脸检测。其完善过程可以考虑使用人脸识别算法中的人数检测和。

采用这种设置方法的话思路讲解是一部分，难点在于多模中RFID双模检测方式的说明及不同角度检测人数目的方法及整个人脸检测的方法暂时都未实现。还有就是现场设施的布置实现方案实时性及可用效率。

没有一个专门精确的点，范围太大，

结果：可较有效保证和解决门禁问题中的防尾随问题

思路：

• 首先使用RFID与人脸识别系统对门禁进行单层验证；
• 其次，门禁如同枪械库使用双门进行验证，并在其双门中间安装摄像头；
• 最后，在中间使用摄像头与原人脸识别门禁库中进行比对，首先对人数与进门人数进行比对，
• 如果检测出人数目与实际人数不相符，则进行报警，实现其防尾随功能；

扩展

为通过人脸识别设备建立人脸库，如果有尾随状况，则调取监控摄像头，对人脸库进行比对，获取检测抓取非人脸库的人脸，进行动态预警。

有注释，讲网络上现在存在的人脸识别门禁方法

---

---

缺点分析：

• 如果已经建立人脸库的话，使用单纯的视频检测人脸即可以实现；
  所以，需要定义应用场景为精密物资管理的门禁系统下的防尾随设计。例如枪械库，银行门禁部门，由于高安全需求及国家安防的必须，必须要求双门多模进行管理。以枪械库为例，传统的多模方式使用指纹、字迹验证人员身份，然后由专管人员进行枪支、弹药等其他关键物资进行领取、操作。在此过程中，耗费人力、物力资源较大，对尾随问题无法有效解决，如果有危险状况的发生，只能通过调取录像的方式进行检测。已经不能满足实时及时监控、实时报警的需求，在此基础上，设计RFID+人脸识别+视频监控的方式进行防尾随跟踪验证！
• 人脸识别+RFID活体验证效率未知

二、人脸识别活体检测评价方法

[6] 徐新萍,赵鹏,王晓民,高亚兵,彭瑞云,王德文. 基于RFID技术的多模态生物特征识别系统设计[J]. 中国体视学与图像分析,2008,(03):188-192.

借鉴其中的决策判断方法(多模态生物特征信息的融合)

• 特征层的融合

  输入数据经过前端处理后对每种生物特征分别得到其特征描述向量；在进行处理特征的时候就进行决策判读是否可行。(融合效率高)。

• 匹配层的融合

  匹配层融合过程中重要方面之一是对不同系统得出的分数进行归一化。在进行归一化以后 ,不同系统得出的分数就被映射到一个 N维的空间 ,在这个空间里再对所有的点进行分类。
  (据描述实现比较容易)

• 决策层的融合
  不同的单个特征可以分别进行独立的处理 , 然后进行匹配得到匹配分数, 最后通过决策融合的过程 ,将多个匹配结果经过一定的融合算法进行综合 ,得到最终的结果。
  我们按照其选择应该是选取决策层融合的方案。

人脸识别和活体检测流程概述

传统的人脸识别流程：

有活体的人脸识别流程：

备注：图片来源于：[1]许晓. 基于深度学习的活体人脸检测算法研究[D].北京工业大学,2016.

结论：

• 从认证过程中来看，其是一个有先后顺序的过程，即先活体检测,再人脸相似度比对的过程。

问过搞图像识别的同学(李云师门)。

一般情况下流程需要训练的过程。 流程如下：

按照这一流程走

过程中，即一般情况下，可以将活体检测与流程处理放在一起进行处理，如活体检测、人脸识别，即相当于迭代器，从活体检测分类器(二分类法)获得的特征，送到人脸匹配分类器中进行下一步处理。

结论

应该是一种机器学习的过程进行选取，而非是简单的找数学模型公式

探寻三种方法(前两种自己摸索，后一种采用一点机器学习的方法，但是未找到多模的方式)

在流程处理过程中，假设我们从人脸中将活体检测分开，或者从多模生物特征进行选取的话，有一些公式可以进行参考，但是也存在着其局限性。

• 公式1：符号函数 当x>0，sign(x)=1;当x=0，sign(x)=0; 当x<0

  符号函数的话简单，无脑，但是这种同时需要加几种判断，换言之，直接可以用if else判断来替代！
      if (faceDection)
        if(aliveDetection>=90%)   //if(AliveDetection==true)
          if(FaceMatchSuccess)
            do others
  

评价：

使用此种方法的话，简单无脑粗暴，但是真的没有创新点，而且还是基于数据时整形的才行，如果是98.5%等比例的话现在考虑的方法只有加阈值判断进行分析，但是阈值现在只有手动去设置，不科学，不符合做研究的标准。

*如果需要去对这个阈值进行比较权威的获取的话，需要采取数据加入到机器学习中进行训练获取*
面临的问题有以下：
    * 没有数据源
    * 暂时没有合适的方法进行训练
    * 训练过程不熟悉
    * 训练结果准确度未知

• 公式2：p=λp₁+(1-λ)p₁ λ为其中的权重评价指标

  权重的话也是需要通过训练或者是其他方法去获取这个参数，这个参数如果不是自己定义的话，暂时了解到的方法只有通过大量的数据，然后通过监督学习的方式将其训练出来！
  同理，面对的问题和之前一致，就是将数据，方法找出来，然后通过某种方法(暂时了解到的就是通过机器学习方面训练的方法进行获取)
  

• 公式3： 机器学习准确率公式
  单指标的时候的准确率与召回率：http://www.cnblogs.com/bluepoint2009/archive/2012/09/18/precision-recall-f_measures.html

  !--快速理解博客：https://blog.argcv.com/articles/1036.c--

  准确率(accuracy),其定义是: 对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。也就是损失函数是0-1损失时测试数据集上的准确率。
  
  以人脸识别中活体检测为例的话：
  假设样本有总样本100个，活体有20个(正类)，非活体80个(负类)。
  现在抽取其中50个，检测出其中20个为活体，另外将其他30个非活体也检测出来，进行评估其标准。
  准确率：Accuracy=(50+20)/100=70%;(30个判断错误的剔除)
  
  定义正类(相关 TP)，负类(无关 FP)，被检索到(Retrieved FN)，未被检索到(TN)
  

	正类(相关 Relevant)	负类(无关 NonRelevant)
被检索到(Retrieved)	true positives(活体)	false positives(假冒)
未被检索到(Not Retrieved)	false negatives(活体检测为假冒)	true negatives(非活体检测为非活体)

	正类(相关 Relevant)	负类(无关 NonRelevant)
被检索到(Retrieved)	20(TP)	30(FP)
未被检索到(Not Retrieved)	0(FN)	50(TN)

在单一特征的时候，准确度和召回率：
其中精确率 P=TP/(TP+FP)=20/(20+30)=40% 得到结果中，正确的人(也就是活体)占有的比例
其中召回率 R=TP/(TP+FN)=20/(20+0)=100% 得到的活体占所有活体的比例

F1值就是精确值和召回率的调和均值
假设对准确率和召回率的比例相等，不设置比例因子的话：
F₁=2P*R/(P+R)=2TP/(2TP+FP+FN)
备注：F₁综合评价精确率和召回率。
如果对精确率和召回率要求较高的话，可以考虑设置参数β进行设置。
在我们活体检测中，就需要FN(精确率要高，同时召回率也要高)
此处暂时不加以详细讨论。

设计思路如下：

    if (faceDection)
        if(aliveDetection>=70%)   //通过活体检测的阈值，即可认为为活体
          if(FaceMatch>=70%)  //通过人脸检测的阈值，即可认为为活体
          do P、R、F1公式判断

如果考虑的话，需要从此方面去考虑更加深入和靠谱一点。

但是跟多的方法的话是考虑特征融合方面的知识，在这方面考虑的较少。

因为我们这个是一个完整的过程，一般会在分类器中加迭代的方式进行考虑，在这方面的考虑较少，如果真这样做的话，就是相当于在前面做一次机器学习特征选择的过程，后面再做一次机器学习，特征选择，分类器迭代的过程，感觉很冗余。

From:与李云师门的某人经验之谈

总结：这种方法似乎都需要对数学公式，找一种权值、或者是类似的参数进行判断，但是这类参数的获取的话又需要一个机器学习的过程进行，从数据获取–>数据训练方法–>实验训练数据–>获取结果，emmm，总而言之，感觉如果从这一套方法出的话，过程会比较漫长，一个月时间很难出东西出来！一年的话，估计也够呛！

难点及问题

• 数据采集上

  • 现在我们只有一台人脸识别设备，只能获取二值化数据(比对成功或者失败)，不能获取其验证的准确率，要数据的话，得从头开始我们自己找方法进行多模特征提取后再做验证。
  • 数据的话现在我了解的话得用监督学习的过程，自己给数据打标签，然后在对数据进行训练处理。(大致了解了下流程，可能是这样，针对一个人，我们需要采集的数据集方面，人脸信息、活体信息情况正确与否打上标签，进行训练的过程)

• 方法暂时未了解

  • 使用训练方法，之前我都到的几篇文章是SVM方法，那个是一种二分类法！而且是验证错误或者正确的方法。
  • 我们这边需要使用的方法暂时也没有
  • 启发3：物特征数据融合的研究主要集中在决策层上 ,不同的单个特征分别进行独立的处理，然后进行匹配，得到匹配分数，最后经过一定的融合算法综合得到结果。可采用的融合算法有许多种，如多数投票法、加法和乘法法则、K-NN分类器 、SVM、贝叶斯决策 、支持向量机 、决策树等。

• 工具未配齐
  emmm,算是深度学习或者是机器学习方面的框架流程吧，现在只是初步了解他们有在用python的pytorch框架和基于C++的caffe深度学习框架，我们自己暂时未定。

  • pytorch是一个python优先的深度学习框架，基于python的，是一个和tensorflow，Caffe，MXnet一样，非常底层的框架
  • caffe是一个清晰，可读性高，快速的深度学习框架 一个用C++编写的深度学习框架

• 对这方面的研究还需要深入

  • 需要从理论知识方面入手，而且初步感觉，图像和机器学习紧密相连，分不开。
  • 在深入方面的话，现在没基础，可以考虑从方法中直接使用稍微难一点的？
  • 而且有种感觉，现在我们做的这个范围，太大了，是不是需要从刚开始的图像识别开始，一步步的逐渐走下去，直接做检测结果方面的话，没有数据，没有经验，前面一无所知，操作起来困难比较大，如果要真做的话相当于要一个人把所有流程摸一遍，难度很大！

• 在时间方面和实力方面有点忧虑！

  • 时间点的话，想尽早吧论文搞定，按原计划的话，今年年底，按这种方法做的话难度有点大。时间方面，因为暂时无法规划去做，快速出论文的可能性不高！
  • 实例及积累方面暂时需要再加把劲，暂时积累太少！