作者：盛瀚 北京银行

1.概述

随着科技创新，智能AI技术在金融各行业的应用得到不断推广。目前很多金融机构都已实现1:1的静态人脸识别。但随着市场竞争的需求变化，“围绕客户，服务客户，提升核心竞争力”成为金融机构服务客户的主要诉求，传统的识别技术已经无法满足业务分级管理的需要。

通过智能AI技术的推广，能够满足网点客户的信息推送、VIP刷脸取号和服务精准营销等业务场景，同时实现金融机构内部系统联动，通过数据分析，提供更强的系统决策力、洞察发现力和流程优化能力。

2.智能AI识别系统架构

图 1 智能AI识别系统架构

整体系统各层模块：

管理平台（核心层）：集成多种系统管理功能，如：生物引擎的管理、认证策略的管理、平台管理等。其中，平台门户管理包括面向用户的自服务门户，面向管理员的运营管理门户，以及面向运维人员的运维管理门户 。功能包括包含用户管理、报表查询、参数管理等等。

负载均衡：使用负载均衡接入多个前端调度单元，确保系统服务的高可用性。

生物算法认证层：提供比对计算服务，1：1比对服务和1：N比对服务等。

数据存储层：对平台数据、人脸识别人脸库等结构化或非结构化数据进行存储以及读取。

3.系统核心功能模块

3.1.识别对比模块

生物识别包括了人脸识别、指纹/指静脉识别、声纹识别、虹膜识别、OCR识别和其他扩展识别技术等。

⏹人脸识别

将检测到的人脸与管理平台特征库中的人脸进行比对，平台通过得到的置信度分数和阈值，来判断是否为同一人脸。

由于静态人脸识别是获取现场采样的人脸照片送到后端进行比对判断，所获照片质量影响着最终的比对结果，因此所有静态人脸识别模块的客户端都包含照片质量检测模块。除此共同点外，不同静态场景的前端会根据不同场景特点使用各不相同的解决方案。

（1）抓拍设备场景

通过抓拍机根据设置抓取1-3张最好的好人脸送到后台服务器上，后台服务器抽取特征值进行运算比对。

（2）自助设备场景

通过对比对用户进行活体验证，以防止人脸识别模块在无人监督的情况下被照片、视频、面具等手段攻击。同时又需要减少活体验证过程的客户操作复杂度，缩短验证时间，提高用户体验。

（3）移动端场景

该场景同样需要活体检测，鉴于移动端实际情况，依然需要用户完成一定动作，从而使用通用设备完成活体验证。大致流程如下：

① 通过客户端拍摄用户身份证照片，通过OCR识别用户身份证信息；

② 确认信息无误后，进行活体检测；

③ 在活体检测的过程中，通过质量检测获取取出一张效果最符合人脸比对要求的图片；

④ 将取得的现场照片和身份证照片进行比对；

⑤ 如果存在之前办理业务时的照片，则与之前办理业务时的照片进行交叉比对。

图 2 人脸识别验证

其中活体检测采用30帧/秒的高帧率检测和追踪脸部关键点及3D姿态等关键技术，通过左右摇头、上下摇头、闭眼、双目活动和张嘴等方式通过手机H5、PC端进行验证。

⏹指纹/指静脉识别

基于指纹识别技术的广泛使用，该生物技术已趋于成熟阶段，并且多数厂商指纹仪提取的指纹特征均具备国家标准。指静脉是每个人具备的生物特征，而每个人的每根手指的手指静脉图像都不相同，所以，指静脉识别就是通过指静脉识别仪获取个人手指静脉分布图，依据比对算法提取特征值进行识别比对，可作为指纹的一种补充，可增强识别率与安全性。

⏹声纹识别

声纹识别就是通过获取的声音信息，来辨别说话人的身份，主要包括声纹预留、声纹注册、声纹比对三个过程。声纹预留指的是客户端向服务端按照要求上传语音，服务端对语音进行处理，生成并保存声纹信息的过程。声纹预留主要分为获取文本、上传语音和预留操作三个事务。

⏹虹膜识别

虹膜识别技术是通过比对不同虹膜图像特征之间的相似度来进行的，其核心步骤是使用图像处理方法对眼睛虹膜纹理特征进行分析、提取，分类、归一化抽象描述，最终将纹理特征抽象成虹膜特征模板，通过模板的比对匹配，来确定身份。

⏹OCR识别

OCR识别就是将图像转化为文字的技术，提供OCR识别技术标准SDK，识别服务包括身份证OCR识别、银行卡OCR识别、还有驾驶证、社保卡、行驶证、营业执照、的OCR识别等。

⏹其他扩展识别

手势识别：检测并返回图片或视频中的所有手部矩形框位置，以及手势的含义。每个手势都提供高精度的置信度分数，从而评估手势识别的可信度，比如常见的“OK”、“比心”、“胜利”、“握拳”等。通过手势识别技术，能够更全面了解用户的行为信息，提供基于普通摄像头的全新体感交互体验。

视线跟踪：对图片中的人眼视线方向进行估计，计算并返回高精度的双眼眼球中心位置坐标，以及双眼视线方向向量。在视频中可以实现对人眼视线的实时追踪。通过此功能及时了解用户注意力的重点及变化，从而完成一系列基于注意力分析的复杂任务，例如广告精准投放等。

3.2.数据采集分析模块

数据采集主要用来收集用户感兴趣的数据，并存入数据库（结构化数据）或者分布式存储（非结构化数据）中，以作为数据分析时的数据源。采集的对象包括请求信息、日志信息等。有目的的收集数据，是确保数据分析过程有效的基础。针对金融业务收集的数据包括可信任采样和目标采样图片、活体检测数据、人脸比对数据、用户活动日志、业务标志信息等，根据数据的重要程度定义存储期限。

数据分析主要是将采集来的数据做和业务相关的分析，例如数据统计并生成报表、认证失败信息收集并分析原因以及提供告警，如某时间段内某网点、设备、用户连续验证失败，靠近阈值的认证业务收集并可以考虑将其转接人工服务，用户在平台内活动日志收集以完成留痕处理并以此类数据分析用户行为等。诸如此类的数据收集和分析，不仅可以改善平台的安全性，还可以大大提升用户使用此平台的用户体验。

3.3.移动设备展示模块

当有VIP客户今天营业厅抓拍机捕获送后台识别系统比对成功送，推送到pad端未接待界面。如比对成功推送到pad上的客户信息，大堂经理还未接待超时，自动转到未处理列表。同时，针对客户信息，可提供资产详情查询。

4.场景实例

4.1.客户智能识别

动态人脸识别系统部署上线后，金融机构的客户识别和服务能力将实现质的提升。

以银行为例，在VIP客户走进银行网点的第一时间，网点动态人脸识别系统须通过架设的摄像机采集客户人脸信息，通过中后台对接系统的处理和比对，识别出该客户是否为银行的VIP客户，并获取该客户的相关业务信息，例如客户的客户等级、归属客户经理、在该行资产、投资风险占比（客户近十次的投资交易及相应风险级别）等相关信息。

网点摄像头采集人脸图像时，将依据采集到的图像中的不同人脸信息，将图像整体或裁切后生成每一个客户的人脸识别计算图像，传递至总行人脸识别系统进行人脸特征码计算，计算所得的人脸特征码于人脸库中的特征码数据进行比对，比对成功的即认为找到了相符的客户。

人脸识别成功后，人脸识别系统将推送客户信息至大堂经理的手持Pad，并对通过Pad上应用对大堂经理进行通知提醒，通过大零售平台对理财经理进行信息推送，以便让网点工作人员第一时间了解到VIP客户的信息，及时为VIP客户进行服务。在客户前往柜台进行业务办理时，还将根据客户的叫号信息推送客户信息至柜台。

人脸识别系统的上线，能够在银行实现统一的VIP客户识别，并将客户信息发送至任一服务网点，实现VIP客户在银行全网点的VIP服务能力，为客户营造统一、标准、无差异的VIP服务体验。

4.2.网点排队叫号

人脸识别系统接入的摄像设备也将部署在网点的排队叫号设备上，配合完成银行访问客户的排序和叫号。

访问银行的客户，在网点领取排队号码时，排队叫号机上摄像设备采集客户人脸图像，而后将图像传送到人脸识别系统进行识别，系统识别过程应在1.5秒内完成。获得反馈的用户数据后，排队叫号系统将根据用户信息，以及用户所选择的业务，自动的为用户提供符合用户身份的排队号码。

4.3.移动服务营销

在大堂经理所持移动Pad设备上安装的银行大堂经理应用中，将增加与人脸识别系统相关的功能对接。

人脸识别系统识别到银行的VIP客户后，将自动根据VIP客户的身份信息和客户所属的大堂经理，向客户所属的大堂经理或当前网点的客户经理推送VIP客户访问网点的消息，并提示客户本次预计办理的业务类型。

大堂经理可在移动Pad设备上浏览目前已经在网点的客户信息及VIP客户，事先了解客户的背景情况、近期业务往来和可能需要办理的业务。在应用中，还将针对该VIP客户的情况，向大堂经理推送推荐的金融产品及服务，以便在于客户沟通交流中向客户做营销。

大堂经理也能够通过PAD向理财经理推送客户营销方向，在界面中支持点击选择选项和手工输入，例如：个人网银、手机银行、保证收益型理财、基金定投、国债预约等。理财经理的移动应用APP上应同步更新，展示大堂经理的推送信息。

4.4.零售运营分析

目前各家银行都在部署大数据系统，尤其是大零售业务系统，将AI识别系统嵌入到零售业务系统中，通过AI识别系统的VIP客户通知进行客户数据分析，根据客户信息及业务往来，在大零售业务系统上显示客户信息及可推荐的营销信息。

大零售业务系统根据VIP客户在银行近期的业务情况，推测客户需求、确定营销方向，为网点产能提升和精准化营销做支撑。

4.5.营业场所安全防控

利用AI识别系统对营业网点/自助银行人员布控、排查。通过建立黑名单方式，当系统抓拍、比对、检测到有异常人员出现，第一时间通知相关安保人员，进行现场安全防范。对于短时间频繁出现的人员（疑似作案之前的踩点行为），同样进行识别报警，进行可疑人员排查，增强案件防控能力。下载本文