前文提及的实验只是高通在Zeroth上努力的一部分,随着实验的成功,实验成果最终被应用到消费级的移动终端当中,比如说Sense ID 3D指纹识别技术、Smart Protect、nubia Z11 30秒手持长曝光、NAUTO计算机视觉辅助驾驶系统。
Sense ID 3D指纹识别技术是高通在移动终端上最早宣传采用Zeroth的技术,在骁龙810处理器推出时诞生。在该技术出现之时,Android智能手机普遍采用的是电容式指纹识别解决方案,只能扫描指纹的2D投影。Sense ID 3D指纹识别技术是一个采用超声波的指纹识别技术,超声波优势在于可以穿透手指外层皮肤,捕捉指纹脊和汗毛孔特征,进而构成3D用户指纹图像,而且不怕手指湿水,也不怕秋冬季节皮肤干燥降低识别率,还可与玻璃、塑料、金属、蓝宝石玻璃等材质结合使用。不过3D指纹图像数据量远高于2D,要快速识别出正确指纹,必须依赖Zeroth的深度卷积神经网络与骁龙处理器异构运算能力。
在骁龙820发布时高通基于Zeroth再推新技术Smart Protect。智能手机与PC一样,时时刻刻面对恶意软件危险,Smart Protect正式为此而生的。恶意软件可以分为两大类,一类已认知的,一类是未被识别的,采用Zeroth的Smart Protect价值就在于通过监测软件实际、实时的应用行为,判断出其是否恶意软件并实施拦截,以及对现有基于签名的病毒库进行补充,此外还能根据严重程度分类检测恶意软件,给出怀疑原因。
无论是Sense ID 3D指纹识别技术,还是Smart Protect都是基于Zeroth的技术,可骁龙处理器应用Zeroth远不止这点,比如说nubia Z11上的30秒手持长曝光,或是一加多帧降噪拍摄都与Zeroth密切相关。nubia Z11是一款搭载骁龙820处理器的旗舰智能手机,在发布时努比亚亮相了30秒手持长曝光功能,允许用户以手持模式连续曝光30秒拍摄一张照片,无需脚架支持。
不过在nubia Z11拍摄长曝光照片时并非像相机CMOS传感器一样持续长曝光,而是CMOS传感器在30秒内不停拍摄,利用Zeroth技术剔除模糊照片,对清晰照片上景物进行识别、匹配,最后将30秒内拍摄的照片合成出一张长曝光照片。在之前有不少手机可长曝光拍摄,但必须建立在脚架下,可携带脚架压根不是正常手机用户拍摄手段,利用Zeroth实现的30秒手持长曝光真正开拓了手机摄影新领域。
在今年5月份高通发布了基于骁龙820处理器的“Snapdragon Neural Processing Engine”(高通骁龙神经处理引擎)深度学习SDK,这是Zeroth从高通独力支撑走向大规模应用的关键转节点。该SDK以骁龙820处理器为硬件基础,可实现普通深度学习用户体验包括场景侦测、文本识别、物体跟踪与避障、手势、人脸识别和自然语言处理;支持通用的深度学习模型框架,包括Caffe和CudaConvNet;支持众多领域,包括医疗、汽车、安全和图像等,从而能在移动终端上运行它们专有的已受训的神经网络模型。
在前文提及技术/功能均是以高通为核心自行开发、实践的,即使是30秒手持长曝光也不过是对原有技术利用开发新功能,Snapdragon Neural Processing Engine深度学习SDK出现让其它厂商能够利用Zeroth特性开发出一个全新的技术、全新的功能,第一个吃螃蟹的是刚进入ADAS(Advanced driver assistance systems,高级驾驶辅助系统)市场的初创公司Nauto。
GPS导航是今天驾车时常用功能,可GPS单工通讯,只能为汽车定位,无法为安全驾驶提供直接帮助,Nauto基于骁龙820处理器与Zeroth的计算机视觉辅助驾驶系统正要解决此问题。Nauto计算机视觉辅助驾驶系统以骁龙820处理器为核心,搭载了双摄像头、GPS、惯性传感器、WiFi、LTE网络,并将所有东西集成在一个放置在挡风玻璃后小盒子当中。在工作时,惯性传感器、GPS可测量车辆当前速度、加减速,160°至170°广角、4K分辨率负责捕捉车前画像,图像交由骁龙820处理,处理器利用Zeroth判断出画面哪些物体是道路、车辆,并计算车辆出与前方车辆距离、与道路的相对位置,在距离过近时发出警告,或是实现道路偏离警告等功能。
在Nauto计算机视觉辅助驾驶系统另一个摄像头是针对司机的红外摄像头,捕捉司机当前状态,利用Zeroth判断司机是否处于酒醉、受伤等不利于驾驶的状态,由于是红外摄像头在晚上也能正常工作,这就大大加强了行车安全了。ADAS不是Nauto独有产品,汽车市场上不少高端车型都具备该功能,比如说奔驰S级,采用骁龙820与Zeroth技术的Natuo计算机视觉辅助驾驶系统价值在于使用已有成熟技术,为广大消费者提供一个高性价比的ADAS解决方案。
如果说骁龙Rover、骁龙Cargo是高通Zeroth内部的试验,Sense ID 3D指纹识别技术、Smart Protect是Zeroth实用性应用的初试牛刀,那Snapdragon Neural Processing Engine深度学习SDK,与Nauto计算机视觉辅助驾驶系统的出现,一定是Zeroth转折点。Zeroth借助量产处理器骁龙820与SDK从智能手机走到更广阔的舞台,识别人脸只是起点,实现安全驾驶等造福人类的应用渠道才是其最终目标。