Eyeris的情感识别AI技术:应用于丰田“Concept-爱i”等车型的自动驾驶系统

~TU Automotive Japan 2017~

2017/12/26

概要

ドライバー・モニタリング
驾驶员监控系统在切换至不同等级的自动驾驶时尤为重要。(资料:Eyeris)

  “TU Automotive Japan 2017”于2017年10月在东京举办。本报告将介绍此次大会上Eyeris的创始人兼CEO Modar Alaoui题为《面向自动驾驶车,能理解用户行为的AI技术 (Human Behavior Understanding AI Inside Autonomous & Highly Automated Vehicles (HAVs))》的演讲概要。

  Eyeris开发出利用深度学习技术的软件EmoVu,能识别人脸细微的表情,从而判断不同的感情,2013年发布。内置于驾驶员监控用摄像头内,大幅提高了HMI (Human machine interaction) 的性能。
(注) Eyeris并未采用一般的人机界面 (Human machine interface) 这一说法,而是采用了上述说法。

  EmoVu可以发挥作用的地方包括:

  1. SAE 2~4级自动驾驶中,需要自动驾驶与手动驾驶轮番上阵。从自动驾驶切换至手动驾驶时,需要确定驾驶员是否处于能够接手驾驶的状态。反之,手动驾驶过程中,如果系统判断驾驶员注意力分散,很难继续驾驶时,系统也会主动切换至自动驾驶。
  2. 提升高级自动驾驶车的车内服务:高级自动驾驶模式下,不再需要人工手动驾驶,因此乘员可以读书、工作、睡眠等,自由度过车内时间。Modar Alaoui表示,车辆将越来越大众化,因此,提高车内的生产效率、舒适性尤为重要。EmoVu在这方面将为把握乘员的情况、并在此基础上提高服务作贡献。

  EmoVu除了应用于“Toyota Concept-爱i”以外,还已经或计划为本田等多家整车厂的车型配套。丰田提出“MOBILITY TEAMMATE CONCEPT”的理念,计划通过人与车辆的协调,开发高级自动驾驶技术。为此,丰田计划构建高密度的HMI,将EmoVu定位为重要的关键技术之一。


相关报告:
日本国内推进自动驾驶实证测试:Robot Shuttle计划在2019年投入使用 (2017年12月)
丰田的自动驾驶 (上):开发ADAS升级版与完全自动驾驶2种系统 (2017年2月)
丰田的自动驾驶 (下):挑战“1兆英里的可靠度” (2017年3月)

 

 



NHTSA:指出自动驾驶中驾驶员监控的重要性

  Modar Alaoui氏在演讲的开头介绍了NHTSA (美国国家公路交通安全管理局,National Highway Traffic Safety Administration) 的见解。NHTSA在2016年9月发布自动驾驶技术指南“Federal Automated Vehicle Policy”。2017年9月又发布了第2个相关文件“Automated driving systems 2.0”。

  其中指出,理解驾驶员与车辆的相互作用,以及相关HMI (Human machine interface) 在车辆的设计过程中起到非常重要的作用。而随着自动驾驶技术的应用,其复杂程度将越来越高。

  HMI在2~4级自动驾驶中,在不同等级之间切换时尤为重要。尤其是在3级 (Conditional Automation) 的自动驾驶中,可以将驾驶交给系统进行,驾驶员无需始终监控驾驶情况。但是,当系统遇到程序设定以外的道路情况、天气和新标志时,就无法自动驾驶,系统要求驾驶员进行手动驾驶时,驾驶员就需要作好能随时接手的准备。

  另一方面,3级自动驾驶中,从系统提出要求,到实际接手驾驶需要时间作出反应,但是驾驶员很难始终保持注意力以便随时恢复驾驶。因此,NHTSA向开发和生产自动驾驶车的整车厂提出,要求采用驾驶员监控系统,从而判断驾驶员是否处于能恢复驾驶的充分清醒状态。预计近期将正式实施相关法规。

  进一步升级的自动驾驶系统中,如果系统判断手动驾驶中驾驶员由于瞌睡或注意力散漫等,处于很难恢复驾驶的状态时,系统就会根据自己的判断,切换至自动驾驶。

ドライバー・モニタリング ドライバー・モニタリング
驾驶员监控在2~4级 (左图) 之间,切换至不同等级的自动驾驶时,显得尤为重要。(资料:Eyeris)

 

 



EmoVu:识别人类感情的软件

  Eyeris开发出能够读取人类脸部细微表情、识别感情的软件EmoVu。安装在仪表板上内置EmoVu软件的小型摄像头对驾驶员的脸部进行扫描,识别当时的感情和精神状态。

  Eyeris收集了300多万个驾驶中的脸部数据。数据涉及5种主要人种、广泛年龄层、不同性别、10种照明条件、13种头部位置和姿势、各类摄像头和架构 (安装位置、像素等)。还包括眼镜、帽子、墨镜的有无等。如果在用智能手机对话时,有时也会无法看到全脸。Eyeris根据这些数据,利用深度学习,开发出EmoVu。

  人的“感情”从出生开始就储存在大脑中,在本人意识到之前就会反映在表情中。研究结果表明,感情是不分年龄、性別和人种等普遍存在的东西。因此,可以从脸部细微的表情获得驾驶员感情和行为方面的诸多信息。EmoVu将人类的感情分为“喜悦”、“惊讶”、“悲伤”、“中立”、“生气”、“厌恶”和“害怕”。

  除了脸部表情以外,系统还会监控头部位置和姿势、动作、眼睛状态 (眼睛的张开程度、视线方向、睡意、眨眼) 等,判断驾驶员是否能够很好地识别周围环境。还将频繁的眨眼表示有睡意,哈欠表示疲劳等信号编入程序。据悉,这实现了以往所没有的准确判断。

  此外,在判断驾驶员的状态之后,最后重要的是:1)Driver Inattention (驾驶员的不注意、不关心)、2)Cognitive Awareness (处于能够识别和判断情况的状态)、3)Emotional Distraction (情绪上的混乱和不安、以及引起的注意力散漫) 这3方面。虽然人类可以自然地感知这些情况,但是以往对计算机来说都是非常困难的问题。

ディープラーニングのイメージ 運転中の顔の表情を300万件以上収集 顔の表情に、頭の位置・姿勢、目の状態などを加えて判定
深度学习的图示 收集了300多万个驾驶中的脸部数据 除了脸部表情,还增加了头部位置和姿势、眼睛状态等进行判断

资料:Eyeris

EmoVu安装至现有的摄像头等设备中

  EmoVu的设计前提是能够安装到用户的设备中。将所需的处理功率最小化,兼容设备搭载的几乎所有MCU (Micro Controller Unit) 、 SoC (System-on-a-chip)、 DSP (Digital Signal Processor)等类型。兼容所有摄像头类型。

  Eyeris是只提供软件的企业,短期内成功为多家整车厂和一级供应商供货的主要原因之一是,能够灵活地兼容用户的现有设备和系统。此外,还能根据不同用户的不同用途、以及使用环境定制产品。

  不断提高软件的性能是非常重要的,EmoVu也通过日常的处理学习并进行自我提升。据悉,还计划通过OTA进行升级。

数据不发送至云端,而是在配套的设备中进行本地化处理

  EmoVu的数据处理不发送至云端,而是在配套的设备中进行本地化处理,因为处理速度是很重要的因素。例如,判断驾驶员的状态后,从手动驾驶切换至自动驾驶时 (或者相反的情况下),要求能瞬间作出判断,因此没有时间发送至云端。因而,EmoVu将处理的信号缩减至本地所能够处理的必需最小量。

 

 



提高高级自动驾驶车的车内“安全”、“生产效率”和“舒适性”

  调查结果显示,如实现高级自动驾驶,驾驶员将不再需要驾驶,驾驶员度过车内时间的方式将有很大变化,比如进餐、工作、打电话、睡眠等。Eyeris目前正在开发的软件,除了脸部表情以外,还能对身体骨架的动作进行分析,判断乘员正在进行的活动。

  Modar Alaoui表示,无论是自动驾驶还是手动驾驶,车辆都越来越大众化,如何让车内时间更有效、更舒适地度过,向乘员提供的服务很重要。关键在于,从“Driver monitoring”转移至“Occupants monitoring”。

  目标是实现 1) Safety (安全)、2)Productivity (使车内成为具有高生产效率的空间)、3)Comfort (舒适性) 这三个方面。原先不存在车厢内摄像头这种产品,通过内置AI软件的摄像头,将实现过去没有的对乘员的深度观察,以及相应服务的提升。如果与Entertainment/Infotainment相结合、设置多个摄像头的话,还能用于看管车内儿童和婴幼儿。

(注) 此类功能称之为“Ambient intelligence (环境智能)”。目前,发达国家的物质资源十分丰富,相比物质本身的使用价值,带来的经验和体验显得更为重要。“Ambient intelligence”能敏锐地感受并理解人的存在,主动为人服务,无论用户是否意识到,都能为人们实现安全、放心和舒适的生活作出努力。
 EmoVu除了车载用途,还计划广泛应用至智能家居、向家庭和个人提供服务的机器人等。

高度自動運転車 高度自動運転車 高度自動運転車
高级自动驾驶车的车内示意图 乘员在高级自动驾驶车内的行为 计划在高级自动驾驶车内实现的目标

资料:Eyeris

 

 



丰田对自动驾驶的思考:MOBILITY TEAMMATE CONCEPT

  “MOBILITY TEAMMATE CONCEPT” (左下图) 能够直观地表达丰田对自动驾驶的理念。该理念以实现人与车辆协调的自动驾驶技术为目标。

  丰田的上述方针还表现在对SAE 3级技术的开发方面。3级是指“自动驾驶系统在任何时候检测到需要移交驾驶操作时,驾驶员都必须马上恢复手动驾驶”。但是,一旦将驾驶任务交给系统,驾驶员很难在短时间内恢复手动驾驶,因此福特和沃尔沃等部分整车厂直接跳过3级的应用,宣布直接开发4~5级自动驾驶技术。

  丰田计划构建人与车辆的协调和信赖关系,实现3级自动驾驶技术,并在此基础上实现4级及完全自动驾驶。

自動運転に対するトヨタの考え方 自動運転技術開発のアプローチ
丰田对自动驾驶的理念 自动驾驶技术的开发路线图

资料:丰田

 

 



丰田Concept-爱i搭载具有深度学习功能的AI技术

  丰田在2017年1月的国际消费电子展上首次展出未来爱车“丰田Concept-爱i”,该概念车搭载具有深度学习功能的AI技术,还在10月的东京车展上发布了更具体的内容。应用东京车展展出内容中部分功能的车辆计划到2020年前后在日本的公路上进行路试。

  Concept-爱i的核心技术是根据驾驶员脸部表情与语调识别驾驶员感情的AI系统。为了读取脸部表情采用EmoVu。如果系统判断驾驶员过度紧张或不安,就会刺激驾驶员的视觉、触觉甚至嗅觉,在驾驶员感知到疲倦时,会发出警告,在驾驶员感到紧张时,会引导其进入放松状态。系统或替代驾驶员进行自动驾驶。

  丰田Concept-爱i秉承“more than a machine, a partner”的理念,能够理解驾驶员,作为不可替代的伙伴一同成长,并成为新时代的“爱车”。

Toyota Concept-愛i Concept-愛iのコア技術
丰田 Concept-爱i (2017年东京车展) Concept-爱i的核心技术―深度学习技术 (丰田宣传资料)


------------------
关键词
丰田Concept-爱i、Eyeris、EmoVu、感情识别、驾驶员监控

<全球汽车信息平台 MarkLines>