基于汽车的多模式交互研究

随着车联网的各个方面越来越多地进入我们日常生活的许多方面，用户正在与汽车之间进行多模式互动。目前，在移动互联网的背景下，利用物联网与汽车智能化技术，多模式交互技术已经被识别和试验来适应汽车环境。

现在，基于语音的交互与视觉、触觉界面的交互较为引人注目，但它仅仅是我们在当今汽车中以多模式交互方式的一部分。事实上，汽车制造商正致力于研究多模式交互，从而满足人们对于汽车安全和科技感的追求。


多模式交互概念

多模式交互是为用户提供多种与系统交互的模式。多模式系统可以处理两种或多种组合用户输入模式，如文字、语音、视觉、动作、环境、触摸和多媒体系统输出协调一致的学习。

通过多种方式进行人机交互，充分模拟人与人之间的交互方式。这一交互方式复合机器人类产品的形态特点和用户期待，打破了传统PC式的键盘输入和智能手机的点触式交互模式。多种模式旨在共同工作，使互动更多直观和自然。



多模式交互分类

多模式交互大致可以分为3类。多模态输入的融合使用一种模式的优势来弥补其他设计时间和运行时间等缺点。

顺序多模式：意味着用户必须在交互模式之间切换，但不能一起使用模式。

同时多模式：允许用户一次使用多种模式与系统进行交互。例如：在路径查找器应用程序中，用户可以使用触摸在屏幕上的地图上指示两个位置，并说“显示从这里到这里的最快路线”。

输入/输出模式：多模式交互围绕具有某些模式，采用各种形式输入（视觉、触觉、语音），将它们无缝地组合在一起，处理并以一种或另一种输出模式（文本、音频、学习）给出反馈或输出。

车载多模式交互的必要性

减少驾驶员分心

分心驾驶是任何可能会将人的注意力从主要活动驾驶任务分离的行为。所有分心都会危及司机，乘客和旁观者的安全。这些分心的类型包括：

使用手机或智能手机，发短信
调整车内设施，如车窗
吃喝
与乘客交谈
梳理
阅读，包括地图
使用导航系统
观看视频
调整收音机，CD播放机或MP3播放器“
驾驶员疲劳驾驶
心情不佳，导致状态不加，容易分心走神

减少认知负荷

由于驾驶员对于很多功能理解欠缺。人的工作记忆的容量有限，一次只能存储5-9条基本信息。所以，在使用过程中一次只能处理2-3条信息，从而减少了一次处理的信息数。因此，急需有多模式交互系统做相关提醒和建议。比如说ADAS系统的应用。

△ADAS系统

车载多模式交互的应用和研发

尽管近年来多模式交互系统取得了重大进展，但在复杂的多模式交互成为普遍现象之前，还有许多工作要做。目前，汽车行业主要是在语音交互、HUD、触摸屏等方面的研究比较多。但是下一代人机交互（HCI）设计需要包含能力识别用户，在很多情况下，人机交互将更加注重情感交流和未来科技的研发。

在方向盘上结合语音和手势

通过使用语音识别功能，我们利用汽车中物体的可见性（例如镜像）以及简单访问等功能。使用手势进行操作，我们提供简单的控制，即时反馈并轻松撤消操作。

多模式情感智能界面设计

基于深度神经网络的机器人行为多模态综合学习，在每次驱动之前，使用屏幕校准注视矢量必须根据每个驾驶员的身高和位置进行验证。多模态情绪识别框架，结合了驾驶员的脑电波和眼球运动。开发智能车载系统，提供实时帮助或回顾性反馈以减轻基于驾驶员状态/行为以及交通的分心。

车载HUD原型手势识别界面

汽车内的各种信息娱乐设备的通知能够集中在一起，从而使驾驶员专注开车，而无需将注意力放在仪表盘和中控。移动通信和导航数据识别能够更好的获取道路交通情况。

全息技术的应用

全息技术在之前的文章里已经有所陈述，在这里就不一一介绍了。

多主体多通道交互模型

在进行基于汽车的交互设计与用户界面设计之前，有必要建立一个新的交互模型，即基于汽车的多主体多通道交互模型。

“Put That There”

put that there 是麻省理工学院建筑机器组实施的语音和手势互动系统。它允许用户在大型视频显示器上构建和修改图形数据库。这项研究的目标是与复杂的计算机交互的简单对话界面。

汽车安全注意事项

目前，电子安全是所有人关心的主要问题之一。黑客，反社会组织可能针对自动车辆和智能系统采取行动，从而导致交通问题和事故。因此，确保汽车收到的信息不侵犯个人隐私是首要责任。

车联网的技术发展给我们的研究提供了跨学科、跨领域的新可能性，在以汽车为中心的移动信息平台的框架下，多模式交互方式给今后的汽车设计又提出了新的挑战。