识别手势符：逾越点击的界面设计

手势符界面的复杂性和功能都在增加，拓展了游戏机、手机、工业系统等电子设备控制的新领域。

要 点

许多创新产品中手势符界面的根源可追溯到几十年前。
除了游戏和信息娱乐设备之外，手势符界面还应用于工业系统和医疗设备等领域。
促进手势符界面更加可靠、实用的技术，如对内容进行推断和预测等，用户并不很清楚。
界面的成功之处在于能否完美地处理用户面临的不确定性。
具有现代界面的设备必须考虑如何管理系统间的无线与网络连接，使这些系统对用户而言为同一系统。

最基本且最简单的手势符的指向动作，成为多数人与他人交流的有效途径，甚至在有语言障碍的情况下人们也可以相互交流。但如果谈话的对象或表达的概念不在视线之内，指向方式就无法进行交流。扩展手势符识别范围，使其不再局限于简单的指向动作，能大大增加人与人之间信息交流的渠道。手势符交流的方式自然而有效，因此早在婴儿能清晰说话之前，父母就倾向于利用婴儿手语与他们进行直接的双向交流(参考文献 1)。

用户与电子设备交流的级别很大程度上局限于指向界面。目前，只存在少数指向界面的扩展功能，包括单击、双击或叩击设备，及用户在移动 指向焦点时可按下按钮的设备，如鼠标、轨迹球及触摸屏等。用户利用手势符界面及语音识别界面与计算设备交流的能力，如多触点显示屏或光输入系统，还处于起步阶段。我们可以设想一种革命性的新款手机，它采用触摸屏驱动用户界面而不是物理按键，同时使用预测引擎帮助用户在平板上进行输入。这种描述符合Apple公司在今年六月发布的 iPhone，或IBM 公司与Bell South 在1993年联合推出的Simon，而后者比iPhone早了14 年。但是这两种触控界面间存在一些差异。例如，新型产品支持多触点手势符如“挤压”图像缩放、或闪现显示滚动内容。本文探讨了手势符界面发展的性质及其对未来界面的影响。

当今手势符界面采用的多数技术并不新奇，甚至可追溯到数十年前的产品。根据参考文献 2，多触点面板界面至少已经存在了25 年，而鼠标自1965 年发明到成为普遍指向设备的高峰点之间也不过只有30 年（该高峰点出现在Microsoft Windows 95发布的时刻）。针对各种界面在硬件方面的改进促使设计师降低终端系统的成本。更重要的是，设计师可以利用更多的低成本软件处理功能来更好地识别更多的上下文，从而能够更好地解释用户正在告诉系统做些什么。换言之，多数新兴手势符界面的进步不是来自新硬件，而更多的是来自更为复杂的软件算法，充分利用优势来补偿各种输入界面的弱点。参考文献 3 提供了一个正在完善的输入技术目录源。

除了iPhone的商业发布外，由Prada公司设计、LG 电子制造的LG Prada 电话今年在韩国与欧洲上市，Nintendo的Wii 手势符界面控制器也进行了成功的商业发布，随后还将推出多触点Microsoft Surface 平台(参见附文1“多触点表面”)。设计师从以前迭代手势符界面学到的教训能否足够保证当今最新的创新产品生存一年或两年，最终进入更自然的人机交流的时代吗？这些平台可访问大量内存，利用互联网实现全球性的连接，进行软件更新。由此看来，也许最相关的问题就是：这些平台灵活可编程的属性能否促使手势符界面吸取前科之鉴，而不返回到画板时代吗？

手势符识别界面并不局限于游戏和信息娱乐产品。Segway的 PT(人员输送器) 用户通过向前、停止及左右转等合适的方向倾斜，直观地命令其输送器(图 1)。某些界面主要捕捉各种细微的手势符来模拟真实工具，而不是向计算机发出抽象的命令。例如，Wacom的Intuos 和Cintiq 图形输入板与图形输入板的增强型绘图与图形软件程序相配合，可真实地捕捉艺术家手和工具的上下、左右的六维运动、向下按压图形输入板表面、触控笔倾斜角度、触控笔倾斜方向及触控笔旋转等动作。这种功能使软件不但可以再现近似的运动，还可创建细微的运动，如弯曲手像绘图工具那样更实际地模拟复杂物体的行为。

另一个捕捉细微运动模拟直接控制实际工具的例子，是直观的Surgical的“达芬奇外科手术系统”。该系统采用专有的三维可视系统和两套自动控制装置——主机和EndoWrist 仪器（模拟人手腕活动的仪器）。在主机上真实地转换外科医生手和手指运动信息，以控制在腹腔镜手术期间的 EndoWrist仪器 (图 2)，从而将外科医生的手的运动从现场手术器械中解脱出来。手术不但可实现用更小的刀口将手术工具插入病人体内，还可保证外科医生在进行较长时间的操作时，保持更舒服的姿势来延迟疲劳，实现更高的手术精度，更大的运动范围，同时与传统腹腔镜手术等外科医生直接控制手术工具的手术相比，数字过滤技术也提高了灵巧性。

三维可视系统这一重要的反馈界面可促使外科医生有效地使用“达 芬奇外科手术系统”并避免失误。此外，系统可利用简单的触觉或力的反馈完善视觉反馈界面，如检测运动中出现的内部与外部碰撞。约翰霍普金斯大学等研究机构使用“达芬奇外科手术系统” 研究支持“触觉检测”技术。 “‘达芬奇外科手术系统’ 是一个完美的‘试验室’，为程式化而明确的目标任务提供高质量的运动和视频数据，” 约翰霍普金斯大学的计算机科学教授Gregory D Hager说，“我们期望使用统计模型来促进设备更加智能化，从而确定手术现场的情况。”

Microsoft的首席研究人员Bill Buxton认为“出色的经验并不是偶然得来的，而是深思熟虑的结果”。他举了两个低技术例子，其中涉及两个有类似用户界面的手动榨汁机 (参考文献 4)。如果你会使用其中一个，就会使用另一个。两台机器榨汁时间相同，榨出的果汁味道也相同。然而，它们的使用方法和用户使用最大力道时间却不同。有恒定传动比的榨汁机，需要用户在手柄末端施加很大的力道，而没有可变传动比的榨汁机则减少这种力道。实质上，两种榨汁机的本质差异隐藏在界面下的不明显的机械构造中。

手势符识别界面的应用例子是直接控制界面，用户自己想做的事情对系统 发出明确或直接的指令。然而，嵌入式或隐藏的人机界面的新趋势具有更大的潜力。嵌入式处理，通常终端用户无法看到，促使设计师以更低成本和更好的能效生产具有更多功能的产品。随着传感器和处理容量的成本不断下降以及处理器可以优化控制系统的重要功能，额外的处理能力可以提供隐含或嵌入式用户与系统间人机界面机会。换言之，用户并不知道自己在向系统传达意图。这种新兴的功能可帮助系统使用预测补偿，从而弥补用户因缺乏经验而造成的失误或误差，并允许系统完成用户计划的操作。

Simon推出的 Predictakey键盘明确地列出用户最常用的六个预测备选字，供用户选择。为了发挥预测引擎的优势，用户必须明白引擎提供的建议并从中做出选择。与此相反，iPhone的键入界面以各种明显和隐藏的方式提高键入速度和准确率。首先，针对不同应用推出专门的键盘布局，并给出相关的键进行输入。在用户打字时，系统会预测单词，如果单词正确，用户可以按显示屏上的空格键进行选择，反之则继续键入。同样，系统也可识别拼写错的单词，并将正确的拼写以类似的方式显示，用户可以采纳或忽略系统的改正建议。

但iPhone 键入界面中新颖且隐含的优势，在于根据键入引擎对于用户将要选择的键入字母的预测，在显示屏上补偿用户按错的字母，从而在不改变显示尺寸(参考文献 5)的情况下，动态地改变分配给每个字母的目标区域或叩击区域大小。对于引擎所预测的用户键入字母将被分配较大的叩击区域，而可能性较低字母只分配较小的叩击区域，同时前者可能重叠后者的显示区域。这种特性提高了预测字母的选择机率，也降低了与预测的字母相邻的非预测字母的选择机率。

与用户和计算机之间的界面不同，汽车安全特性严格来说不算用户界面，但一些汽车安全特性提供隐晦的通信界面的早期形式预测安全特性。例如，在是否提醒司机即将出现车道出口的问题上，系统可检查转弯信号来确定即将出现的车道出口是正确的还是意外的。乘客检测系统交流控制事故发生时是否启用安全系统。例如，汽车可调节安全气囊以避免对不同身材乘客造成伤害。电子稳定控制系统通过检查转向和制动输入及车辆的实际运动，判断司机的意图，从而可以对每个车轮适当地应用制动和减少发动机动力，以帮助校正转向不足、转向过度及驱动轮打滑等，帮助司机控制车辆。

通过机动性最好的战斗机控制系统可以窥见对未来复杂系统的消费级别控制。由于飞机的高度不稳定性导致了机动性，驾驶员不必直接控制飞机的子系统，而是由嵌入处理系统处理这些细节，从而驾驶员可专心地执行更高级别的任务。随着汽车控制系统预测司机意图的能力增强，并将预测意图与车辆状态及周围环境关联起来，因此可以实现提高能源效率，降低不必要情况下的能源负载，同时不会牺牲安全性。在各种情况下，系统都有能更好地理解用户意图的能力，并进行合适的响应，从而无形而精确地预测用户可能采取的行动。

不论如何丰富和直观，界面最终是否被成功采用取决于用户及系统如何相互互动并弥补可能的误解。命令系统与其结果行为间的不确定性或不可预见性，会直接抹杀手势符界面的作用，从而推延其采用的时间。仅仅不断通知用户出现错误的功能在现代电子设备中并不够用。因此设备应当经常提醒用户误差或误解的性质，及告知用户如何改正。现代界面采用了传感器、改进的处理算法及用户反馈相结合，从而提供了各种机制来减少用户与系统间的模糊性及不确定性，促使彼此更迅速明确地补偿对方突发的行为（参见附文2“补偿误差”）。

系统将可能的输入控制缩小到有效环境中，是弥补潜在误解的一种方法，如iPhone的专用键盘布局。可分段或隔离狭窄环境并伴有明确目标任务的应用，为此类补偿提供了良好候选资格。Palm PDA等采用Graffiti识别技术的手写系统，提高了手写界面可用性并降低了误差输入的可能性，但却需要一个较长的学习过程才能可靠地使用系统。无需对讲话人训练的语音识别系统通过限制系统可识别的词的数量，如10个数字，或通过为用户提供短小菜单响应，提高了识别的成功率。