查看引用/信息源请点击：映维网

尽管项目尚处于研究阶段的早期，但这次演示说明了手部追踪在生产力场景中的潜力。

（映维网 2020年10月22日）构建能够帮助大家保持联结的产品是Facebook Reality Labs（FRL）的一个重要宗旨。在过去数年间，团队分享了在机器感知，逼真虚拟化身，甚至是脑机接口方面的进展。在上个月，FRL Research的首席科学家迈克尔·亚伯拉什在Facebook Connect大会谈到了AR眼镜的发展之路。

在下面这篇博文中，这家公司将介绍研究人员是如何为Quest“解锁”同类产品中的首款手部追踪解决方案，并分享关于文本输入的研究进展。下面是映维网的具体整理：

手部追踪是FRL Research众多旨在提升技术交互亲民都的研究课题之一。从VR头显到AR眼镜，我们正在构建下一个能够让更多人受益的计算平台。手部追踪技术提供了最为熟悉自然的人机交互方式，从而为更多的人打开了沉浸式计算的大门。

当Oculus Touch控制器于2016年底面世时，它通过手部临在开创了一个消费虚拟现实的新时代：在虚拟环境中，你的双手与你同在。

手部追踪是FRL Research众多旨在提升技术交互亲民度的研究课题之一。

为了构建更为自然的交互设备，FRL将Touch控制器作为基础。这款设备操作舒适，并且配备了先进的传感器，可提供逼真的双手临场感，能够使虚拟现实中最基本的交互（如抓住门把手）感觉更为真实。然而，尽管Touch控制器存在大量的优点，但它无法复刻V字手势或键盘操作的效率。对于自然地做事，目前没有任何其他方式能够比拟人手。与生俱来的本能，强大的适应性，以及被亿万人理解，双手一直都在帮助我们完成日常任务、创造性工作、以及介于两者之间的所有事情。可以说，双手是大多数活动的理想输入。但当FRL Research于五年多前开始为VR探索手部追踪的时候，业内尚未出现消费者质量的裸手追踪。团队面临的挑战是从零开发这项技术，并通过创建一个基于人手的新界面来让虚拟现实变得更加亲民。令人感到欣慰的是，我们取得了成功。

我们将通过两篇论文来介绍具体的实现过程，以及手部追踪的进一步潜力。在本周举行的UIST 2020大会中（一个关于用户界面软件和技术的研讨会），FRL Research首次提出了一种不使用物理键盘进行接触式文本键入的新方法。我们演示了可以作用于任何表面的手部追踪提供了媲美传统键盘打字的效率和熟悉度。在SIGGRAPH 2020（一个关于计算机图形学的年度大会），FRL的研究人员分享了他们是如何通过移动计算的众多突破为Quest实现手部追踪。今天，每一台Quest头显都搭载了现成的手部追踪功能。

使用基于标记的手部追踪系统，FRL Research演示了如何在平面实现接触式文本键入。这向我们展示了将手部追踪用于文本输入的潜力。

1. 无需键盘的自然文本键入

作为正在进行的手部追踪研究的其中一环，FRL Research不断探索新的实验性文本输入形式，因为这对交流和生产力而言都是一项关键任务。在本周举行的UIST 2020大会中，团队提出了一种不使用物理键盘进行接触式文本键入的新方法。这种解决方案使用了基于标记的手部追踪系统，把相关的手部追踪数据作为输入，并将其直接解码为用户希望输入的文本。尽管项目尚处于研究阶段的早期，但这次演示说明了手部追踪在生产力场景中的潜力。

相关论文：Decoding Surface Touch Typing from Hand-Tracking

相关论文：Online Optical Marker-based Hand Tracking with Deep Labels

为了支持无需物理键盘的接触式文本键入，并考虑无法从单个物理按键获得触觉反馈的缺点，研究小组必须合理化于随机平面发生的非明确文本键入模式。团队采用了来自自动语音识别的统计解码技术。语音识别主要使用声学模型来预测音频帧中的音素，而团队则使用运动模型来预测手部运动中的键入行为。

当在纯平面使用双手进行接触式本文键入操作时，被试平均每分钟能够输入73个字词，未纠错误率为2.4%。这实现了同一被试操作物理键盘的类似速度和精度。

结合语言模型，系统能够判断理解用户的非明确文本键入，并预测用户希望输入的内容。利用这种新方法，当在纯平面使用双手进行接触式本文键入操作时，被试平均每分钟能够输入73个字词，未纠错误率为2.4%。这实现了同一被试操作物理键盘类似的速度和精度。

这一令人惊讶的结果促使研究人员探究为什么手部追踪比其他物理方法更为有效，比如说没有物理键盘的平板电脑或智能手机的文本键入。研究小组发现，手部追踪技术在分离手指和手指移动轨迹方面有着独特的优势，而这正是当今平板电脑和智能手机的电容式感应系统所缺失的信息。