自6年前成立以来，开始构思理想的AR输入模式——它将不受用户和场景的限制，具有直观的界面、无干扰、全天候、易于使用的功能，并支持丰富的高带宽交互。它可以用来模拟键盘输入或捕获虚拟图像。此外，AR输入设备还需要设计舒适，适合全天候佩戴，并且运行时间足够长。
“我认为gamepad不是与AR眼镜互动的好方法，”他说AR团队负责人表示，AR眼镜和AR带的组合不会像手机那样将我们的注意力和视觉固定在我们的手上，而是会像我们看到的一样看到世界。
为了让用户成为AR体验的中心，并在3D空间中更自然地进行交流、导航、学习、共享和交互，决定探索具有超低摩擦的态势感知和输入解决方案的AI。AI算法可以深入预测用户在不同场景中可能需要采取的信息或行动，并为用户定制一系列命令。
为什么“超低摩擦”输入在AR相互作用中如此重要？“摩擦”是一种阻碍用户顺利执行所需操作的障碍。用户完成所需操作的过程越快、越简单，摩擦/摩擦点越低，因此“超低摩擦输入”可以理解为“无摩擦交互”。此外，用户可以毫不费力地通过超低摩擦输入确认AI的推断命令，例如用手指轻敲虚拟按钮。
为什么腕部设置了超低摩擦输入？”为了满足自然AR相互作用的要求，我们发现合适的相互作用形式是戴在手腕上，”研究科学负责人Hrvoje Benko说。
市场上有各种各样的人机交互方法——语音、游戏板等——但它们都不能保证隐私性、可靠性或使用方便性。相比之下，腕带更具优势，因为人们习惯于戴手表，日常使用也不陌生。重要的是，腕带位于手的旁边，手是人类互动的重要工具。它可以更准确地预测手的位置，实现手势识别等功能。
除了手势识别，腕带还可以配备计算模块、电池、天线、传感器和其他组件，如肌电图（EMG）传感器，这些组件可以实现丰富的AR交互效果。肌电图使用传感器将从手腕到前掌的神经电信号转换为数字指令。 EMG腕带的主要功能是识别用户的手势。与基于光学的手势识别或手势识别手套相比，肌电信号更为敏感，甚至在手指开始移动之前，就可以识别出大脑发出的意图。它甚至比手机上的触摸屏、键盘或鼠标还要快。
这意味着你可以在走路或坐着的时候控制你的手在你前面、两侧或口袋里。腕带只能用于夹持拇指和食指进行简单的点击操作。后来，增加了更丰富的控件，例如触摸和移动虚拟对象的能力。
团队也在探索在桌上或膝盖上进行高速打字的方法，甚至比使用键盘更快。与物理键盘相比，虚拟键盘不仅可以随时使用，还可以随着时间的推移学习和适应每个人不同的打字风格，并产生自适应变化以实现更快的打字速度。团队在个性化模型方面取得了重要进展，减少了使键盘模型适应个人风格所需的培训时间。