广泛使用的Microsoft混合现实眼镜:KI如何为Hololens 2用户体验做出贡献

Anonim

Hololens 2代表了2015年已推出的原始护目镜的完全重新设计。由于减半和更好的重量分布,这使该设备佩戴起来更加舒适。 此外,水平视场从30度扩展到43度,垂直视场从17.5度扩展到29度。 保持每度47个像素的像素密度。

Die Hololens 2 im Praxiseinsatz
领域的Hololens 2
图片:微软

但是,混合现实眼镜不仅可以提供更多的舒适感,还可以使操作更轻松。 因此,售价3500美元的设备现在支持完整的手势跟踪,而不是以前的“ AirTap”手势。 智能眼镜的用户可以通过点击手腕上的全息按钮来按下和拖动对象或访问菜单。

spoods.de

得益于AI的直观使用

当John Roach在Microsoft博客中执行时,制造商依靠AI进行开发,以使用户能够尽可能直观地使用数据眼镜。 英国剑桥的HoloLens科学团队负责人Roach Jamie Shotton引用了使这些功能成为可能的人工智能研究与开发“异常复杂”。 同时,“本能”地使用设备也很重要。 Shotton说:“我们希望您知道如何使用HoloLens,而不必专门教给您。” 因此,目标是尽可能在混合现实环境中直接与现实世界中的事物进行交互。”

为了实现与HoloLens 2的直观交互,Shotton和他的同事在设备上开发并训练了AI模型,该模型可以跟踪人的手部运动和凝视。 以此方式,例如,戴耳机的用户有可能在全息图的前面感知到悬停,并且可以伸手移动或改变其尺寸。

为了构建手部跟踪系统,该团队使用了带有摄像机内球型摄像机的钻机来记录不同人的手。 然后,团队使用离线云处理来创建3D模型,该模型可以表示人手的所有形式和动作。 使用此3D模型,该团队能够使用计算机图形来渲染逼真的合成手形图像以及合成标签,从而使该模型在各种手形,姿势和运动中都具有稳健性。

这样,团队就可以生成几乎无限量的培训数据。 有了这些,人工智能算法就被喂饱了,它位于眼镜上的特殊芯片中。

现在,当新用户设置HoloLens 2时,系统将使用该神经网络将个性化3D模型适配到用户的手中。 因此,这是精确跟踪的必要条件,这是与全息图进行本能交互所必需的。

Shotton的团队使用了类似的方法来构建和训练眼动追踪模型。 特别注意眼睛之间的距离,即瞳孔中心之间的距离。 它因人而异,并会影响人如何看清近处或远处的物体。 结果是一个眼动追踪模型,该模型使HoloLens 2可以在客户面前准确显示全息图,并可以用手和眼睛进行交互和操纵。 Shotton说:“没有眼球跟踪,就不可能将全息图瞄准现实世界,尤其是人的身体手,并具有实现本能交互所需的精度。”

Hololens 2作为智能边缘设备

从Microsoft技术研究员Alex Kipman的角度来看,该耳机通过使用支持AI的技术(可以离线收集和处理数据),然后与智能云共享部分或全部数据,提高了智能边缘设备的标准。如果他们有连接。

Für eine möglichst intuitive Bedienung der Hololens 2 müssen die Berechnungen auf dem Gerät selbst erfolgen.
为了最直观地操作Hololens 2,必须在设备本身上进行计算。
图片:微软

在HoloLens 2上,手部和眼睛跟踪功能以及其他智能功能-微软技术研究员Alex Kipman将其概括为Perception AI-嵌入在全息处理单元2(简称HPU 2.0)的特殊芯片中。 处理设备上的数据使人们可以操作全息图并与全息图交互,而不必担心延迟-通常,数据进入云,进行处理和处理需要数百毫秒。回到边缘。

开发合作伙伴Shotton指出:“这一处理时间至关重要。” 甚至数十毫秒也代表了感知上的重大差异,例如,按下全息图上的按键或滚动浏览全息图上的文字时,

此外,根据Microsoft的隐私问题,这是在设备上本地进行AI计算的另一个原因。 例如,HoloLens 2为验证客户身份而执行的虹膜扫描就是人们可能不希望发送到云中的那种个人信息。

微软技术研究员Kipman说,对于许多其他类型的数据,将它们传输到云中是一个优势,用户可以在其中利用Azure AI和混合现实服务并从其设备访问数据结合整个无处不在的计算机结构。 Kipman说,这样可以进行更高级的计算或感知。