返回栏目
首页人工智能 • 正文

袖口上的“超能力”: Facebook腕带式AR传感器,隔着空打字、操作界面,LeCun很好。

发布时间:  来源:河洛网

本文经AI新媒体量子位(公众号ID:QbitAI )授权转载,转载请与来源联系。

袖口上的“超能力”: Facebook腕带式AR传感器,隔着空打字、操作界面,LeCun很好。

只要动手,就能把一切控制在“手掌”上吗?

Facebook最近发布的腕带式AR传感器提供了与虚拟世界get绯红女巫相同的技能。

该设备是Facebook的AR/VR研究部门— — Facebook Reality Labs(FRL )是为了让佩戴者能够通过手腕的电运动神经信号,通过手指的动作来控制AR眼镜而开发的。

被称为卷积网络之父的图灵奖获得者、Facebook首席AI科学家Yann LeCun也表示赞赏。

功能不断升级,能做什么呢?

据官方称,无论是走在路上还是坐着,把手放在身体前面、两侧、口袋里,都可以用腕带操作。

一开始,腕带只需要捏拇指和食指,放下,就可以实现简单的点击操作。 之后,增加了更丰富的控制功能,例如可以触摸和移动虚拟对象。

另外,研究小组进一步进行探索,开发了在桌子和膝盖上高速打字的功能,打算实现比使用键盘更高的打字速度。

与物理键盘相比,虚拟键盘不仅可以随时使用,而且随着时间的推移,可以学习每个人不同类型的风格,进行自适应的变化,实现更快的打印速度。

FRL团队在个性化模型方面取得了重要进展,缩短了符合个人风格的键盘模型的训练时间。

不仅如此,FRL研究科学负责人Hrvoje Benko还说:

“ 我相信可佩戴的腕带装置可以为AR眼镜提供超低摩擦、随时可用的输入,但本身并不是完全的解决方案。

需要在意图预测和用户建模方面帮助用户和特定环境做出实时响应,就像鼠标是用户界面的一部分一样。 ”

因此,FRL团队最近致力于探索适应特定环境的适应接口,实现&ldquo智能点击” 。

也就是说,不用用户移动视线、看菜单,系统通过在不同的环境中预测用户的意图来主动提供自适应界面,用户只需要轻量级的反馈就可以进行控制。

FRL研究科学经理Tanya Jonker也补充说:

“ 系统将学习用户位置和关键对象的信息(如跑鞋和活动的识别),并根据用户过去的行为预测其意图。

例如,总是穿着某双鞋出门,音乐程序就会启动。 那么,再次穿着它出门时,系统想听音乐,所以显示器上会显示&lsquo。 播放音乐吗? ’ 可选,用户只需要通过简单的手势来确认或更改建议即可。 ”

利用这些微手势,用户无需停止正在进行的事情,也无需分心,从而节省了时间。

Facebook的官方介绍也提到,要实现这一功能,需要机器学习、人机交互、用户界面设计等技术,目前仍存在许多技术难题。

虽然可以利用超低摩擦的输入方式实现与自适应接口的交互,但是为了感知虚拟物体,触觉技术是必要的。

对此,FRL研究科学总监Sean Keller做了如下陈述。

“ 人从出生时的第一次握持,到灵巧地操作东西,或者打字,手和手指都有非常丰富的反馈。

利用触觉信号了解世界,触觉可以使用工具和精细的控制。 从使用手术刀的外科医生到感觉到钥匙边缘的钢琴演奏家,一切都取决于触觉。 ”

通过使用腕带,用户不用看就可以用触觉识别,并做出决策。 例如:

虚拟弓箭利用手臂的触觉,给佩戴者一种拉弓的感觉,知道自己是否做出了正确的动作。

根据用户的设定,在收到紧急邮件时,手环可以发出比接收普通邮件更强的振动。

电话打来时,根据不同的触觉反馈,用户可以知道对方的身份。

此外,研究人员还表示:““ 触觉可以传达不同的感情,这可能是改善社会交流的新方法。 ”

目前,Facebook团队构建了具有8个空气波纹管的Bellowband、使用6个振动驱动器和新的手腕拉伸机构的Tasbi等研究原型,包括了进一步探索的触觉反馈类型。

利用EMG技术控制这些功能,都是依靠EMG (肌电图)技术实现的。

EMG技术使用传感器将通过手腕传递到手上的电运动神经信号转换为数字指令。 用户可以使用这些命令控制设备的功能。 这种控制程度是高度个性化的,可以在各种情况下使用。

Facebook表示,来自手腕的信号非常清晰,即使1毫米的手指移动,EMG也能感知,因此可以顺利输入。 在未来,可能甚至会感受到移动手指的意图。

现任神经运动接口负责人Thomas Reardon说。

“ 我们做的神经接口是利用周围神经系统的输出,特别是大脑外神经,激活手和手指的肌肉运动,直接控制机器。 ”

为什么要选手腕?

美联储小组对此进行了解释:

手通过触摸世界重要的身体部分,戴在手腕上,可以利用手丰富的控制功能,实现更好的交互功能。

与语音控制相比,可穿戴设备更容易在公共场合使用

手表之类的设计可以用于日常生活和社会环境

另外,手腕的位置也适合整天舒适地穿着。

为了实现更方便的应用,而不用手机和其他设备控制,设计为单独的设备。

安装在手腕上的可穿戴设备还可以轻松地作为计算、电池和天线的平台,同时支持多个传感器。

网民对这种LeCun点赞技术的关注,当然也引起了网民的关注。

很多网民为此感到惊讶。

“ 这是实际的延迟效果吗? 看起来很棒。 ”

一些网民对该技术的应用提出了设想。

“ 不是让失手的人可以依靠神经模拟手势吗? ”

“ 毫无疑问,这可以用于连接假肢,进行恢复和学习。 ”

但是,有人提出了疑问:

“ 什么事? 这不是多年前的MYO手环吗? ”

事实上,这个基于EMG技术的腕带雏形MYO最初由AR眼镜公司North的前身Thalmic Labs开发,其专利由初创公司CTRL-labs收购。

2019年,Facebook以数亿美元收购了CTRL-labs,原研究小组也加入了FRL。

同时,也有网民对此感到高兴。

“ 几年前,我第一次读关于Myo的文章时,想知道对于VR的潜力。 我很高兴取得了现在的成果。 ”

这个手镯主要是为了配合Facebook正在开发的AR眼镜而使用的,发售时间还没有公布。

【编辑推荐】

    相关文章Related

    返回栏目>>

    河洛网首页

    Copyright © 2019 河洛网 版权所有 dahuimr@163.com