从VR手套到大脑感知,Facebook的VR延迟探索之路

青亭网 青亭网

Esther| 编纂

在此前的为了VR社交,Facebook打造出最真切虚拟头像系统一文中,青亭网曾报道Facebook Reality Labs(FRL)会在为期一年里,经由一系列博文来向人人展示其5年来在光学、浮现、角力机视觉、音频、图形、体感交互、脑机接口、眼球/手势/面部/姿态识别领域的相关研究。

近期,继讲述Facebook Codec Avatar真切头像系统的首篇文章后,FRL再次经由博文向人人展示了用体感手套来测量VR时延,并优化用户感知性时延的一项研究。

据熟悉,Facebook首席科学家Michael Abrash在OC 5上就曾展示过一个体感手套研究的Demo视频,视频中,一名VR用户戴着撑持手指追踪的体感手套在VR中玩抽积木游戏,当她在游戏中操控的手碰着积木后,手套就会在当下发生响应的体感反馈。

但人人所不知道的是,这款体感手套的早期版本曾受到时延问题的限制,在体感反馈、音频和视觉上都存在延迟,比如:体验者在VR中看到自己的手碰着了积木,却没能同步感想到触觉或听到声音。

为了测量并优化体感手套在VR中的时延,FRL研究人员构想了多种体式。个中一名软件工程师Forrest Smith透露:只测量软件延迟的话对照简练,有多少对象都能办到,但测量硬件延迟要更难题些。

游戏时延测量法

一路头,FRL研究人员参考游戏时延的测量法子,考虑的是若何测量输入时延。据悉,输入时延的概念很简练,打个譬喻:当你按下按钮后,马里奥需要多久才会跳起来?或许按下遥控器后,电视画面需要过若干毫秒才会改变?

在简练的景遇中,行使智好手机就能完成时延测量,你只需要录制一段刷新率240fps的慢动作视频,然后数数帧数。

在手柄接入带LED灯的主板进行测试

或许也可以选用更优化的法子,将VR手柄接入一块配备LED灯的定制主板,当主板识别到手柄按钮旗子后,LED就会点亮。然后行使高速摄像头捕捉全过程,就能实现较准确的测量。

另一种更好的体式是,建造一款是非色调的小游戏,游戏中有一个黑色方块,当感应到按钮旗子后,方块就会变成白色。然后,行使与浮现屏相连的光传感器,也能测量非常准确的时延。

端对端延迟测量法

当然,上述体式只是用来测试按钮把握光子的时延,并不克测量手套内置的体感致动器的时延,原因是 :摄像头测量法并不适用,而且体感手套使用的是手势输入,并不具备物理按钮。

端对端传输流程

此外,零丁测量体感反馈的时延还不足,想要实现体感手套与VR之间的低延时体验,需要考虑的是整个端对端体验的时延,也就是说要考虑多个方面,包括:硬件追踪系统、内部软件、第三方软件、设备驱动和输出硬件。而且为了更完整的优质体验,体感反馈、VR影像和音频的时延都需要获得测量和优化。

于是研究人员想出了一种声音测量法,即:将一张实际存在的桌子与VR中的桌子对齐,然后让一个人戴体感手套去触碰桌子,与此同时VR中的虚拟手和桌子也会相碰。

在这个过程中,研究人员采用多个传感器来记录:1,一个对准桌子的麦克风,用来记录实际接触发生的声音;2,一个位于手套内的麦克风,用于记录体感反馈;3,一个记录Rift头显音频的麦克风;4,用于识别浮现屏改变的光电二极管。为了让采集的音频同步,研究人员用了一个便携式录音机将麦克风的旗子汇总。

此外,为了测量手势追踪系统的延迟,还使用了一个电容性电路试验板作为可敲击的实物方针,捕捉较准确的软件时间戳。

同步的音频和视频流

接着,他们将同步的4种数据流在后期音效对象Nuendo中打开,并用手标记和角力差量时间,最后得出端对端时延为300毫秒,个中约200毫秒来自于第三方软件。据悉,Facebook这款体感设备的建议刷新率为1000Hz,是以300毫秒时延带来的体验感并不足好。

而体感手套运行的软件是基于多个子系统,并以多线程运行,更新的速度各不沟通。若是展现线程问题,则会造成周期虚耗或旗子损坏,为了检察可视化的多线程示意,FRL研究人员使用了一个叫FramePro的对象。

在完成软件线程修复后,为了验证事实,研究人员还使用了示波器(可将肉眼看不见的电旗子变成可视的图像)来测量体感致动器。

感官延迟信息图

行使上述体式,FRL研究人员对整个体感手套体验进行了优化,并用直观的信息图将300毫秒时延分成为了视觉、体感和音频三个部门,个中从触碰着发生声音反馈的时延最高。而且优化后的抽积木Demo运行起来也比之前更畅通,体验者认为视觉和体感反馈几乎可以达到同步。

感知性同步

追求完美的FRL研究人员当然不会就此住手,他们持续着手研究人脑对视觉、声音和体感的实际感知。

Smith透露:人类很擅长凭证多种不合的感官信息来竖立对世界的心智模型,但感官有时候也会骗人,原因是大脑会将多个感官旗子融合成统一的感官。也就是说,尽管你看到、感触到并听到手指敲击桌面是三件事,但大脑会将这三种感官刺激懂得成一件事。

恰是因为这样,当视觉、音频、体感的时延发生不同时,时延较高的感官会拖累其他感官,比如抽积木Demo中的音频时延较高,是以会让人感受体感时延比实际更高。这种感官的改变是人体自发且无意识的,不管你多起劲去忽略音频,体感反馈的时延都邑受音频时延影响。

于是,当FRL研究人员关闭音频后,体感反馈的体验感获得了光鲜的提升,在让好多人体验过之后,也获得了必然的谜底。

心理物理学实验

那么问题来了,能否经由调整感官刺激的同步性来营造更低时延的整体感观呢?对于体验感来讲,加倍同步更首要,照样低时延更首要呢?

为了深入熟悉这一问题,FRL研究人员展开了一项心理物理学实验。实验第一部门是建造一款VR测试轨范,介入者需要去敲打虚拟方块,同时体感手套会对整个手部动作进行追踪。这项测试的目的是,为了研究人类所能承受的视觉和体感延迟,也就是说两种感观之间相差多长时间会让人感应“未同步”。

查询事实浮现,在体感反馈比视觉延迟50毫秒以内,且不比视觉超前20毫秒以上的景遇,会被大部门介入者认为是同步。在他们的抽积木Demo中,体感反馈仅比视觉延迟20毫秒,刚好在同步局限内。

感官刺激的同步性

为进一步理会三种感官的同步性,FRL研究人员清算了一个分布图。从图中来看,XY轴的原点代表听觉、视觉、体感的完美同步,x轴代表音频与视觉之间的延迟,x值为正诠释音频比视频有所延迟,为负则相反。而y轴代表体感与视觉之间的延迟,分布图中的颜色则代表不合的延迟水平。

从这个分布图中,研究人员发现低延迟的局限并不是正好在原点上,而且介入者对于超前于视觉的体感或音频非常敏感。此外低延迟局限的外形更像是椭圆而不是正圆,对比音频延迟,介入者们对于体感延迟加倍敏感,这也印证了之前的,音频延迟造成体感感触加倍延迟的说法。此外还发现,改变交互体式有或许会提高人对于不合步的接管能力。

FRL研究人员也透露:现在下结论还太早,实验样本量较小,而且实验也对照简练。未来的方针是,为高度真切的场景和体验制订一系列标准,因为当前还未完成三种感官刺激同步性的研究,是以这个方针仍在进行中。

(END)


 
   介绍阅读    




 
天天五分钟,轻松熟悉前沿科技。    
         —— 青亭网  
青亭网微信号:扫描二维码关注公众号
爱八卦,爱爆料。
小编推荐
  1. NO.1 索尼、腾讯纷纷抛出橄榄枝,由禽业“转业”游戏的乐游科技有

    腾讯比来就收购游戏公司乐游进行了独家商洽,并筹算将该公司私有化。乐友在周五的新闻发布会上证实了和谈的细节。最先报道该生意的彭博社指

  2. NO.2 上半年10款新游韩国突围!中国达4款,韩厂欲摆脱IP依赖

    「 点击上方"GameLook"↑↑↑,订阅微信 」遥想端游年月“金戈铁马,气吞万里如虎”,如今却在手游市场一阵丢盔卸甲,韩国厂商起升下降的遭遇难

  3. NO.3 王者荣耀:充值1元免费抽小乔夏侯惇夏日皮肤,曹操杨戬终于增

    以前很长的一段时间里,那些无脑站撸的英雄在王者荣耀中强的没边没际,这种快节奏的增加虽然知足了部门玩家的快感,然则对于一款竞技类的手

  4. NO.4 狸猫和橘猫互相舔毛,突然就打了起来了

    狸猫和橘猫互相舔毛,倏忽就打了起来了。哈哈哈,难道这就是相爱相杀吗?

  5. NO.5 自相矛盾的叙事解谜游戏怎么玩?

    在你玩过的解谜游戏里,你是否无法再想起游戏和游戏里角色的名字,而只对只对某个困扰着你许久的线索留有印象?漫长的解谜过程中,是否只是

  6. NO.6 柴犬掉进无限深渊紧抓边缘…拍摄者见死不救?背后真相却是这

    照片换个角度有时候就是另一种说法了,比来在网上疯传一张照片,这照片内容可不一般,不少网友透露,刚看这照片第一眼就要骂人了!照片里可

  7. NO.7 花果园商圈:抢占5G先机 电竞产业为经济发展添动力

      花果园至高点电竞馆。  电竞喜爱者在花果园至高点电竞馆进行角逐。  7月12日晚上8点半,花果园至高点(壹号)电竞馆里座无虚席,馆内

  8. NO.8 狗狗常年自己蜷缩在角落,还好遇到了他们...

    爱狗人士关注大爱萌狗控 只需复原:汪。内容更超卓!让您愉快每一天每只流散狗其实都进展有一个家,因为一贯生活在风吹雨打的世界里,它们更希

Copyright 2019 三金网,让大家及时掌握各行各业第一手资讯新闻!