从VR手套到大脑感知,Facebook的VR延迟探索之路

青亭网 青亭网

Esther| 编纂

在此前的为了VR社交,Facebook打造出最真切虚拟头像系统一文中,青亭网曾报道Facebook Reality Labs(FRL)会在为期一年里,经由一系列博文来向人人展示其5年来在光学、浮现、角力机视觉、音频、图形、体感交互、脑机接口、眼球/手势/面部/姿态识别领域的相关研究。

近期,继讲述Facebook Codec Avatar真切头像系统的首篇文章后,FRL再次经由博文向人人展示了用体感手套来测量VR时延,并优化用户感知性时延的一项研究。

据熟悉,Facebook首席科学家Michael Abrash在OC 5上就曾展示过一个体感手套研究的Demo视频,视频中,一名VR用户戴着撑持手指追踪的体感手套在VR中玩抽积木游戏,当她在游戏中操控的手碰着积木后,手套就会在当下发生响应的体感反馈。

但人人所不知道的是,这款体感手套的早期版本曾受到时延问题的限制,在体感反馈、音频和视觉上都存在延迟,比如:体验者在VR中看到自己的手碰着了积木,却没能同步感想到触觉或听到声音。

为了测量并优化体感手套在VR中的时延,FRL研究人员构想了多种体式。个中一名软件工程师Forrest Smith透露:只测量软件延迟的话对照简练,有多少对象都能办到,但测量硬件延迟要更难题些。

游戏时延测量法

一路头,FRL研究人员参考游戏时延的测量法子,考虑的是若何测量输入时延。据悉,输入时延的概念很简练,打个譬喻:当你按下按钮后,马里奥需要多久才会跳起来?或许按下遥控器后,电视画面需要过若干毫秒才会改变?

在简练的景遇中,行使智好手机就能完成时延测量,你只需要录制一段刷新率240fps的慢动作视频,然后数数帧数。

在手柄接入带LED灯的主板进行测试

或许也可以选用更优化的法子,将VR手柄接入一块配备LED灯的定制主板,当主板识别到手柄按钮旗子后,LED就会点亮。然后行使高速摄像头捕捉全过程,就能实现较准确的测量。

另一种更好的体式是,建造一款是非色调的小游戏,游戏中有一个黑色方块,当感应到按钮旗子后,方块就会变成白色。然后,行使与浮现屏相连的光传感器,也能测量非常准确的时延。

端对端延迟测量法

当然,上述体式只是用来测试按钮把握光子的时延,并不克测量手套内置的体感致动器的时延,原因是 :摄像头测量法并不适用,而且体感手套使用的是手势输入,并不具备物理按钮。

端对端传输流程

此外,零丁测量体感反馈的时延还不足,想要实现体感手套与VR之间的低延时体验,需要考虑的是整个端对端体验的时延,也就是说要考虑多个方面,包括:硬件追踪系统、内部软件、第三方软件、设备驱动和输出硬件。而且为了更完整的优质体验,体感反馈、VR影像和音频的时延都需要获得测量和优化。

于是研究人员想出了一种声音测量法,即:将一张实际存在的桌子与VR中的桌子对齐,然后让一个人戴体感手套去触碰桌子,与此同时VR中的虚拟手和桌子也会相碰。

在这个过程中,研究人员采用多个传感器来记录:1,一个对准桌子的麦克风,用来记录实际接触发生的声音;2,一个位于手套内的麦克风,用于记录体感反馈;3,一个记录Rift头显音频的麦克风;4,用于识别浮现屏改变的光电二极管。为了让采集的音频同步,研究人员用了一个便携式录音机将麦克风的旗子汇总。

此外,为了测量手势追踪系统的延迟,还使用了一个电容性电路试验板作为可敲击的实物方针,捕捉较准确的软件时间戳。

同步的音频和视频流

接着,他们将同步的4种数据流在后期音效对象Nuendo中打开,并用手标记和角力差量时间,最后得出端对端时延为300毫秒,个中约200毫秒来自于第三方软件。据悉,Facebook这款体感设备的建议刷新率为1000Hz,是以300毫秒时延带来的体验感并不足好。

而体感手套运行的软件是基于多个子系统,并以多线程运行,更新的速度各不沟通。若是展现线程问题,则会造成周期虚耗或旗子损坏,为了检察可视化的多线程示意,FRL研究人员使用了一个叫FramePro的对象。

在完成软件线程修复后,为了验证事实,研究人员还使用了示波器(可将肉眼看不见的电旗子变成可视的图像)来测量体感致动器。

感官延迟信息图

行使上述体式,FRL研究人员对整个体感手套体验进行了优化,并用直观的信息图将300毫秒时延分成为了视觉、体感和音频三个部门,个中从触碰着发生声音反馈的时延最高。而且优化后的抽积木Demo运行起来也比之前更畅通,体验者认为视觉和体感反馈几乎可以达到同步。

感知性同步

追求完美的FRL研究人员当然不会就此住手,他们持续着手研究人脑对视觉、声音和体感的实际感知。

Smith透露:人类很擅长凭证多种不合的感官信息来竖立对世界的心智模型,但感官有时候也会骗人,原因是大脑会将多个感官旗子融合成统一的感官。也就是说,尽管你看到、感触到并听到手指敲击桌面是三件事,但大脑会将这三种感官刺激懂得成一件事。

恰是因为这样,当视觉、音频、体感的时延发生不同时,时延较高的感官会拖累其他感官,比如抽积木Demo中的音频时延较高,是以会让人感受体感时延比实际更高。这种感官的改变是人体自发且无意识的,不管你多起劲去忽略音频,体感反馈的时延都邑受音频时延影响。

于是,当FRL研究人员关闭音频后,体感反馈的体验感获得了光鲜的提升,在让好多人体验过之后,也获得了必然的谜底。

心理物理学实验

那么问题来了,能否经由调整感官刺激的同步性来营造更低时延的整体感观呢?对于体验感来讲,加倍同步更首要,照样低时延更首要呢?

为了深入熟悉这一问题,FRL研究人员展开了一项心理物理学实验。实验第一部门是建造一款VR测试轨范,介入者需要去敲打虚拟方块,同时体感手套会对整个手部动作进行追踪。这项测试的目的是,为了研究人类所能承受的视觉和体感延迟,也就是说两种感观之间相差多长时间会让人感应“未同步”。

查询事实浮现,在体感反馈比视觉延迟50毫秒以内,且不比视觉超前20毫秒以上的景遇,会被大部门介入者认为是同步。在他们的抽积木Demo中,体感反馈仅比视觉延迟20毫秒,刚好在同步局限内。

感官刺激的同步性

为进一步理会三种感官的同步性,FRL研究人员清算了一个分布图。从图中来看,XY轴的原点代表听觉、视觉、体感的完美同步,x轴代表音频与视觉之间的延迟,x值为正诠释音频比视频有所延迟,为负则相反。而y轴代表体感与视觉之间的延迟,分布图中的颜色则代表不合的延迟水平。

从这个分布图中,研究人员发现低延迟的局限并不是正好在原点上,而且介入者对于超前于视觉的体感或音频非常敏感。此外低延迟局限的外形更像是椭圆而不是正圆,对比音频延迟,介入者们对于体感延迟加倍敏感,这也印证了之前的,音频延迟造成体感感触加倍延迟的说法。此外还发现,改变交互体式有或许会提高人对于不合步的接管能力。

FRL研究人员也透露:现在下结论还太早,实验样本量较小,而且实验也对照简练。未来的方针是,为高度真切的场景和体验制订一系列标准,因为当前还未完成三种感官刺激同步性的研究,是以这个方针仍在进行中。

(END)


 
   介绍阅读    




 
天天五分钟,轻松熟悉前沿科技。    
         —— 青亭网  
青亭网微信号:扫描二维码关注公众号
爱八卦,爱爆料。
小编推荐
  1. NO.1 汪星人对网球的爱是那么的深!

    妈呀,快看,这有个球就是不放嘴球奔我过来了和网球睡在一路别看我个头小,我玩网球也是很溜的!只要有网球,让我干什么都行!一个都知足不

  2. NO.2 无家可归的哈士奇与贵宾犬相互依靠,即使被救后仍坚持每天黏

    长按数字复制 648083425 打开支出宝搜刮领取.100%成功!哈士奇Arlo和嘉宾犬Spot当初被人发现一路在街头浪荡,于是被带到了慈善基金会照看。没有人

  3. NO.3 一位小哥说家里的萨摩特别丑,网友看了以后……“没毛病,是

    养萨摩的盆友想必都是被它们外观所吸引,通体雪白的毛发加上治愈系的微笑,想不爱它都难。然则,有位小哥却说,家里的萨摩稀奇丑……人人正

  4. NO.4 全新的“生活神器”惊艳登场,现在只想马上拥有它!

    选购科沃斯新品就上天猫超级品牌日幅治这行话¥GJy61RCGJxW¥转移至

  5. NO.5 二哈突然变乖让主人颇感意外,结果推门一看……铲屎官崩溃了

    俗话说的好,孩子静寂静,必然在作妖。是日网友回家意外的发现,两只二哈工整的很,没有窜来窜去,也没有嚎叫。还想着,孩子终于长大了,懂

  6. NO.6 把整个社区偷了遍的盗窃猫,居然得到了受害者的追捧!网友:

    更多超卓萌宠萌图迎接关注【萌宠萌】微信微旗子mengchongmeng这年头,若是养了只囤物癖的小猫咪真是令铲屎官头疼呢住在米国的这只橘猫Snorri就是内

  7. NO.7 遇到一只哈士奇竟穿了一身衣服,可仔细一看……笑喷了!

    有位网友比来发同伙圈说了一件有趣的事情,在路上看到一只狗一贯对他叫,本想跑开,没想到细心一看…放大看看……说实话,我真的难以相信这

  8. NO.8 世界各地的猫都快要被逼疯了!

    因为新冠疫情的舒展越来越多的国度和城市停课,停产,关闭景区呼吁人人乖乖宅家自我隔离前阵子,推上展现了一个新标签“quarantinecats(隔离喵)”

Copyright 2019 三金网,让大家及时掌握各行各业第一手资讯新闻!