从VR手套到大脑感知,Facebook的VR延迟探索之路

青亭网 青亭网

Esther| 编纂

在此前的为了VR社交,Facebook打造出最真切虚拟头像系统一文中,青亭网曾报道Facebook Reality Labs(FRL)会在为期一年里,经由一系列博文来向人人展示其5年来在光学、浮现、角力机视觉、音频、图形、体感交互、脑机接口、眼球/手势/面部/姿态识别领域的相关研究。

近期,继讲述Facebook Codec Avatar真切头像系统的首篇文章后,FRL再次经由博文向人人展示了用体感手套来测量VR时延,并优化用户感知性时延的一项研究。

据熟悉,Facebook首席科学家Michael Abrash在OC 5上就曾展示过一个体感手套研究的Demo视频,视频中,一名VR用户戴着撑持手指追踪的体感手套在VR中玩抽积木游戏,当她在游戏中操控的手碰着积木后,手套就会在当下发生响应的体感反馈。

但人人所不知道的是,这款体感手套的早期版本曾受到时延问题的限制,在体感反馈、音频和视觉上都存在延迟,比如:体验者在VR中看到自己的手碰着了积木,却没能同步感想到触觉或听到声音。

为了测量并优化体感手套在VR中的时延,FRL研究人员构想了多种体式。个中一名软件工程师Forrest Smith透露:只测量软件延迟的话对照简练,有多少对象都能办到,但测量硬件延迟要更难题些。

游戏时延测量法

一路头,FRL研究人员参考游戏时延的测量法子,考虑的是若何测量输入时延。据悉,输入时延的概念很简练,打个譬喻:当你按下按钮后,马里奥需要多久才会跳起来?或许按下遥控器后,电视画面需要过若干毫秒才会改变?

在简练的景遇中,行使智好手机就能完成时延测量,你只需要录制一段刷新率240fps的慢动作视频,然后数数帧数。

在手柄接入带LED灯的主板进行测试

或许也可以选用更优化的法子,将VR手柄接入一块配备LED灯的定制主板,当主板识别到手柄按钮旗子后,LED就会点亮。然后行使高速摄像头捕捉全过程,就能实现较准确的测量。

另一种更好的体式是,建造一款是非色调的小游戏,游戏中有一个黑色方块,当感应到按钮旗子后,方块就会变成白色。然后,行使与浮现屏相连的光传感器,也能测量非常准确的时延。

端对端延迟测量法

当然,上述体式只是用来测试按钮把握光子的时延,并不克测量手套内置的体感致动器的时延,原因是 :摄像头测量法并不适用,而且体感手套使用的是手势输入,并不具备物理按钮。

端对端传输流程

此外,零丁测量体感反馈的时延还不足,想要实现体感手套与VR之间的低延时体验,需要考虑的是整个端对端体验的时延,也就是说要考虑多个方面,包括:硬件追踪系统、内部软件、第三方软件、设备驱动和输出硬件。而且为了更完整的优质体验,体感反馈、VR影像和音频的时延都需要获得测量和优化。

于是研究人员想出了一种声音测量法,即:将一张实际存在的桌子与VR中的桌子对齐,然后让一个人戴体感手套去触碰桌子,与此同时VR中的虚拟手和桌子也会相碰。

在这个过程中,研究人员采用多个传感器来记录:1,一个对准桌子的麦克风,用来记录实际接触发生的声音;2,一个位于手套内的麦克风,用于记录体感反馈;3,一个记录Rift头显音频的麦克风;4,用于识别浮现屏改变的光电二极管。为了让采集的音频同步,研究人员用了一个便携式录音机将麦克风的旗子汇总。

此外,为了测量手势追踪系统的延迟,还使用了一个电容性电路试验板作为可敲击的实物方针,捕捉较准确的软件时间戳。

同步的音频和视频流

接着,他们将同步的4种数据流在后期音效对象Nuendo中打开,并用手标记和角力差量时间,最后得出端对端时延为300毫秒,个中约200毫秒来自于第三方软件。据悉,Facebook这款体感设备的建议刷新率为1000Hz,是以300毫秒时延带来的体验感并不足好。

而体感手套运行的软件是基于多个子系统,并以多线程运行,更新的速度各不沟通。若是展现线程问题,则会造成周期虚耗或旗子损坏,为了检察可视化的多线程示意,FRL研究人员使用了一个叫FramePro的对象。

在完成软件线程修复后,为了验证事实,研究人员还使用了示波器(可将肉眼看不见的电旗子变成可视的图像)来测量体感致动器。

感官延迟信息图

行使上述体式,FRL研究人员对整个体感手套体验进行了优化,并用直观的信息图将300毫秒时延分成为了视觉、体感和音频三个部门,个中从触碰着发生声音反馈的时延最高。而且优化后的抽积木Demo运行起来也比之前更畅通,体验者认为视觉和体感反馈几乎可以达到同步。

感知性同步

追求完美的FRL研究人员当然不会就此住手,他们持续着手研究人脑对视觉、声音和体感的实际感知。

Smith透露:人类很擅长凭证多种不合的感官信息来竖立对世界的心智模型,但感官有时候也会骗人,原因是大脑会将多个感官旗子融合成统一的感官。也就是说,尽管你看到、感触到并听到手指敲击桌面是三件事,但大脑会将这三种感官刺激懂得成一件事。

恰是因为这样,当视觉、音频、体感的时延发生不同时,时延较高的感官会拖累其他感官,比如抽积木Demo中的音频时延较高,是以会让人感受体感时延比实际更高。这种感官的改变是人体自发且无意识的,不管你多起劲去忽略音频,体感反馈的时延都邑受音频时延影响。

于是,当FRL研究人员关闭音频后,体感反馈的体验感获得了光鲜的提升,在让好多人体验过之后,也获得了必然的谜底。

心理物理学实验

那么问题来了,能否经由调整感官刺激的同步性来营造更低时延的整体感观呢?对于体验感来讲,加倍同步更首要,照样低时延更首要呢?

为了深入熟悉这一问题,FRL研究人员展开了一项心理物理学实验。实验第一部门是建造一款VR测试轨范,介入者需要去敲打虚拟方块,同时体感手套会对整个手部动作进行追踪。这项测试的目的是,为了研究人类所能承受的视觉和体感延迟,也就是说两种感观之间相差多长时间会让人感应“未同步”。

查询事实浮现,在体感反馈比视觉延迟50毫秒以内,且不比视觉超前20毫秒以上的景遇,会被大部门介入者认为是同步。在他们的抽积木Demo中,体感反馈仅比视觉延迟20毫秒,刚好在同步局限内。

感官刺激的同步性

为进一步理会三种感官的同步性,FRL研究人员清算了一个分布图。从图中来看,XY轴的原点代表听觉、视觉、体感的完美同步,x轴代表音频与视觉之间的延迟,x值为正诠释音频比视频有所延迟,为负则相反。而y轴代表体感与视觉之间的延迟,分布图中的颜色则代表不合的延迟水平。

从这个分布图中,研究人员发现低延迟的局限并不是正好在原点上,而且介入者对于超前于视觉的体感或音频非常敏感。此外低延迟局限的外形更像是椭圆而不是正圆,对比音频延迟,介入者们对于体感延迟加倍敏感,这也印证了之前的,音频延迟造成体感感触加倍延迟的说法。此外还发现,改变交互体式有或许会提高人对于不合步的接管能力。

FRL研究人员也透露:现在下结论还太早,实验样本量较小,而且实验也对照简练。未来的方针是,为高度真切的场景和体验制订一系列标准,因为当前还未完成三种感官刺激同步性的研究,是以这个方针仍在进行中。

(END)


 
   介绍阅读    




 
天天五分钟,轻松熟悉前沿科技。    
         —— 青亭网  
青亭网微信号:扫描二维码关注公众号
爱八卦,爱爆料。
小编推荐
  1. NO.1 张杰回应与谢娜拥吻 直播回应透露两个信息详情始末起底

    比来,张杰和谢娜因热吻上热搜,不外张杰谢娜两人没有对此作出回应。事情曩昔几天,在1月20日,张杰在直播中被问到这件事,随后,张杰也在直

  2. NO.2 黄子韬喜欢马泽涵吗 揭露二人私下真实关系是什么

    近日,有关于马泽涵和黄子韬什么关系再引热议,而网上也有传闻说黄子韬喜欢马泽涵,这真的吗?马泽涵是黄子韬女友吗?有关于二人私下真实关

  3. NO.3 李栋旭浴缸照曝光 白衬衫湿身透视尽显性感身材要舔屏了

    近日,李栋旭一张浴缸照曝光,引来浩瀚网友的围观,李栋旭白衬衫湿身透视尽显性感身体,网友们都透露要舔屏了,这已40岁的汉子也太性感了吧。

  4. NO.4 陈可辛赞易烊千玺 二次称赞千玺透露会合作引期待

    21日,陈可辛赞易烊千玺激发存眷,他是怎么赞美易烊千玺的?具体详情内容来一览。据认识到,这不是陈可辛首次赞易烊千玺。此前,易烊千玺主演

  5. NO.5 2020日本小姐冠军 小田安珠夺冠现场曝光泳装照太美了

    1月20日,“2020年日本蜜斯大赛”决赛在日本东京举办,2020日本蜜斯冠军最终被2号选手21岁的大三学生小田安珠摘下,小田安珠的资料很快就被

  6. NO.6 唐人街探案3杰克贾结局 揭饰演者托尼贾资料及与成龙关系

    片子《唐人街探案3》即将热映引存眷,对于片中杰克贾终局若何在当下也引热议,同时还有杰克贾饰演托尼贾,有关于托尼贾小我资料一览,揭露托

  7. NO.7 周励淇怀孕 与46岁老公造人成功夫妻两人因婚礼同时改名

    1月20日,女演员周励淇(周丽淇)在社交网上正式发布怀孕喜讯,早已被传怀孕的周励淇借此次宣传片子公舒怀孕新闻,周励淇与46岁老公傅浤鸣造人

  8. NO.8 刘昊然粉丝举柴犬怎么回事 刘昊然的反应逗乐大家

    为了追星,你做出哪些新鲜的勾当呢?近日,有位粉丝为吸引刘昊然的注重就在现场举柴犬,而此举切实是成功了,不只吸引了刘昊然的注重,如今

Copyright 2019 三金网,让大家及时掌握各行各业第一手资讯新闻!