首页 > 技术

创投变辩辨:苹果VS微软,谁决定MR的未来?

2023-11-07 19:31:41      西盟科技资讯   


  ●创投圈首档辩论类节目创投变辩辨第五期辩题:MR设备的未来是VST(视频透视)方案还是OST(光学透视)方案?

  ●VST代表:小派科技Pimax认为,VST正是苹果Vision Pro所采取的透视方案,其更强的沉浸感和更高的虚实融合精度能带来卓越的使用体验,此外,超透镜等新技术也将带来头显的轻量化革命。

  ●OST代表:Rokid则认为,低成本与轻量化使基于OST的AR设备成为用户可以日常佩戴的眼镜形态的产品,能够更快融入到公众的社会生活之中,进而成为MR市场的主导。

  MR设备透视功能有两种技术路线。一条路线是VST,Video see through,即视频透视,另一条路线是OST,Optical see through,即光学透视。

  其实,VST和OST的路线之争,持续了MR领域到目前为止所有的历史,近期苹果Vision Pro的发布,以VR加上VST作为其产品的核心形态,在VST阵营加上了一个重重的筹码。

  但是,这是否就意味着VST和OST之间的争论尘埃落定了?关于AR/VR的未来,苹果有没有可能选错了?本场辩论《未来MR透视功能将主要依靠什么技术?》,围绕OST和VST之争展开讨论。

  本期嘉宾:

  ●主持人:严锋,复旦大学中文系教授,科学杂志《新发现》荣誉主编

  ●VST嘉宾:翁志彬,Pimax小派科技创始人兼董事长,主张:未来MR透视功能将主要依靠VST(视频透视)技术

  ●OST嘉宾:祝铭明,Rokid创始人兼CEO主张:未来MR透视功能将主要依靠OST(光学透视)技术

  技术科普:

  ●VST(Video See Through),即视频透视,利用摄像头等传感器,捕捉真实世界的影像,然后投射在屏幕上,用户看到的一切都是虚拟设备想让他看到的样子,真实世界与虚拟世界都是数字信号,可以同步修改,代表性产品有苹果的Vision Pro、Meta的Quest Pro;

  ●OST(Optical See Through),即光学透视,它就像一层玻璃,同时通过摄像头定位和芯片计算,虚拟物品和现实可以产生交互,以真实世界为主,可以让用户对现实世界的感受更加出彩,代表性产品有微软Hololens、Rokid的Max Pro

  【主持人严锋】大家好,我是复旦大学的严锋,新媒体和虚拟技术的爱好者和研究者。我们本期《创投变辩辨》邀请到了两位创业者,讨论MR设备透视功能的两种技术路线。

  一条路线是VST(Video See Through),即视频透视,另一条路线是OST(Optical See Through),即光学透视。

  今天的嘉宾一位是祝铭明先生,他是Rokid的创始人和CEO,致力于人机交互技术和AR的商业化。另一位是翁志彬先生,他是Pimax小派科技创始人和董事长,长期从事高端VR头显的研发和商业化。

  可以这么说,祝总是MR行业里走AR技术路径的代表,翁总是MR行业里走VR技术路径的代表,相信两位在一起一定能够擦出火花。

  【VST翁志彬】从OST(光学透视)和VST(视频透视)这两条路线来说,VST(视频透视)在虚实世界的无缝融合方面肯定会好一些,因此在娱乐、社交、生产力、办公等场景更有优势,尤其是to C方面,这也是苹果Vision Pro正在引领的路线。OST(光学透视)未来应该更适用于偏工业的使用场景。

  基于这个判断,未来MR眼镜90%的市场份额属于VST(视频透视)技术。

  【OST祝铭明】刚才翁总讲到了,要根据场景分。如果把我们的立足点放到最近的两年到三年,这两个技术路线都有自己的特色。举个例子,如果在一个要百分之百地让虚拟物体跟真实物体进行绝对地融合的环境,比如说做一些科学实验,做一些精度比较高的建模,VST(视频透视)是个好的路径。

  但比如简单玩一些游戏互动,例如文博文旅的场景对精度的要求没有那么高,可能OST(光学透视)也就够了,而且OST(光学透视)会更轻便。

  所以最近这两到三年,我们还是要根据场景垂直的领域来看,各自的都有自己的优势。这也是为什么小派和Rokid 还能活得挺好。

  但是未来我们如果把时间看长远一点,如果要一直佩戴,24小时使用,最终我们在一个理想状态下,肯定是OST(光学透视)要优于VST(视频透视)。

  01、VST(视频透视)做不到小型化?OST(光学透视)做不到沉浸体验?

  【主持人严锋】两位怎么看VST(视频透视)和OST(光学透视)各自在技术实现上的优势和挑战?

  【OST祝铭明】从精度讲,比如VST(视频透视)除了大家都知道的沉浸感也好,FOV也好,或者角度的优势之外,其实很多人如果不做技术,可能不大知道的一个优势:就是有两个数字坐标系。总体来讲,两个数字坐标系好对齐。

  第二个好处,VST(视频透视)可以对数字化的东西进行任意改造,这是OST(光学透视)做不到的。

  劣势其实也跟它的优势并存。劣势就在于:VST(视频透视)要做沉浸式和数字化的物理世界重建。那VST(视频透视)设备的体积、显示系统,整体就很难做到轻量化。这是VST(视频透视)未来一个最大的挑战。

  OST(光学透视)的优势在于能够轻量化。因为OST(光学透视)只针对虚拟的东西做数字化,不对物理世界进行重建。因此OST(光学透视)无论对算力的要求,对传感器的要求,对诸多的东西都会简化。

  但正是因为这个原因,OST(光学透视)存在两个坐标系,一个是物理坐标系,一个是数字坐标系,这两个坐标很难校准。例如我戴上OST(光学透视)设备后,会通过数字化的东西进行校准,但换一个人戴,或者把鼻子抬高一点,变化佩戴的姿势,OST(光学透视)设备都要重新做校准。

  第二个难题:我没办法让真实世界里的东西消失,或是发生改变。例如我透过OST(光学透视)设备看到一个杯子,但我没有办法把它抹掉,但VST(视频透视)可以这么做。

  这就是我觉得VST(视频透视)和OST(光学透视)各自的优缺点。短期来看大家能达成一致。长期来看,我不知道翁总的观点。我觉得长期一定是OST(光学透视)的天下。因为要做到刚才讲到的碎片化、24小时佩戴,就很难逃出OST(光学透视)的技术路线。

  【VST翁志彬】祝总提到的这两点,我觉得值得我们探讨。从技术上,因为OST(光学透视)是真实世界的光线直接进入人眼,所以它更直接、更自然,而且几乎是零延时。但对虚拟物体而言,OST(光学透视)可能要处理延时。这意味着它在时间、空间上,两条坐标本质上很难对齐,这是目前OST(光学透视)的一个天然缺点。

  但这个缺点对于VST(视频透视)刚好是反过来的。因为VST(视频透视)会对真实世界的光线进行处理,在时空上可以做到很好的重叠。那么,VST(视频透视)在感观上会更沉浸,更直接,精度更高。

  我觉得二者的应用场景可能会有一些差别。比如刚提到未来OST(光学透视)居多还是VST(视频透视)居多?对于OST(光学透视),我非常认同祝总的说法:产品一定要做轻量化。我们认为,未来的MR设备一定会小型化,而VST(视频透视)设备占比在90%以上,量级在十亿级,OST(光学透视)也会有接近亿级的量。

  使用VST(视频透视)技术的MR眼镜可以类比为五年前的Macbook Pro,性能强劲但尺寸偏大,而使用OST(光学透视)技术的MR眼镜可以类比为Macbook Air,性能一般但尺寸较小。但最新款的Mackbook Pro尺寸已经和Macbook Air在一个数量级上了,也就是说,Air在尺寸上的优势已经不复存在,而性能又比不上Pro,用户自然没有理由再继续购买Air。

  同理,随着VST(视频透视)设备的逐步小型化,当VST(视频透视)设备的尺寸接近OST(光学透视)设备的数量级时,OST(光学透视)设备的优势会逐步消失,用户自然就不会因为尺寸而选择OST(光学透视)了。

  另外,我认为VST(视频透视)未来一定可以做成小型化。虽然苹果Vision Pro现在的体积各方面还是比较大,就像早年的大哥大,但未来它还是可以做小型化的。只是说小型化的同时,功能也一定要做强。也就是说,如果小型化是以牺牲VST(视频透视)天然的沉浸感等优点来说,它就不合算。

  02、超透镜方案让VST(视频透视)设备保持性能的同时变得更轻?

  【主持人严锋】祝总有没有需要反驳或者补充的?我觉得翁总特别强调,不能为了小型化而牺牲功能,那祝总对此表示同意吗?

  【OST祝铭明】这个稍微有点区别。我觉得如果大家从未来生态发展的格局来看,VST(视频透视)可能会变得比较小众,而不会消亡掉。我个人两个设备都会有,因为我也是重度的玩家。

  但是作为普通老百姓来讲,对于未来主要的通用计算平台,OST(光学透视)的优势比较明显。

  我不是说OST(光学透视)会取代所有的VST(视频透视),但从共不共存的角度来讲,可能还是要看比例。就像刚才翁总讲到的,如果要用VST(视频透视)去做,把体积做小,可能就不得不牺牲一些能力,可是牺牲那些能力会不会导致VST(视频透视)的体验减分?这也是一个大家需要去考虑的问题。我觉得这个挑战还是非常非常大的。这也是为什么Vision Pro到今天为止还是有诸多的疑虑,包括它的售价、体积、重量,散热。连Apple这么顶级的公司在VST(视频透视)上,做出的产品至少没有真正地叫好又叫座,所以这也是不大容易的一件事情。

  所以理论上,我觉得如果要牺牲一些能力,把VST(视频透视)做小是没问题的。那问题就在于VST(视频透视)对减配的容忍度到底在哪里?那根线到底在哪?比如说它真的延时做得不够好,或者是分辨率做得不够好、不够高,或者交互性做得不够好,那可能VST(视频透视)反而就变成一个负担了,比如说戴上去会晕、坐标不一致等诸多问题。

  加上我们想象一下,把眼镜做得很小的情况下,像普通眼镜一样,我的肉眼既能够看到真实世界,又能看到虚拟数字展现出来的真实世界,如果出现侧面的漏光等问题反而更尴尬,用户会觉得更加地别扭。

  所以,我的观点就是OST(光学透视)和VST(视频透视)共存,但如果从未来的通用计算或者多数人的选择来讲,还是OST(光学透视)的天下。

  这就是为什么Rokid会选择OST(光学透视)这个技术路线,我们也是相信这么一个方向。

  【VST翁志彬】我想从技术角度来看VST(视频透视)的发展方向。

  首先,苹果Vision Pro是非常优秀的产品,但它(只)是MR的一个雏形形态。

  其次,我认为未来VST(视频透视)一定能在保持性能不变的同时做到小型化,主要有几个方向。

  我们传统的透镜焦距大概是30毫米,现在通过Pancake方案可以做到15、13毫米左右。虽然未来用Pancake透镜一定不可能做到3毫米的厚度,但是苹果和我们业内都在做超透镜方案。

  在超透镜方案下,显示屏和透镜能做到二合一,整个光机可以从目前的15、13毫米压缩到2、3毫米。

  所以我认为,未来5—7年左右,超透镜方案会是个前景。一旦未来VST(视频透视)超透镜方案能实现,超薄性就能实现。而当VST(视频透视)的光机方案做到2—3毫米时,VST(视频透视)跟OST(光学透视)的体积、厚度就没有大的区别了。

  03、MR眼镜的重量是克克计较,不是斤斤计较

  【主持人严锋】我们看到一个主要的差异来了。在未来超透镜的方案下,翁总认为VST(视频透视)也能做到小型化、轻量化。祝总您有什么样的回应?

  【OST祝铭明】整个XR产业都是越轻越好。我相信VST(视频透视)的方案也会越做越小,包括刚才讲到的Metalens超透镜方案。但是人体对眼镜的忍受力有差异。当你24小时佩戴眼镜时,你对重量是以克为单位来斤斤计较的,其实是克克计较,每一克都在计较。

  说到底,当VST(视频透视)和OST(光学透视)同时都接近普通眼镜形态时,差距到底会是什么?比如说差10克、20克,那就是一个比较明显的差距。经过测试,人佩戴眼镜的总体舒适区域大概是在60克左右,无论是亚洲人还是欧美人。

  这就提出了一个比较大的挑战。刚才翁总也讲到了,光学是一个方面。比如说VST(视频透视)要做重建,重建物理世界所带来的成本和功耗、配重各方面,还是很难跟OST(光学透视)达到一个相同的水准。

  我觉得VST(视频透视)可能会做到一个类似接近眼镜的形态,但想做到普通眼镜形态,难度还是比较高的。OST(光学透视)也不容易,但是有机会,VST(视频透视)可能会更难一些。在这个方面,我倒是觉得还是那句话,OST(光学透视)作为大众老百姓的选择会更容易一些。但对于专业人士来讲,VST(视频透视)是一个大家不会去舍弃的一个方向。

  第二个是小型化带来的一个问题。譬如VST(视频透视)是不是要把整个眼睛包起来。如果不包起来,就会面临你的眼睛能同时看到物理世界和通过VST(视频透视)来看到的物理世界,这两个世界的坐标很难对齐。但如果你想制造沉浸感,可能它很难做到普通眼镜形态,这就是我们所面临的一个挑战。而OST(光学透视)第一天起就没有这个负担。因为OST(光学透视)从第一天起就是裸眼直接看所有的物理世界。所以它可以将精力放在虚拟世界上。这意味着OST(光学透视)的整个硬件投入,算力成本,展示力都相对比较灵活。

  【VST翁志彬】通过柔性显示技术,VST(视频透视)技术的FOV是可以接近于人眼的,对于用户来说,VST(视频透视)技术就能实现完全真实的视觉体验,用户没有必要在MR眼镜视野之外,去看这个世界,而未来采用VST(视频透视)技术的MR眼镜,他的遮光材料一定是超轻、超柔、超薄的,只会增加2-4克的重量,对实际的佩戴体验没有影响。

  04、FOV对MR设备来说真的重要吗?

  【主持人严锋】我们除了从未来时间的角度,从市场面向大众还是小众的角度来看,祝总提出OST(光学透视)将来一定是面向大众的,翁总您觉得是这样吗?是不是VST(视频透视)也可以是面向大众的?

  【VST翁志彬】针对祝总描述的未来,我也有不同的看法。从OST(光学透视)来说,我们忽略了一点,我们只说了小型化这一块,但是我们还有一个核心体验。核心体验就是沉浸感。

  我相信OST(光学透视)现在最大的问题是FOV不够大。因为从目前的光波导方案或者birdbath技术很难做突破,做到50度以上的FOV都挺难的。我认为沉浸感对MR设备属于核心体验。虽然在分辨率PPD上,我觉得这两个路径在一定程度上都能达标。Micro OLED显示技术可能很快会解决PPD的问题。但是OST(光学透视)如何在保持90度或者100度以上的FOV,同时PPD也能达到40以上?

  回到电视机时代,我小时候看电视有32寸的,现在再回过去让你看40寸的电视机,就没法看了。因为人本质是个视觉动物,视觉的沉浸感非常重要。VST(视频透视)的FOV已经在100度以上,我们马上已经能做150度了。那么OST(光学透视)能不能短时间把FOV加大?如果很难加大,在这种情况下,用户体验两个产品,他会发现核心体验差别这么大。此时,小型化就不是用户的一个可考量点了。

  早前手机时代有电竞手机,结果这几年电竞手机消失了,是因为普通手机的处理器、散热性能也已经达到电竞手机的标准了,而且普通手机很薄。这意味着当VST(视频透视)这条路线我们能做到超薄、FOV加大、处理能力越来越强时,VST(视频透视)和OST(光学透视)两个产品看起来的形态差距就没那么明显了。

  【OST祝铭明】我们要问的一个问题是OST(光学透视)真的需要那么大的FOV吗?VST(视频透视)一定是需要的,因为VST(视频透视)对人、真实世界的感知是不能丢掉信息的,当然你是看得越全越好。但是大家要知道OST(光学透视)其实对于真实世界,天然是不丢失信息的。而我们真正对数字世界信息的处理,本身人类有效的FOV也就这么多。所以FOV这个核心体验对于VR和MR或者VST(视频透视)的人来讲是非常重要的,反而在OST(光学透视)里是一个可选的东西。

  当然我们做通用计算平台,在使用不同东西时,对FOV也是有高低要求的。比如我在看电影时,FOV也不能太大。大家如果坐过电影院的第一排、第二排就知道FOV太大反而不舒服。而当我用OST(光学透视)做导航或者做信息提示的时候,对FOV的要求就更小。这也是现在很多AR产品的一个核心发展路径:做小FOV,但我也把能力局限在简单的信息提醒上。所以我觉得,当然OST(光学透视)的FOV是越大越好,但并不是说非得大到像VST(视频透视)那么大,两个技术路线各自所追求的东西不一致。

  大家都知道大部分情况下,人对信息的感知就是你眼睛所前视的那么几十度的FOV。如果抛掉人的视觉扫描,大脑和补全的画面来讲,真正清晰的FOV就是你把手伸直,把大拇指伸起来,你的眼睛、你的鼻梁跟大拇指形成的夹角的度数。我们看电影大概是一个40、50度到60度的FOV,这就已经够大了,再大就看不过来了。我们今天的Rokid产品已经在50度了。因为50度看的时候你已经会觉得太大,所以我们今天还反而做了一个最新的版本,还做了一个把画面缩小的动作。所以,到底在OST(光学透视)路径下,FOV是不是核心体验,我觉得是一个问号。

  【主持人严锋】翁总的理解,这个核心体验,是由FOV、沉浸感、分辨率这些东西构成。祝总的说法也非常有意思,他说其实这个核心体验跟不同的技术路线有关,所以不同的技术路线对核心体验的理解,或者说要求也不一样。那么在VR里面,FOV就是非常刚需了,那如果是AR的话,可能它还自带FOV,有天然的FOV。我的理解是在目前情况下,它确实就是一种妥协,就是说你是要轻便还是要市场大小,在目前很难两全的情况下,我们怎样根据自己的要求,无论是用户还是场景,能够有一个取舍,那么这也涉及到对MR的一个理解。

  05、VSTVSOST快问快答环节

  【主持人严锋】下面进入快问快答环节。

  问题一:随着技术的发展,VR将主要用于娱乐和游戏,而AR将主要用于实用应用和工作。您认为“是”还是“否”?

  【OST祝铭明】我觉得这个问题是做VR的人不认可,做AR的人也不认可。因为大家其实最终都想解决所有的问题。所以现在不要去下定论,说什么东西更适合娱乐,什么东西更适合生产。比如说Vision Pro和Quest3,也是比较明确地想往生产力方面去发展。反而是我们今天卖的AR产品反而偏娱乐多一点,玩游戏看电影的人多一些。最终大家都希望MR技术能够变成一个通用计算平台,既占领娱乐和生产力,甚至利用大家的碎片时间,如果真的能做到轻量化24小时佩戴的话。我相信小派也一样不甘心说只做娱乐。

  大家还是希望MR能成为一个通用的计算平台,这是我们大家一起努力的方向,这才值得期待。

  问题二:你认为AR和VR未来会融合成同一个产品吗?

  【主持人严锋】祝总认为AR和VR将来都会成为一个通用的平台。这其实也是我们的第二个问题:你认为AR和VR未来会融合成同一个产品吗?翁总,你觉得呢?

  【VST翁志彬】我认为会成为同一个产品。那时候可能就到了我们这个行业的下半场,AR的概念和VR的概念可能慢慢地消失。就像早年的手机有翻盖机、功能机、折叠机等等,但等到最终智能机出现后,那些手机就消失了。

  所以,一旦MR的概念推起来,就像刚才祝总提到的,当MR作为一个通用计算平台慢慢开始流行起来的话,那慢慢地大家就觉得AR和VR已经是过去式了。我认为MR可能是未来融合的一个形态。而且在未来很长一段时间,我们都会以这个概念去影响市场和技术。

  结论环节

  【主持人严锋】:两位嘉宾对MR设备透视功能的两种技术路线,以及发展前景都进行了非常精彩的描述。

  我的理解是,互联网和人机界面都要往前走,手机和电脑都要更新换代,我们需要更人性化的操作系统。所以空间计算和MR都代表未来的一个趋势。

  但具体这个路怎么走?可以有不同的路径,它也可以有一个发展的过程。

  在我们讨论当中,两位嘉宾都相信虚拟和现实一定会越来越联接和融合,这两者是缺一不可,但是可以有不同的联接和融合方式。

  AR方向的MR是在现实当中看见虚拟,这是OST(光学透视)擅长的路线,VR方向的MR是在虚拟中看见现实,沉浸感更强。我们相信在未来这两条路线也会越走越近,甚至合二为一。

  我们这一期的创投变辩辨就到这里,谢谢两位嘉宾,让我们下期再见!

  (导演:狮刀 编辑:腾讯科技 周小燕)

相关阅读