克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

1X999元,国内XR厂商给了一家不买Vision的厂家。 理由PRo。

创业四年——玩梦想技术,发布全新的安卓空间计算机“玩梦想MR”。

它拥有双目8K超清晰度显示屏,视觉感觉非常逼真,只有14毫秒的VST延迟。

这种指标可以说和苹果Vision一起 Pro非常接近,甚至几乎感觉不到区别。

"全面对标Vision Pro",国产MR真的这么强吗?  第1张

高画质、低延迟,是看电影的好选择,还配备了300多款游戏和应用,支持PC等设备的实时串流。

另外,玩梦想技术更是打出了全面堪比Vision的技术。 Pro的口号,那么玩梦MR到底是什么样的产品呢?

注意:具体价格尚未公布

超高清画质8K,娱乐办公全部覆盖

在硬件上,玩梦MR配备了MR。第二代骁龙XR2高通 芯片、双目8K Micro-OLED屏幕高清摄像机双3200万像素

超高清晰度显示屏,用来看电影是一种很容易想到的用途。

玩梦想MR就是了IMAX和DTS世界上第一个空间计算和混合现实领域的合作伙伴,在观看场景中表现出色。

另外,在玩梦想科技自研的影院模式下,支持在空间中1:1还原超千寸IMAX级巨幕。

DTS定制空间混响音效可以在听觉上支持,模拟7.1声道的音效,带来真实的沉浸式观影体验。在此基础上,玩梦想MR也可以在播放电影的同时,用电影院代替空间中的场景,体验看电影的感觉。

"全面对标Vision Pro",国产MR真的这么强吗?  第2张

自然,花几千块钱买一台电影播放器,再怎么沉浸也要贵一点,所以,其它功能也是必不可少的。

"全面对标Vision Pro",国产MR真的这么强吗?  第3张

比如空间游戏,目前玩梦想MR支持MR游戏、VR游戏、大屏幕2D游戏。生态系统中有300多种游戏或应用,涵盖的类别也非常丰富。——

另一方面,FPS面向重度游戏玩家。、动作类游戏(如《玩命特攻》);另外一方面,也有偏休闲益智类游戏。(例如《梦境世界》),能满足不同喜好的玩家。

"全面对标Vision Pro",国产MR真的这么强吗?  第4张

在早期调查中,一些游戏,如《死后:冬天》、《梦想世界》等,有一定的用户数量和粘性,很受玩家欢迎。未来玩梦想技术会和更多厂商合作,引入爆款游戏。

"全面对标Vision Pro",国产MR真的这么强吗?  第5张

除游戏本身外,交互方式也十分丰富,在AI技术的赋能下,设备既可通过眼动、手势控制,又可通过语音控制;

你也可以拿起手柄,这样你不仅可以更真实地感受到手中的重量,还可以接受手柄拟真力的反馈,让空间交互,尤其是体感游戏变得更真实,同时让控制在射击和动作游戏中更准确。

"全面对标Vision Pro",国产MR真的这么强吗?  第6张

此外,使用设备上的双3200万像素高清摄像机,无需手持设备即可拍摄真实空间视频。

并且玩梦MR还加入了防抖算法,拍摄视频时不必担心手抖。

拍摄的视频也不需要后期处理,拍摄后可以直接观看,其它设备拍摄的空间视频也可以播放。

"全面对标Vision Pro",国产MR真的这么强吗?  第7张

玩梦MR除了这些娱乐功能外,还可以应用于办公生产力场景。

除了相关的应用程序,计算机屏幕也可以串流到空间中,可用的显示空间变得更大,但操作习惯不需要改变。你可以像往常一样在MR环境中工作,使用鼠标键盘。

"全面对标Vision Pro",国产MR真的这么强吗?  第8张

当然,如果你想长期使用它,除了功能越多越好之外,佩戴体验也很重要。

玩梦MR穿起来很舒服,它的重量分布经过专门的分配设计,采用了3:2均衡配重,能减轻颈部和面部的佩戴压力,即使长时间佩戴也不容易疲劳。

此外,12mm的超大眼盒设计,睫毛不易接触镜片,还支持51-78mm的自动瞳距调节,适应不同用户的生理特点。

"全面对标Vision Pro",国产MR真的这么强吗?  第9张

从增加应用场景到改善使用体验都可以说是效果拉满,而背后应用的技术,可想而知是一个巨大的工程。

充满AI的技术细节

要达到这种效果,需要在算法、硬件、光学等领域积累技术。

70%的梦想科技团队成员是技术研发人员,包括光学、硬件、软件、算法等全链路。全栈式自主研发能力可以说是梦想科技的一大优势。

在这些工作中,软件和算法的研发主要集中在三个方面——动作跟踪(交互)、地图构建,以及光学(视觉)层面的优化。

在这些因素中,交互和视觉对我们来说更容易直接感受。

★手眼语音多模式融合交互交互。

在互动方面,之前已经介绍过很多使用方法,比如梦想MR支持手柄、手势、眼动、语音等。,这需要头部、手部、手柄、眼动等跟踪能力。

  • 在头部跟踪方面,多个摄像头负责捕捉头部的运动信息,IMU通过传感器整合算法提供角度变化信息,将这两个数据结合起来,获得头部在空间中的精确位置和方向。玩梦想技术布局头部6DoF跟踪技术,可以实时捕捉用户头部的位置和方向,实现头部控制视角的转换,增强MR体验的沉浸感。
  • 通过分析摄像头图像中手的形状和纹理,手部跟踪可以估计手的位置、朝向和每个关节的角度。这需要大量的训练数据和精细的模型设计。梦想技术专注于手部26DoF跟踪技术,不仅可以识别手的位置和方向,还可以检测每个手指关节的运动,实现更加灵活自然的手势交互。
  • 眼动跟踪通常通过近眼摄像头和红外发射器实现。红外光照射眼睛,近眼摄像头捕捉眼睛对红外光的反射,通过分析反射光斑的位置来估计眼球的旋转,判断眼球的注视点。在配备高精度眼动跟踪的同时,玩梦想技术还探索眼动跟踪用于渲染优化、身份识别、 为了提高显示效果和交互体验,视线跟踪等领域。

值得注意的是,这些互动方式并非独立使用,在实际过程中往往需要将多种方法融合使用。

因此,除了分别对这三种跟踪技术进行布局外,玩梦科技也在将这些技术进行整合和协作。

利用传感器整合算法,玩梦想技术对不同跟踪技术的数据进行时间同步和语义理解,从而准确地分析用户的意图。

举例来说,当用户看到一个物体并用手指指向它时,设备需要将眼动数据与手势数据结合起来,以确定用户想要选择这个物体。

这样就需要同步和整合不同传感器来源的数据,并且通过机器学习算法来理解用户的意图。

不难看出,在交互技术中,机器学习的影子频繁出现,AI已经深度融入到MR的技术底层。

★双目8K Micro-OLED 逐台校准显示屏

从光学层面来看,VST是MR设备的核心功能之一,在这方面实现了14ms的超低延迟,与苹果Vision基本相同。 Pro持平。

高通第二代骁龙XR2与之搭载。 当然,芯片的计算能力是分不开的,但是R&D团队需要优化算法,比如去除安卓系统的冗余部分,这样才能充分利用芯片的优势。

为了更快的响应速度和8K的超高清晰度,玩梦想技术选择了8K,显示精度更高。 Micro-OLED显示屏。

除核心屏幕外,玩梦想科技自主研发的4片式超轻树脂Pancake光学方案也非常重要。

通过精确的设计和计算,玩梦MR可以最大限度地减少光学系统引入的衍射和像差,从而保证成像质量。

此外,为了达到更准确、更一致的显示效果,梦想科技对所有设备逐台进行了色彩校准和几何校准,以确保显示偏色。ΔE<三是双目视频误差小于0.01°,而且双屏色温,亮度高度一致。

★AI在地图上贴上语义标签。

另外一张地图构建的模块,人们的感觉也许不那么直观,但是仍然很重要。

由于要实现虚实融合,设备不仅要感知用户,还要感知和理解周围环境。

玩梦MR的地图模块可以通过传感器快速感知周围环境,并生成由三个要素组成的地图数据:点云、网格和语义标签。

而且语义地图的生成,需要同时使用几何信息和视觉信息,就像动作跟踪模块一样,这一过程同样“AI含量满满”。

第一,设备通过三维重建算法生成环境的几何模型,并与摄像机拍摄的图像相匹配,为每个几何元附加相应的色彩纹理。

接下来是理解语义的步骤。设备通过深度学习算法分析每个像素或网格面片的物体类别,生成语义标签信息并添加到地图数据中。

除了地图本身,梦想技术还优化了存储、算法效率和数据组织,使得语义地图的生成和访问非常高效,可以支持实时应用需求。

借用苹果东风

在拥有大量技术积累的同时,需要指出的是,只有这些技术才能实现产品的批量生产。

由于在硬件方面,尤其是一些定制组件,初创企业往往还面临着供应商不愿专门生产定制配件的困境。

理由也很充分——定制配件需要调整生产线,而新品种的配件需求无法保证,难以给供应商带来好处。

然而,头部玩家苹果的进入改变了这种情况。——Vision Pro还向供应商展示了MR的未来,并开始重新审视相关配件的利润点。

玩梦科技CMO朱然认为,苹果开启了空间计算时代的序幕——

无论是市场教育水平、供应链整合,还是内容CP厂商的积极性,苹果的进入都起到了快速的推动作用。

朱然还表示,小企业没有苹果那么多的营销资源来进行大规模的市场教育。

但是在苹果进行了市场教育之后,只要建立了自己的产品差异化和品牌差异化,就能在细分市场中获得一席之地。

事实上,对初创企业而言,借助于头部选手的东风,建立自己的产品体系,确实是一个潜在的发展思路。

不只是供应商,苹果Vision Pro还向用户展示了空间计算的未来,让用户看到MR设备不是花拳绣腿。

在这一趋势的推动下,XR终端的数量将会增加,内容生态闭环将会被打破,大量高质量的应用将会涌现出来,带来行业的繁荣。

最终回到这次发布的玩梦MR,它将于今年下半年在国内外正式上市。

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间了解前沿科技动态