空间智能平台将成为XR/AR元宇宙时代的最核心资产。
作者 | 木南
编辑 | 栗子
2022年12月22日,宸境科技在广州成功举办了全球首个端云融合的XR/AR元宇宙平台发布会,首次定义了由MirrorScene、MirrorSpace、MirrorSuite三大核心模块组成的MirrorVerse平台。
或许你会问,什么是“端云融合的XR/AR元宇宙平台”?
目前,通往元宇宙的路径可粗略分为两条:一条是以VR技术为主导,完全搭建一个脱离于现实的虚拟世界;另一条则是以AR、数字孪生技术为主导,将虚拟世界与现实世界融合。
两条路径没有孰优孰劣,但目前看来,在数字空间搭建一个完全脱离现实的虚拟世界还更多属于“科幻”范畴,回归实际,Meta、Niantic、Apple等巨头都对后者的“虚实融合”路线颇感兴趣。
AR和数字孪生技术可谓是“一体两面”,一个将虚拟世界叠加与现实,一个将现实复刻于虚拟世界。但单纯的叠加、复刻都容易让人置身其中时产生一种割裂感,那么,如何打破这种割裂,让虚拟与现实两个世界相互融合呢?
空间智能技术便是打开两个世界之间最后一扇门的钥匙。
所谓空间智能(Spatial Intelligence),即通过空间计算能力和AI能力将物理世界中的空间、场景、数据、用户链接起来,与虚拟世界相结合,从而拓展感知边界,为用户提供新交互体验。这是多种新兴技术的融合,包括多传感器融合、城市级空间数据云、低延时空间定位、实时三维场景感知和理解等。
此次宸境科技发布的端云融合的XR/AR元宇宙平台MirrorVerse就是一个集“空间感知-空间理解-空间重建-空间编辑-空间共享”全链路技术为一体的、实时可交互的空间计算平台。
宸境科技是谁?
宸境科技成立于2019年,创始团队相当豪华。其核心团队均来自清华姚班、麻省理工、斯坦福等名校,并在谷歌、Meta、百度、大疆、小马智行等科技企业有着多年的从业经历。
三年以来,年轻的宸境科技已斩获国内空间智能元宇宙领域的多个“第一”——它是中国首家新华社报道的元宇宙公司、首家获得测绘资质许可的空间技术公司、中国首个与手机厂及主机厂同时建立战略合作关系的公司;此外,宸境科技打造了中国第一个空间智能示范区及首个城市级镜像世界。
三年磨一剑,宸境科技终于迎来了首次“亮剑”时刻。
以下将为大家带来本次发布会的亮点回顾:
1.空间智能是元宇宙的核心资产
发布会开场,甲子光年创始人&CEO张一甲便解读了甲子光年智库《中国空间智能行业前瞻报告:打造XR/AR元宇宙的技术基石》。
甲子光年创始人&CEO张一甲
如今,政策和产业变化都表明,元宇宙已经从梦想照进现实,成为大势所趋。而VR、AR、数字孪生、空间智能等数字技术的发展, 才真正决定了人类究竟能在什么时间进入元宇宙,并在其中获得良好体验。
张一甲从技术层面,剖析了空间智能和元宇宙的关系。她提到,若将元宇宙产业打开,便可以看到“三阶七层”的产业机构。如图:
图片来源:甲子光年智库
而“空间智能”位于七层价值链中的中间层。空间智能通过空间计算能力和AI能力将物理世界中的空间、场景、数据、用户链接起来,与虚拟世界相结合,拓展感知边界,为用户提供新交互体验。
本质上,空间智能是一种实时可交互的智能空间计算平台,而这种桥梁平台需要从感知、到理解、到重建、到编辑、再到共享的全链路能力:
首先,通过多源传感器和计算机视觉技术,快速、准确地感知现实世界的环境与物体;
其次,由机器去实时学习、处理感知到的信息,理解环境与食物元素的变化;
接着,实时重建出一个与真实世界1:1的,虚实融合的空间网络;
然后,开发者或虚拟内容的创造者可以编辑创造各种形式的虚拟内容,并可以将其自由放置在空间网络当中去;
最后,通过对手机、眼镜、汽车等多种终端交互设备的适配,使不同终端可以接入同一空间,并且在该空间内实现互通,实现网络效应。
这样的空间智能平台,也将成为连接用户和内容的终极方式,推动新型互联网下虚实相融的社会形态。由此,元宇宙将能够重塑整个数字经济体系的运行方式,而这其中核心的空间智能平台也将成为XR/AR元宇宙时代的最核心资产。
除技术解读外,张一甲还列举了空间智能现有的三大主要商业模式:
1)to C模式。在空间智能的统一底座之上,开发UGC(用户生产内容)平台和SPGC(半专业生产平台),为普通用户和半专业用户提供世界编辑工具,让C端用户可以在虚拟空间中创造虚拟内容,丰富体验。
2)to B和G模式。在空间智能的统一底座之上,建设有边界的私有虚拟空间,为城市空间、应急指挥、文旅商贸等场景提供空间智能操作系统,让B端、G端的用户实现特定功能的开发。
3)to V,即对智能网联车的模式。通过构建实时车道级高精度的空间数据集,建设车用的空间信息共享和交互平台,以实现AR实景导航,提升驾驶体验,助力智慧交通发展。
国际一些头部科技企业已经为国内发展元宇宙的空间智能打了样。
一类是以Apple、Meta、微软为代表的生态型厂商,通过技术研发和并购,整合元宇宙落地的关键技术,建立以空间智能技术为核心的垂直元宇宙生态,构建基本覆盖三层七阶的完整元宇宙闭环,实现覆盖式布局。该类型适合大厂布局元宇宙的策略。
一类是以Unity、Niantic、Epic Games为代表的平台型厂商,其专注空间智能和3D计算引擎本身,专注为开发者和用户提供搭建元宇宙的平台与工具,属于空间智能技术的独立厂商。该类型适合专注空间智能技术的厂商布局进入元宇宙。
「甲子光年」则认为,想要推动元宇宙在中国的加速落地,中国市场上需要一个中国本土的空间智能技术厂商,可以合法合规地采集本土空间数据,以构建与一个真实世界1:1的3D元宇宙基础架构,为广大开发者和消费者提供元宇宙虚拟内容的创作平台与工具链。
同时,也需要一批生态型厂商,为元宇宙的应用场景落地提供大量实践,为推动元宇宙的虚实融合发生提供全生态服务支撑能力。
宸境科技,便是中国空间智能赛道的“头号玩家”。
2.“一旦建立便可以使用100年的基础设施”
随后,此次发布会的主角终于亮相。宸境科技CEO胡闻正式发布了全球首个端云融合的XR/AR元宇宙平台——MirrorVerse。
在正式介绍产品之前,胡闻系统地分享了自己沉淀多年的行业思考。
宸境科技创始人&CEO胡闻
谈及创业初衷,胡闻表示,我们当时想做一个非常与众不同的事,这件事要能够真正推动人类前沿技术的进步,并且能够成为时间的朋友,能在百年之后依然存在,并且越来越强大。
基于此,宸境科技希望能够打磨出一个“一旦建立便可以使用100年的基础设施”。
胡闻进一步表示,此次发布的MirrorVerse可能产生非常可观的商业价值。
XR/AR眼镜兼具手机的移动属性和汽车的品牌属性,充分具备成为下一个时代现象级产品的潜力,并且能够通过传感器模拟人眼,实现全视域的视觉增强,从而将用户体验的边界从2D屏幕拓展到3D空间中。
因此,作为XR/AR元宇宙平台,MirrorVerse展现出三层商业潜力:
首先,XR/AR眼镜直接从空间获取信息,极有可能成为未来流量的入口;其次,互联网时代的平台型机会已经非常少,而元宇宙时代,可能出现新的平台型机会,即宸境科技有机会做出一个空间型的底层平台,在上面长出各种各样的空间应用;最后,这套平台能够夯实人们在元宇宙世界中共享化、协同化的多人沉浸体验,而商业化过程中,和人的感受结合越紧密的产品越有价值。
MirrorVerse拥有“MirrorScene”“MirrorSpace”及“MirroSuite”三大模块,全面覆盖室内、室外及多移动端三大空间场景。
其中,MirrorScene为室内协同式3D扫描工具,可以通过多个移动设备(如智能手机、智能眼镜、iPad)进行协同式空间信息采集、 可分享的空间锚点生成、快速高质量视觉三维重建、实时空间信息语义分割等技术处理,实时构建数字空间,提供共享化协同化的虚实融合空间体验。
基于MirrorScene,只需要单颗普通的摄像头,便可构建以真实世界为模板的共享化数字空间,让每个用户都能参与到虚实融合的空间内容创作中。值得注意的是,该模块最多可支持8人同时接入采集,并实现实时点云延迟100ms,Mesh延迟2000ms,Anchor重定位精度:<10mm, <1°,能为用户提供良好的沉浸体验。
来到室外,国内首个自生长的空间定位引擎MirrorSpace也能为用户提供沉浸式的AR体验。
MirrorSpace是构建沉浸式AR体验的核心基础设施,让开发人员能够以厘米级的精度(成功率>99%,冷启动时延<500ms)确定用户的位置和方向,将虚拟内容锚定到空间中,并与它们所在的空间进行交互,彻底打通虚拟与现实,在真实世界上构建虚实融合的元宇宙空间,提供共享化、协同化的空间体验。
MirrorSpace特别关注了地图如何更新的问题,并给出了自己的解法:自生长空间构建策略。具体来说,MirrorSpace的建图过程,不仅包括了前期使用自研采集设备的数据,也包括了运营期间来自不同设备的用户数据。在提供服务的同时,云端可以自动发现地图的变化并更新,以保证定位成功率在长时间维持在99%以上,现在80%的工作可以靠自动化完成,人力成本大幅度降低。
基于公司MirrorSpace的底层技术,可以打造室外场景的丰富空间型的应用:
宸境内部技术测试实景效果截图
MirrorSuite则为跨平台全设备通用的空间应用开发套件,是本地空间的入口,在移动端实现高精度(追踪误差<1%,定位精度<1cm&1°)、低延迟(原生移动平台刷新率200Hz,Web小程序平台刷新率30Hz,初始化500ms)、低功耗(算法功耗仅0.2W)的位姿感知和虚拟物体交互。同时覆盖多种移动终端(智能手机、智能汽车、智能眼镜)和跨平台支持(iOS,Android,微信小程序,Web全设备通用)。
3.我们究竟需要什么样的空间智能?
接下来,发布会进入主题圆桌环节。
宸境科技联合创始人、架构师吴伊自,传感器技术研发总监颜沁睿、空间感知技术研发总监杨振飞、车端业务技术负责人刘思远出席圆桌,宸境科技联合创始人兼副总经理曹田甜担任本场圆桌主持,诸位围绕“实现XR/AR元宇宙,需要什么技术储备?”这一主题,展开了热烈讨论。
圆桌开始,几位依次分享了各自想象中元宇宙的理想形态。对此,吴伊自表示,他理想中的元宇宙是对多重世界的叠加设计,其中包含一个宏观的真实物理世界,以及多个大大小小叠加在物理世界之上的虚拟世界。
如今,人们关于元宇宙的理想固然美好,但要将理想照进现实,依然需要面临许多实际的技术挑战。几位嘉宾分别从硬件、软件、上层应用三个维度进行了分析。
硬件层面,颜沁睿表示,元宇宙第一个要解决的主要问题就是如何进入元宇宙。为此,宸境科技投入了大量资源,试图打造最接近人类直觉感知的入口。
软件层面,杨振飞表示,元宇宙的发展还是需要以硬件交互设备的演进为牵引,不断前进的,随着社会越来越轻,显示效果越来越好,会有越来越多的应用生长出来。
应用层面,吴伊自则表示,初级阶段的空间型应用更多是“点”状的标记,例如,GPS的LBS应用、手机扫码应用等,更多是标记物理世界的一个特定锚点,联系到局部的小空间,但这个小空间并不知道其他的空间,也不知道用户的位置。而元宇宙则需要实现物理世界和数字世界的深度融合,实现从点到线再到面的体验突破。
值得注意的是,在实现这一突破的过程中,需要面临的一个问题是,要让用户拥有更好的沉浸式体验,需要最大限度保证镜像宇宙中有最新的空间地图,同时要尽可能弥合不同传感器感知信息的差异,这便对技术提出了更高的要求。
对此,宸境科技已经形成了成熟的应对方案。颜沁睿表示,宸境科技搭建了强大的工程团队,通过打造轻便可量产的空间构建设备,高效的数据处理流程,让三维数据的获取和处理更加快速高效。只要数据采集处理的效率足够高,我们就能够最大限度地保证空间数据新鲜可用。
关于多传感器融合问题,他进一步表示,一直以来,大家的直觉都是传感器越多信息越丰富,感知精度也会越高。但其实如果处理不当,融合结果会被系统中表现最差的传感器所拖累。宸境科技则通过极高精度的数据同步对齐方案,配合强大的算法在不同场景下识别出最值得信赖的传感器,让其空间云数据可以以极高的精度,覆盖城市空间中的每一个角落。
目前,空间智能技术已经开始在实际场景中落地。除大家熟知的文旅、商业、娱乐场景外,宸境科技已经在化工园区、城市空间管理及数字政务等场景有了较好的结合成果,并正在探索C端的应用场景。此外,刘思远表示,目前车端业务的技术和产品也在快速迭代,并已与车厂、Tier1正式开展合作。
可以预见的是,随着元宇宙的发展,空间智能赛道也将迎来上升期。对于行业未来的发展趋势,在活动开始前的媒体交流环节,胡闻也分享了自己的判断。他表示,未来三年空间智能赛道会进入一个百花齐放的爆发期。
未来已来,宸境科技用科技在现实与科幻之间架起了一道桥梁。让我们有理由相信,元宇宙就在不远的未来,而宸境科技已经带领我们已经踏出了关键的一步。
让我们一起期待宸境科技的下一次蜕变,也期待我们想象中的元宇宙早日成为现实!