Nreal吴克艰：AR眼镜将成为下一代计算平台

　　3月31日，LiveVideoStackCon音视频技术大会北京站正式开幕，本次大会以“音视频+无限可能”为主题，邀请业内众多企业、技术专家、学者，共同探讨多媒体音视频在技术升级、业务场景以及应用创新等方面的探索与实践。Nreal联合创始人、算法负责人吴克艰博士受邀出席，分享在AR行业产品技术和应用落地等方向的心得和体会。吴克艰博士本科毕业于浙江大学竺可桢学院，信息科学与电子工程学系，后赴美国明尼苏达大学电子与计算机工程学系留学，并取得博士学位，留美期间曾参与多项由业内知名企业主导的研发项目，其中包括与 Google 的 Tango 和 ARCore 项目合作，研究基于视觉惯性的定位导航和建图算法、及其在移动平台上的虚拟现实 (VR)和增强现实(AR)的应用。

　　音视频技术在整体大环境的影响下，近年来呈现出迅猛的发展趋势。吴克艰博士聚焦AR行业，从互联网发展、底层关键技术、Nreal在行业中的探索和成果三个角度进行了分享。对于未来互联网的发展，吴克艰博士认为AR作为连接虚拟世界和现实世界的桥梁，本质上是把虚拟的数字化信息与物理三维环境相融合，使人们可以更好地进行数字化信息的获取与交互，形成真正的“虚实融合”。因此，AR眼镜也成为被普遍认可的下一代个人计算平台。

　　以下为吴克艰博士演讲全文：

　　我是来自Nreal的吴克艰，今天非常高兴跟各位音视频社区专家和从业者们在AR行业产品技术和应用落地等方向，分享我们的一些心得和体会。

　　根据进化论的观点，人类从猿猴往人类进化当中，有两种事情非常重要，一个是人的直立行走，第二是人对工具的使用，现在大家平常使用的电脑或者手机是对于我们个人来说确实是一个非常强有力的算力平台，给我们带来生活和工作各方面的便利。但是我们经常会看到，当大家在使用电脑和用手机的时候，一方面它给我们带来了便利，另外一方面又把人限制在非常有限的使用方式、使用场景和空间中。我们经常伏在案前去使用电脑，低着头玩手机，相当于人从直立状态回到卷曲状态，我们应该要解决的一个问题就是通过下一代互联网智能终端或者个人算力平台终端，让人重新从弯着腰的状态重新直立起来。

　　我们回顾过去几十年互联网发展，最开始由PC个人电脑作为终端，在这一代的互联网上，主要解决的是个人算力的问题。最近这十年、二十年智能手机发展，我们每个人拥有了自己可移动算力平台，主要解决的是移动和连接的问题。对于这样的平台来说，为了移动便捷性和可携带性，其实牺牲的是屏幕尺寸，我们跟它的交互方式相对还是比较单一，只能通过点击触摸屏的方式。我们认为从解放体验角度来说，下一代的互联网对应的个人计算平台终端首先要把我们整个显示和交互空间，重新从一个有限2D屏幕释放到我们平时正常生活的真实物理空间，也就是3D物理空间。

　　整个交互方式也不仅仅局限于小的屏幕，而是在生活中通过语言、视觉、手势等方式跟真实的物体、人交互，我们觉得下一代互联网体验定义为空间互联网。因为要实现整个在真实物理环境中叠加显示所有3D的数字信息，最关键的核心技术就是我们所谓的AR眼镜硬件平台。

　　空间互联网硬件平台包括整个硬件基础设施，包括计算芯片、传感器、通信等。再往就是交互入口，就像VR或者AR眼镜形态。软件数据层包括操作系统包等数据层面的东西。最上面才是体验层，包括3D内容开发平台，最后才是对普通用户来说可以看到的一套体验的应用。

　　我们认为空间互联网会是下一代互联网的发展方向，主要解决的是体验和效率问题。作为下一代空间互联网核心的入口和计算平台，AR眼镜想要实现虚实结合功能，有三个非常核心功能或者底层技术，3D显示、3D感知和3D交互。从3D显示技术上看，非常重要一件事情是提升屏幕尺寸。从有限物理显示屏变成无限大的数字显示屏是我们觉得AR眼镜首先从显示尺寸这一维度带来的提升。对于AR或者空间互联网来说需要把整个虚拟场景跟现实世界结合，并可以感知和识别到周围才可以交互。3D感知和交互技术最主要核心技术是算法。很多功能是由计算机视觉相关的算法功能所带来的。

　　在AR、VR行业里面常见的计算机视觉技术在行业里面的应用大概分为以下的几个方向，首先是运动追踪者，包括对头显的追踪和对周围场景物体的追踪。从交互方面看，既包括一些控制器、手柄这样的交互，也包括眼动交互，通过眼动的追踪和交互技术可以通过你的眼睛指向来选择一些东西。从3D感知来看，包括对周围环境几何结构和语音的感知，以及对整个空间3D地图的建立和3D场景的定位。

　　提到交互就不能不提到Chat GPT，钢铁侠电影非常好的展示AR和ChatGPT这种个人助手的结合，钢铁侠可以呼唤JARVIS作为助手帮你，通过AR显示包括对周围环境的识别，就能对周围有一个AR化的控制。由此来看，ChatGPT对AR行业来说也是非常革命化的突破，基于Chat GPT的强大的计算分析能力，未来AR眼镜可能将成为世界上最了解你的个人助手。

　　介绍完前面几个关键技术以后，最后一个部分简单跟大家分享在Nreal在这个行业探索的历程和心得。Nreal是一个给消费者端的AR行业带来一些突破的公司，我们定义为全球第一款消费者形态的AR眼镜。我们的主要产品包括硬件和软件系统两个部分，硬件有两代产品，分别是Nreal Light和Nreal Air。我们去年开始正式大规模售卖叫Nreal Air的眼镜，最后取得的十万台出货量的成绩，虽然这个体量跟手机行业远远不及，但是在消费级AR来说是前所未有的突破。

　　那么Nreal的眼镜，作为AR眼镜首先是可以看到外面世界的，但是你必须要做它做的足够轻薄、时尚和好看，大家可才愿意把它戴上。另一方面所提供的是一个双目的1080P的高清显示，它等效的显示大小相当于在4米处200寸的屏幕的效果，并且我们在整个佩戴体验上面做了非常多的优化，那有了这样一个眼镜以后，我们认为对消费者来说有哪些场景呢?首先就是口袋巨幕，随时随地都有一个非常大的可携带屏幕。我们也跟蔚来这样的车企合作，在整个车上从技术上也解决了很多像抖动等等这样一些防眩晕的问题，给汽车上的娱乐体验也实现了升级。我们也在适配性方面做了很多努力，因为目前行业还并没有标准各种平台软件硬件的接口定义还没有完全拉齐，为了让我们产品适合各种各样的手机软件、游戏主机等平台，我们做了非常多的努力。

　　最后总结一下，我们认为短期之内，Nreal Air主打显示、移动数字屏取代物理屏的市场是合理并且存在，短期之内会在娱乐、办公等等场景里面体验升级，从长期来看我们还是期待AR真正能力的释放，因为AR能力不仅仅是一个显示，更多是我们所说对周围信息重新3D化的组织和跟真实世界的结合，也就是刚才一开始介绍的空间互联网，以上是我们所分享的内容，在硬件和交互体验去应用产品，非常欢迎大家去体验。