混合现实mr技术应用场景（前沿科技混合现实）

作者 | Louis Rosenberg

编译 | YIFEI

对于许多人来说，“元宇宙”这个词已经被负面的含义所玷污，让人联想到充满可怖化身的卡通世界，或者出售“虚拟房地产”的机会主义平台。对另一些人来说，这个词只会让他们耸耸肩，然后问：“我为什么要花时间做这件事?”

就我个人而言，我认为现在注销元宇宙还为时过早，我们还有事要做。游戏行业需要部署更真实、更艺术的体验，释放真正的创造力和生产力。我们还需要纠正对元宇宙最大的误解：认为虚拟世界将取代我们的现实生活。

元宇宙不是这样展开的。

不要误会，会有流行的完全模拟的虚拟世界，但这些将是我们在几个小时内陷入的临时“逃避”，类似于我们今天看电影或玩电子游戏。但真正的元宇宙，那个深刻影响我们日常生活的元宇宙，不会把我们从我们的物理环境中移除。

相反，元宇宙将是一个混合的现实，其中沉浸式虚拟内容与现实世界无缝结合，扩展和美化我们的生活。Meta和HTC最近几个月都推出了令人印象深刻的新款耳机，使得质量好坏参半的现实成为可能。据广泛报道，苹果公司将在六月份发布一款混合现实的产品。

很简单，我们不喜欢与周围环境隔绝。当然，你可以在一个完全模拟的世界中给别人演示。让同一个人在完全的虚拟现实中呆上一个小时，他们可能会不太舒适。几乎两个小时对很多人来说太多了。有些人认为，混合现实之所以有用，是因为它满足了人们看一眼物理空间里的东西的欲望，桌子、手机、甚至你的狗，但实际上，它的意义远不止于此。

这与我们的大脑是如何工作的有关——我们建立的周围环境的心理模型不仅包括我们周围看到的东西，还包括我们在这个世界上听到和感觉到的东西，以及我们对已知事物的记忆。它给了我们态势感知，所以我们不需要一直扫视房间。我们可以专注于眼前的事物，但仍能在一个连贯的空间中感受到当下。

但在一个完全虚拟的世界里，坐在桌子前或者站在一个房间里，我们能感受到周围的房间，杂乱的桌子和在大厅里狂吠的狗，和眼前的虚拟世界之间几乎总是不匹配，因此会感到不安。

这种现象第一次出现是在1991年，当时我还是斯坦福大学和美国宇航局的虚拟现实研究员，研究如何在早期视觉系统中优化深度知觉。那时候的技术很粗糙，不舒服，图像笨拙，延迟太严重，会让人感到恶心。正因为如此，许多研究人员认为我们只是需要更好的硬件，人们在虚拟世界中不会感到不舒服。

诚然更好的硬件会有所帮助，但我非常确定还有其他事情在发生，至少我的大脑在我能看到的虚拟世界和所能感觉到的真实世界之间存在一种紧张关系。我相信，正是这种两种对立的思维模式之间的感知冲突，让人感到不安，让虚拟世界看起来不那么真实。

为了克服这种情境不匹配，我想利用虚拟现实的力量，将它与真实环境结合起来，创造一种视觉、空间和物理感官完美结合的统一体验。如果能够与现实和虚拟互动，就好像它们居住在同一个感性现实中，那么精神紧张感就会消失。

幸运的是，1992年，我得到了美国空军的资助，在赖特 · 帕特森空军基地开发了一个混合现实系统的原型。它被称为虚拟装置平台。它不仅支持视觉和声音，还支持触摸和感觉（通过3D触觉) ，将虚拟物体添加到物理世界，感觉十分真实，从而帮助用户以更快的速度和更灵活的方式执行手动任务。希望有一天这能够支持范围广泛的活动，从协助外科医生进行微妙的手术到通过遥控机器人控制帮助技术人员修理卫星。

当然，第一个MR原型并不支持手术或卫星修复。它的构建只是为了测试虚拟对象是否可以添加到现实世界的任务中，并提高人类的表现。为了测试这一点，我编写了软件来创建各种虚拟装置，帮助用户完成任务。这些固定装置从虚拟的表面和锥体到模拟的轨迹，我们可以沿着它滑动，而早期的直通摄像机则以3D方式对准活动。我甚至使用了美国空军(AAMRL)开发的早期3D音频，以确保声音在空间上是一致的。它确实起作用了，提高了速度和精度。

Virtual Fixtures project (1991–1994) at Air Force Research Laboratory — first Mixed Reality (MR) experiments in augmented real / virtual 3D space.

虚拟装置项目(USAF) : 用户和任务板/并排1993

当我第一次把一个真正的钉子移到一个真实的洞里，一个虚拟的表面自动打开了。虽然是模拟的，但感觉是真实的，让我沿着它的轮廓勾画。在那一刻，真实世界和虚拟世界成为了一个现实，一个统一的混合现实，其中物理和数字成为了一个单一的感知体验，满足了所有空间感官——视觉、听觉、本体感觉、动觉和触觉。当这一目标实现时，你就不再思考哪个部分是物理的，哪个部分是模拟的——那就是现实。

那是我第一次经历一个真正的混合现实。这可能是第一次有人。我之所以这么说，是因为一旦你与真实和虚拟的互动结合成一个单一的身临其境的体验，你所有的感官都会在空间上保持一致，这两个世界会在你的脑海中合二为一。这几乎就像是一种视觉错觉中有一张隐藏的脸你看不到，然后有东西点击，它就出现了。真正的混合现实体验应该是这样的：真实和虚拟的无缝融合，如此自然和真实，以至于你立刻意识到我们的数字未来将不是真实或虚拟的，而是两者兼而有之——一个世界，一个现实。

相隔30年的混合现实技术(1992-2022)

我对这个行业的发展印象深刻，尤其是在过去几年。上图（左图）显示的是1992年我在赖特 · 帕特森空军基地拍摄的混合现实(MR/AR)。右图是2022年的我，戴着一个混合了彩色现实功能的Meta Quest Pro耳机。在这30年间，这项技术在性能、效率和尺寸方面都取得了惊人的进步。

而看不到的是，30年前为了进行我的美国空军实验而运行的大量的全尺寸计算机、安装在天花板上的摄像机，或者是我身后的巨大的线束，线缆连接着各种机器。这就是为什么现代耳机的新浪潮如此令人印象深刻。一切都是独立的，电脑、摄像头、显示器、追踪器……而且它很舒适，重量轻，电池供电。太不可思议了。

这才刚刚开始。混合现实的发明是一个持续的过程，令人惊叹的新产品随时准备起飞。不仅仅是Meta、HTC和苹果令人印象深刻的新型耳机将推动这一愿景向前发展，还有来自Magic Leap、Snap、微软、谷歌、联想、Unreal、Unity和许多其他大公司的轻质眼镜和创意软件工具。

与此同时，无数的开发者正在挑战创造力和艺术性的极限，开启真实和虚拟混合的可能性，从新型棋盘游戏(TiltFive)和强大的医疗用途(Mediview XR) ，到Niantic实验室的非凡户外体验。

这就是为什么我相信元宇宙。真正的元宇宙，将是真实和虚拟的融合，无缝地结合，用户将不再思考哪些元素是物理的，哪些是数字的。我们只会继续我们的日常生活，并参与一个被神奇地修饰过的现实。这已经酝酿了很长一段时间，但2023年将是我们的混合现实未来真正开始成型的一年。