注意
请允许一个小的加载窗口来考虑此页面上所有很酷的 GIF 和嵌入视频。
了解如何针对混合现实进行设计可能很困难，因为媒体并不总是很好地转换为 2D 设计过程。 在Microsoft，我们为HoloLens 2创建了一个免费应用，以帮助你直接了解混合现实 UX 设计的基础知识。 设计全息影像应用的独特方法深入探讨混合现实行为、提示和建议，以帮助你创建自己的引人入胜且令人惊叹的 HoloLens 应用。 从Microsoft应用商店免费下载应用，并向Microsoft混合现实设计团队学习！
下载设计全息影像应用
设计全息影像的演示室 (也称为娃娃屋)
针对混合现实进行设计
和你们中的许多人一样，我曾经设计移动应用。 来自 2D 设计世界，全面了解空间计算，其中一切都在世界上，这是一个重大转变。 在混合现实中，应用不再局限于 2D 屏幕;事实上，它们几乎是免费的，放置在现实世界中，并与真实对象交互。
对我来说，将 3D 体验连接到传统的 2D 设计过程是混合现实开发最具挑战性的方面。 在与客户的对话中，我会听到类似“我知道要包括哪些功能以及如何启动和运行这些功能。 它是代码，我可以遵循文档和教程，但用户体验如何？ 这么多的功能，不同的输入选项，不同的方案和物理环境，它令人难以抗拒”。
图片来自旧金山HoloLens 2设计研讨会
一个教学的机会
起初并不明显，但提供了一个绝佳的机会，使用混合现实作为媒体来教授它。
设计全息影像是一种视觉体验，可解释混合现实设计概念和建议。 只是你和虚拟教师演示混合现实设计概念。 一切都是从第三人称的角度，体验牢牢地在你自己的空间。
设计全息影像预告片视频
探索娃娃屋
娃娃屋是我们在整个应用中使用的虚拟环境。 环境是一个 80 x 60 x 40 厘米的微型房间，其中包含大多数房间共同的基本元素，如墙壁、灯、家具、桌子和电视。 娃娃屋是应用体验的主要主角，因此我们需要确保它在任何环境中都正常工作。 将其视为用于可视化各种混合现实概念的小演示室。
娃娃屋调整行为视频
1：1 与 1：10 原型
我们最初的假设是，1：1的示威是惊人的，几乎就像看一个现实生活中的老师。 用户会看到教师在实际生活中看到的所有内容。 但是，我们立即意识到存在一些问题：
大多数开发人员会在办公室或比演示室小的会议室中运行他们的应用，因此不适合。
显示器是累加的，这意味着整个虚拟环境将叠加在用户的会议室上。 这可能会让人混淆两张桌子，可能是双沙发，还有不对齐的墙壁。
最糟糕的是，虚拟环境受到视野的严重约束。
当我们尝试一个迷你的1：10比例时，结果是一个梦幻般的鸟瞰视图，一个现实的房间。 你可以同时看到从任何角度发生的一切。 最令人惊讶的是，大多数测试人员发现看到小版本时身临其境，然后他们从未切换回1：1比例。 因此，我们决定实际取消 1：1 版本，并避免调整 UI 和应用的其他方面所需的额外工作。
的视野具有 1：1 缩放的视野
的视野具有 1：10 缩放的视野
使用混合现实捕获
此应用最具特色的功能之一是使用混合现实捕获来教授和演示混合现实设计概念。
Microsoft在旧金山有一个混合现实捕获工作室。 Microsoft还向其他工作室许可这项技术，其中包括华盛顿特区的阿凡达维度、洛杉矶的 Metastage、伦敦的 Dimension Studio、首尔的 SK Telecom 和柏林的 Volucap。
旧金山混合现实捕获工作室的106台摄像机之一的丹尼尔·埃斯库德罗的原始镜头。
捕获过程会生成关键帧网格、法线和纹理，这些网格可以作为 OBJ/PNG 文件进行进一步的后期制作，或准备作为 H.264 压缩 MP4 文件进行播放。 这些文件可以导入到 Unity、Unreal、Native 和 WebXR 项目中。 文件可以在 Windows、iOS、Mac、Android、Magic Leap 和 Playstation VR 上运行。
提供的捕获播放器用于分析包含音频和嵌入网格的视频的 mp4。
作捕获和虚拟对象
混合现实捕获生成人或动物的虚拟表示形式，但有时可能需要这些字符与其他虚拟对象交互。 以下两个示例演示了我们作场景以实现此效果的不同方式。
头部凝视调整
通过头部调整，可以在运行时移动被捕获人员的头部，这意味着你可以有一个捕获人脸面向用户。 在本例中，我们使用它来显示视野和兴趣领域。 你在下面看到的是一个移动的游戏对象，充当头部凝视的目标。 当我们将目标从一侧移到一侧时，捕获的头紧随其后。
我们使用此技巧来确保空闲捕获始终面向放置在娃娃屋不同部分的全息影像。
捕获的头部在运行时在Unity的目标游戏对象之后移动。
同步动画对象
第二个是对对象进行动画处理，以便与捕获的移动同步。 在应用的不同部分，我们每五帧导入一个特定捕获的顺序 OBJ。 然后，在场景中对 OBJ 进行动画处理，以确保它们与捕获的相应帧相匹配。 这是一个繁琐的动画和关键帧过程，但结果是伟大的。 现在可以看到混合现实捕获与未捕获的对象交互。
混合现实捕获和 UI 面板之间的同步动画
UI 创意过程
当我们开始进行 UI 设计时，我们希望展示全息影像必须提供的一些神奇和可能性。 在 3D 世界中，仅显示静态 2D 窗口和文本框感觉不合适。 手头的许多可能性只是没有出现，所以从一开始，我们决定远离它，充分利用全息3D空间。
首先，我们首先向面板、图标和文本信息添加一些粗细。 不过，作为用户，我看到的是一个文本框。 包含图像的文本框，但我们不在那里。 我们进一步利用 混合现实 工具包 (MRTK) 着色器。 MRTK 着色器成为一个功能强大的工具，我们利用其模具功能向面板添加负深度。 这意味着图标现在显示在透明面板后面，而不是在文本框前面添加元素。 我现在作为用户看到的是在现实世界中无法再复制的东西，这就是全息魔术开始发生的地方。 同样，作为一个用户，我并不真正喜欢阅读，我已经在物理世界中做了很多工作。
显然，图标比简单的文本要好得多，为了提供更强大的指导，我随后开始创建一组动画对象和虚拟形象，每个对象和头像都讲述了一个小故事，说明在各自的场景中正在执行哪些作以及如何使用它们。
核心概念
头部跟踪和眼动跟踪
手部跟踪
空间感知
全息帧
坐标系
眼动跟踪
房间扫描可视化效果和空间映射
场景理解
使用手部射线指向和提交
“试用”时刻
设计全息影像可教授混合现实概念，但也允许你在房间中试用它们。 经过一些解释，我们暂停，带你离开娃娃屋，进入一个互动的时刻。 下面是这些互动时刻的一些示例：
显示何时检测到手部以及何时进入视野的手部跟踪帧。
通过远距离交互与碰撞的晶体交互
探索近距交互提供
关于团队
丹尼尔·埃斯库德罗
主管技术DesignerDan 是全息影像设计创意总监，目前担任旧金山Microsoft混合现实学院的设计主管，曾任伦敦Microsoft混合现实工作室之一的Designer。
Martin Wettig
高级 3D 艺术家Martin 在全息影像设计方面领导 3D 艺术和 UI 设计，曾任柏林Microsoft混合现实工作室之一的高级 3D 艺术家。
非常感谢混合现实设计团队分享这么多知识，感谢对象理论的惊人成员在项目的每个步骤中成为重要的团队成员。 感谢大家的出色才华，感谢你们对设计的热情和非凡的眼光。
下载设计全息影像应用