返回开发者新闻

Presence Platform | An overview

2023年4月25日发布者:Navyata Bawa

Meta 的 Presence Platform 是一套技术和设计原则,用于在 Meta Quest 设备上打造沉浸式虚拟现实 (VR) 和混合现实 (MR) 体验。Presence Platform 包含各种功能,例如先进的追踪和体感技术、高品质的图形和音频,以及直观的控件和界面。这些功能协同工作,可打造无缝的沉浸式体验。Presence Platform 不但为开发者提供了一个平台来创建这些创新的应用程序,还引入了语音聊天和共享体验等社交功能,可帮助用户在虚拟空间中与其他用户建立联系以及展开互动。

接下来我们将介绍可通过 Presence Platform 获得的部分功能和工具,以便您打造未来在 Meta Quest 设备上玩乐、创作、联系和工作的方式。

混合现实、互动、社交临场感图标

混合现实

Presence Platform 为开发者提供了多种混合现实工具和功能,支持用户将现实世界和虚拟世界相融合,不仅能提供一种真正的沉浸式 VR 体验,还引入并利用用户周围的环境,打造充满吸引力的全新体验。通过这些混合现实工具,用户可以同时看到虚拟对象和实物对象,并与这些对象展开互动,从而获得沉浸感更强且更具吸引力的 XR 体验。

Presence Platform 提供的一些基本混合现实工具包括:透视场景空间锚点

透视

“透视”可在 Meta Quest 头戴设备中实时提供现实世界的 3D 可视化内容。通过透视 API,开发者可以将透视可视化内容与虚拟体验集成。在开发混合现实应用时,“透视”是一个关键功能,而且可以让您在头戴设备中看到周围的环境。如需详细了解“透视”,请参阅我们的概览文档。此文档介绍了“透视”的工作方式、设置方法以及在您自己的体验中启用此工具的方法。

您还可以根据自己的用例和应用程序自定义“透视”。如需了解如何自定义“透视”,请参阅我们的自定义文档。此文档介绍了如何使用样式、复合分层和表面投影透视来自定义“透视”以及实现遮挡和透视窗口。

透视可视化内容

您可通过 Meta Quest Link 数据线使用“透视”,从而在使用 Meta Quest Link 时运行支持“透视”的应用,而不必在电脑上构建该应用,也不必在开发期间每次测试该应用时都将其部署到 Meta Quest 设备中,大大减少在开发支持“透视”的应用时所需的迭代时间。如需详细了解如何将“透视”与 Meta Quest Link 结合使用,请参阅我们的文档。此文档介绍了相关前提条件、设置方法以及启用 Meta Quest Link 的步骤。

场景

借助“场景”,您可以在用户的实际环境中快速构建具备丰富互动且关注场景的复杂体验。“场景”包含两个重要概念:场景捕捉和场景模型。

场景捕捉让用户能够四处走动,并捕捉他们的场景,以便生成场景模型。

场景模型是对现实世界单一、全面且即时更新的表示,易于编入索引和查询,可提供用户空间的几何和语义表示,便于构建房间大小的混合现实体验。

场景场景模型的基本元素是附加在几何组件和语义标签上的场景锚点。例如,系统会围绕带有语义标签的多个独立锚点(例如地板、天花板、墙壁、桌子和沙发)来组织用户的客厅,而且每个锚点都与一个简单的几何表示(2D 边界或 3D 边界框)相关联。

图片:场景锚点

如需详细了解“场景”及其工作方式,请参阅我们的文档。此文档介绍了“场景”的工作方式、使用“场景”构建混合现实应用的方法以及场景模型的使用方法。

空间锚点

“空间锚点”是世界锁定参照系,您可将其用作原点以放置可持续保留在不同会话中的内容。如要实现持续保留,您可在特定 6 自由度位姿上创建一个“空间锚点”,然后放置与其相关的虚拟内容。通过“空间锚点”,开发者创建的应用程序可支持用户将虚拟对象保留在特定位置;而且即使用户离开该区域,这些对象也能固定在该位置。如需详细了解“空间锚点”及其功能,请参阅我们的文档。此文档介绍了“空间锚点”的功能以及将内容保留在不同会话中中的方法。

图片:“空间锚点”

“空间锚点”还支持多个用户在空间中共享一个公共参照点,使他们能够在共享的协作环境中与虚拟对象和数据进行互动。此功能可为多个用户创建一个共享的世界锁定参照系,在构建本地多玩家体验时非常有用。例如,两个或以上用户可以同桌而坐,同玩一款虚拟图版游戏。如需详细了解“共享空间锚点”的工作方式,请参阅我们的文档。此文档详细介绍了相关前提条件以及共享空间锚点的方法。

互动

Presence Platform 为您提供了多种工具和功能,您可使用它们在构建沉浸式体验时充分利用自然输入控件,包括手势、语音和控制器。这些工具包括互动 SDK手势追踪语音 SDK可追踪实体键盘音频 SDK

互动 SDK

互动 SDK 提供了一个组件库,用于将控制器和手势互动(例如光线投射、戳和拿)添加到您的体验中。该组件库还包含有关用户在 Meta Quest 设备上互动的最佳实践和试探法。特别是针对手势,互动 SDK 提供了手势特有的互动模型、位姿和手势检测,以及以手为中心的视觉功能可供性。

图片:带互动 SDK 的手势检测

如需详细了解互动 SDK,请参阅我们的详细教程,了解如何在 VR 中构建直观的互动体验。

请务必访问我们的博客。此博客更深入地介绍了互动 SDK 的入门步骤、设置方法、教程以及将互动集成到您自己的体验时的最佳实践。

语音 SDK

通过语音 SDK,您可以在自己的游戏中构建可完全自定义的语音体验。语音 SDK 为开发者提供了一套工具、资源库和资源,可用于在 VR 和 MR 应用程序中添加语音识别和自然语言处理功能。语音 SDK 采用 Wit.ai 自然语言理解 (NLU) 服务,可与 Meta Quest 头戴设备、移动设备和其他第三方平台兼容。

图片:语音 SDK

通过使用 Wit.ai,您可以轻松训练应用使用语音命令,而无需事先了解人工智能或机器学习。通过将语音 SDK 和 Wit.ai 结合,您能够专注于应用的创意和功能方面,同时可让应用具备强大的语音互动体验。

如需详细了解语音 SDK,请参阅我们的文档。此文档深入介绍了语音 SDK 的设置方法、集成步骤、教程和最佳实践。

可追踪实体键盘

可追踪实体键盘 SDK 可让用户在 VR 环境中与实体键盘展开有效互动。可追踪实体键盘 SDK 将用户的手显示在 VR 呈现的键盘上,可克服虚拟键盘和盲打的限制。

图片:可追踪实体键盘

如需详细了解可追踪实体键盘 SDK 及其使用方法,请参阅我们的文档。此文档介绍了可追踪实体键盘 SDK 的入门步骤以及将其集成到您自己的应用程序的方法,并且展示了该 SDK 实操方法的场景示例。

音频 SDK

音频对于打造有说服力的 VR 或 MR 体验至关重要。Meta XR 音频 SDK 提供空间音频功能,包括基于头部相关传输函数 (HRTF) 的对象和环绕声空间化以及室内声场模拟。音频 SDK 支持的部分功能包括音频空间化、近场渲染、室内声场、高保真环绕立体声、衰减和反射,以及更多可供开发者尝试的实验性功能。

图片:音频 SDK

如需详细了解音频 SDK 的工作方式、支持的功能以及将此 SDK 集成到您自己的应用中的方法,请参阅我们的文档,此文档详细介绍了这些主题。

社交临场感

Presence Platform 为您提供了多种工具和资源,可用于构建用户的高保真数字形象,在虚拟世界中营造出一种逼真的代入感。这种体验可通过动作 SDK 提供的身体追踪、面部追踪和视线追踪实现。

Unity 版动作 SDK 使用身体追踪、面部追踪和视线追踪,将用户的实际动作引入 VR 中,从而提升社交体验。利用追踪功能提供的抽象信号,开发者可以将人物制作成动画并赋予人物社交临场感,并且提供除人物体现外的更多功能。

图片:动作 SDK

如需详细了解动作 SDK 的工作方式及使用该 SDK 的必要前提条件,请参阅我们的文档,此文档详细介绍了这些主题。请参阅我们有关身体追踪面部追踪视线追踪的文档,详细了解这些功能的工作方式,以及这些功能在示例(例如 Aura、High Fidelity)中的使用实操情况。

其他资源

如需详细了解 Presence Platform,请参阅我们的文档。此文档详细介绍了我们前面讨论过的所有 SDK。如要开始使用 Presence Platform,请先下载 Unity 版和 Unreal 版 Oculus 集成项目包。

我们的团队提供了几个示例,可帮助您在将这些工具和 SDK 集成到您自己的应用程序时轻松入门:

  • The World Beyond:此 Presence Platform 示例展示了“场景”、“透视”、“互动”、“语音”和声场定位器的使用方法。
  • First Hand:此 Presence Platform 互动 SDK 示例展示了如何在 Unity 中将互动 SDK 与手势追踪结合使用。此项目中包含“First Hand”演示(可从 App Lab 获取)中使用的互动。
  • Unity-Movement:此项目包展示 Meta Quest Pro 的身体追踪、视线追踪和面部追踪功能,可让开发者使用自定义虚拟形象填充 VR 环境,从而将用户的情绪表达带入他们自己创造的虚拟世界中。
  • Whisperer:此 Presence Platform 语音 SDK 的示例展示了语音 SDK 在 Unity 中的使用。此项目包含“Whisperer”演示(可从 App Lab 获取)的源代码。
  • Unity Shared Spatial Anchors:此 Unity 共享空间锚点示例展示了如何将共享空间锚点 API 用于 Unity 游戏引擎,以及如何创建、保存、加载和共享空间锚点。

请查看下方 Connect 2022 的会议。在这些会议中,我们讨论了如何使用 Presence Platform 构建混合现实体验、如何将手势追踪集成到您的应用中,以及其他主题。