返回開發人員最新消息

Presence Platform | An overview

2023年4月25日發佈者:Navyata Bawa

Meta 的 Presence Platform 為一系列的技術和設計原則,用於在 Meta Quest 裝置上打造沉浸式的虛擬實境現實(VR)和混合現實(MR)體驗。其中包含像是進階追蹤和動作感應技術等豐富功能、高品質的圖像和音訊,以及直覺化的控制項和介面,共同打造流暢無縫的沉浸式體驗。除了為開發人員提供平台,讓他們建立這些創新的應用程式,Presence Platform 也包含社交功能,可幫助人們在虛擬空間中相互連結及互動,包括語音聊天和分享體驗。

我們來看看您可以透過 Presence Platform 取得的一部分功能和工具,打造未來在 Meta Quest 裝置上的玩樂、創作、連線和工作方式。

混合實境、互動和社交臨場感圖示

混合實境

Presence Platform 為開發人員提供了混合實境工具和功能,讓用戶能融合真實世界和虛擬世界,提供的不僅僅是真正的沉浸式 VR 體驗 – 而是一種融合並運用周圍環境的體驗,將全新層次的互動體驗變得臨場感十足。這些混合實境工具讓用戶可以同時看到虛擬和真實的物體,還能與之互動,從而創造出更有沉浸感且吸引人的 XR 體驗。

Presence Platform 提供的部分混合實境基本工具包括:穿透場景空間定錨

穿透

穿透在 Meta Quest 頭戴式裝置內提供了真實世界的即時 3D 視覺化。穿透 API 能讓開發人員將穿透視覺化與其虛擬體驗整合在一起。穿透是開發混合實境應用程式時一項很重要的功能,它能讓您在頭戴式裝置內看到周圍的環境。若要深入瞭解穿透,請參閱我們的概述文件,其中介紹穿透的運作原理、設定方法,以及如何在您自己的體驗中啟用此功能。

您也可以根據使用案例和應用程式自訂穿透。若要深入瞭解如何自訂穿透,請參閱我們的自訂文件,其中介紹如何使用樣式、複合分層和表面投影穿透來自訂您的穿透並實現遮蔽和穿透視窗。

穿透視覺化

穿透可透過 Meta Quest Link 連接線使用,以在使用 Meta Quest Link 時執行啟用穿透的應用程式,無需在開發過程中每次測試時都在 PC 上建構應用程式並將其部署到 Meta Quest 裝置,如此在開發啟用穿透的應用程式時可大幅節省重複修改的時間。如需深入瞭解如何將穿透與 Meta Quest Link 結合使用,請參閱我們的文件,其中介紹啟用 Meta Quest Link 的必要條件、設定和步驟。

場景

場景能讓您在用戶的實際環境中透過豐富的互動功能快速建構複雜的場景感知體驗。場景包含兩個重要概念:場景擷取和場景模型。

場景擷取可讓用戶四處走動並擷取場景,以產生場景模型。

場景模型是真實世界單一、全面且最新的呈現,易於建立索引及查詢,能提供用戶空間的幾何和語義表示,讓您可以建構全房間範圍的混合實境體驗。

場景模型的基本元素是場景定錨,這些元件會附加在幾何元件和語義標籤上。例如,系統會在用戶的客廳內放入含語義標籤的各個定錨,例如地板、天花板、牆壁、桌子和沙發,每個錨點也會與一個簡單的幾何表示關聯:2D 邊界或 3D 邊界方框。

場景定錨圖形

若要深入瞭解場景及其運作原理,請參閱我們的文件,其中討論場景的運作原理、如何使用場景建構混合實境應用程式,以及如何使用場景模型。

空間定錨

空間定錨是環境鎖定參考架構,您可以將其用作原點來定位可以跨工作階段持續存在的內容。為了實現這種持續性,必須在特定的 6DOF 姿勢下建立空間定錨,然後相對於定錨放入虛擬內容。透過空間定錨,開發人員便能建立應用程式,讓用戶能將虛擬物件放入特定位置,即使用戶離開該區域,這些物件也可以保持錨定在該位置。若要深入瞭解空間定錨及其功能,請參閱我們的文件,其中介紹其功能以及如何跨工作階段保留內容

空間定錨圖形

空間定錨也能讓多位用戶在空間中分享共用的參考點,如此便能在協作且分享的環境中與虛擬物件和資料互動。這非常適合為多位用戶建立分享的環境鎖定參考架構,以建構本地的多人遊戲體驗。例如,兩個以上的用戶可以坐在同一張桌子上,在上面玩虛擬棋盤遊戲。若要深入瞭解分享空間定錨的運作原理,請參閱我們的文件,其中深入討論先決條件以及如何分享錨點。

互動

Presence Platform 提供了工具和功能,可讓您在建構沉​​浸式體驗時運用自然輸入控件,包括手、語音和控制器。這些工具包括有互動 SDK手勢追蹤語音 SDK鍵盤追蹤音訊 SDK

互動 SDK

互動 SDK 提供元件庫,可用於在您的體驗中加入控制器和手部互動,例如射線、手戳和抓取,其整合了 Meta Quest 裝置上用戶互動的最佳作法和啟發式方法。特別是對於手,互動 SDK 提供專為手設計的互動模型和姿勢和手勢偵測,以及以手為中心的視覺功能。

手勢偵測與互動 SDK 的圖形

若要深入瞭解互動 SDK,請參閱我們關於如何在 VR 中建構直覺化互動的詳細教學。

請務必造訪我們的部落格,其中將深入探討如何開始使用互動 SDK、設定方式、教學,以及在您自己的體驗中整合互動的最佳作法。

語音 SDK

語音 SDK 可讓您在遊戲中建構可完全自訂的語音體驗。此 SDK 為開發人員提供了一系列的工具、程式庫和資源,可用於將語音辨識和自然語言處理功能加入到他們的 VR 和 MR 應用程式中。語音 SDK 由 Wit.ai 自然語言理解(NLU)服務支援,並相容於 Meta Quest 頭戴式裝置、行動裝置和其他第三方平台。

語音 SDK 圖形

透過 Wit.ai,您便能輕鬆訓練應用程式使用語音命令,無需先取得 AI/ML 方面的知識。語音 SDK 和 Wit.ai 的結合使您能專注於應用程式的創意和功能,同時實現強大的語音互動。

若要深入瞭解語音 SDK,請參閱我們的文件,其中將深入探討如何設定、整合語音 SDK 的步驟、教學和最佳作法。

鍵盤追蹤

鍵盤追蹤 SDK 為用戶提供在 VR 環境中與實體鍵盤互動的有效方式。SDK 可將用戶的手顯示在鍵盤的 VR 表示之上,克服虛擬鍵盤和盲打的局限性。

鍵盤追蹤圖形

若要深入瞭解鍵盤追蹤 SDK 及其使用方法,請參閱我們的文件,其中介紹如何開始使用 SDK、如何將其整合到您自己的應用程式中,以及展示其實際工作原理的場景範例。

音訊 SDK

音訊對於打造有說服力的 VR 或 MR 體驗至關重要。Meta XR 音訊 SDK 提供空間音訊功能,包括以頭部相關傳輸函數(HRTF)為基礎的物件和立體聲空間化,以及室內聲學模擬。音訊 SDK 支援的部分功能包括有音訊空間化、近場渲染、室內聲學、立體聲、衰減和反射,還有許多可供開發人員試用的實驗性功能。

音訊 SDK 圖形

若要深入瞭解音訊 SDK 的運作原理、支援的功能以及如何將其整合到您自己的應用程式中,請參閱我們的文件,其中詳細介紹了這些主題。

社交臨場感

Presence Platform 提供了工具和資源,可讓您為用戶建立高傳真的數位表示,在虛擬世界中營造逼真的連接感。要實現此功能,可透過運動 SDK 所提供的身體、臉部和眼睛追蹤。

適用於 Unity 的運動 SDK 運用身體追蹤、臉部追蹤和眼睛追蹤將用戶的身體動作帶入 VR,同時強化社交體驗。透過使用追蹤提供的抽象訊號,開發人員便能為角色製作動畫並加入社交臨場感,提供超越角色體現的功能。

運動 SDK 圖形

若要深入瞭解運動 SDK 的運作原理及其先決條件,請參閱我們的文件,其中詳細介紹了這些主題。請參閱我們關於身體臉部眼睛追蹤的文件,以深入瞭解其運作原理,並瞭解其在 Aura、High Fidelity 等範例中的實際運用。

其他資源

若要深入瞭解 Presence Platform,請參閱我們的文件,其中詳細介紹了上面提及的所有 SDK。若要開始使用 Presence Platform,請下載適用於 Unity 的 Oculus 整合套件和適用於 Unreal 的 Oculus 整合套件。

我們的團隊開發了多個範例來幫助您開始將這些工具和 SDK 整合到您自己的應用程式中:

  • The World Beyond:此 Presence Platform 展示場景、穿透、互動、語音和空間定位器的使用。
  • First Hand:此 Presence Platform 展示在 Unity 中使用帶有手部追蹤的互動 SDK。此專案包含 App Lab 上提供的「First Hand」展示中使用的交互。
  • Unity-Movement:此套件展示 Meta Quest Pro 的身體、眼睛和臉部追蹤功能,讓開發人員能將自訂頭像放入 VR 環境,讓用戶在他們打造的虛擬世界中展現自己。
  • Whisperer:Presence Platform 語音 SDK 展示在 Unity 中使用語音 SDK。此專案包含 App Lab 上提供的「Whisperer」展示的原始碼。
  • Unity Shared Spatial Anchors:Unity Shared Spatial Anchors 範例展示如何使用適用於 Unity 遊戲引擎的分享空間定錨,展示空間定錨的建立、儲存、載入和分享。

請參閱 Connect 2022 的座談會,我們在座談會上討論了如何使用 Presence Platform 建構混合實境體驗、如何在您的應用程式中整合手部追蹤等主題。