返回開發人員最新消息

Presence Platform | An overview

2023年4月25日發佈者:Navyata Bawa

Meta 的 Presence Platform 是一套技術和設計原則,用於在 Meta Quest 裝置上打造沉浸式的虛擬實境(VR)和混合實境(MR)體驗。當中涵蓋各種功能,例如先進的追蹤和動作感應技術、優質的圖像和音訊,以及直觀的控制方式和介面。各功能相輔相成,一同締造出順暢無縫的沉浸式體驗。Presence Platform 不但為開發人員提供了平台來製作這些創新的應用程式,還引入了語音聊天和共享體驗等社交功能,幫助用戶在虛擬空間中與其他人交流與互動。

我們一起來看看 Presence Platform 為各位提供的一些功能和工具,以便您建造出未來在 Meta Quest 裝置上玩樂、創作、聯繫和工作的方式。

混合實境、互動、社交臨場感圖示

混合實境

Presence Platform 為開發人員提供各種混合實境工具和功能,讓用戶將現實世界和虛擬世界融合在一起。如此一來,用戶在整個體驗中既能感受其周圍環境,平台還將此納入虛擬情境,帶來更進一步的靈活生動體驗,令沉浸式 VR 發揮得更淋漓盡致。透過這些混合實境工具,用戶可以同時看到虛擬世界和真實世界的物件,並且能與之互動,感受沉浸感更強且更引人入勝的 XR 體驗。

Presence Platform 提供的一些基本混合實境工具包括:穿透場景空間錨點

穿透

穿透功能會在 Meta Quest 頭戴式裝置中即時呈現現實世界的 3D 畫面。而透過穿透 API,開發人員可以將穿透功能呈現的畫面與虛擬體驗整合為一。在開發混合實境應用程式時,穿透這個功能相當關鍵,可以讓您在頭戴式裝置中看到周圍的環境。如需進一步了解穿透功能,請參閱我們的概覽文件,當中介紹了穿透功能的運作方式和設定方法,以及說明了如何在您自己的體驗中啟用此功能。

您還可以根據自己的使用案例和應用程式自訂穿透功能。如需進一步了解如何自訂穿透功能,請參閱我們有關自訂的文件,當中介紹了如何使用樣式、複合分層和表面投影的穿透畫面來自訂您的穿透功能,以及實現遮擋和穿透視窗。

穿透功能呈現畫面

您可透過 Meta Quest Link 連接線來使用穿透功能。這樣便可在使用 Meta Quest Link 時運行支援穿透功能的應用程式,而不必在電腦上建構有關應用程式,也不必在開發期間每次測試應用程式時都要將其部署到 Meta Quest 裝置中,大大減少在開發支援穿透功能的應用程式時,為了持續提升應用程式而所需的時間。如要進一步了解如何透過 Meta Quest Link 使用穿透功能,請參閱我們的文件,當中介紹了啟用 Meta Quest Link 所需的必要條件、設定方法與步驟。

場景

透過場景,您可以在用戶現實的周遭環境之上,快速地建構出能感知場景且互動元素豐富的複雜體驗。場景涉及兩個重要概念:場景拍攝和場景模型。

場景拍攝的過程中,用戶需要四處走動以拍攝所處的場景,以便系統產生場景模型。

場景模型以單一、全面且即時更新的形式來代表現實世界,以便編入索引和查詢,並且以幾何和語義的方式呈現用戶所在的空間,方便您因應房間的大小建構相應的混合實境體驗。

場景模型的基本元素是場景錨點,這類錨點會附加到幾何組件和語義標籤上。例如,系統會就著加上了語義標籤的多個獨立錨點,例如地板、天花板、牆壁、桌子和梳化等錨點,來拼湊出用戶的客廳。而其中每個錨點都會與一個簡單的幾何代表連結,也就是 2D 邊界或 3D 邊界方框。

場景錨點圖像

如需進一步了解場景及其運作方式,請參閱我們的文件,當中介紹了場景的運作方式、使用場景建構混合實境應用程式的方法,以及場景模型的使用方法。

空間錨點

空間錨點是用於鎖定虛擬世界的參考坐標,您可將其用作原點,來放置在不同連線階段中都會一直顯示的內容。如要這樣一直顯示內容,您可在特定 6 自由度姿態上建立一個空間錨點,然後放置與之相關的虛擬內容。透過空間錨點,開發人員建立的應用程式可支援用戶將虛擬物件留在特定位置,即使用戶離開該區域,有關物件也能固定在原來位置。如需進一步了解空間錨點及其功能,請參閱我們的文件,當中介紹了空間錨點的功能,以及在不同連線階段中持續顯示內容的方法。

空間錨點圖像

空間錨點還支援多位用戶在空間中共用公共參照點,以便他們在共用的協作環境中與虛擬物件和資料互動。此功能可為多位用戶建立一個共用的參考坐標來鎖定虛擬世界,在建構本機多玩家遊戲體驗時非常有用。例如,兩位或更多用戶可以同桌而坐,在桌上同玩虛擬桌遊。如需進一步了解共用空間錨點的運作方式,請參閱我們的文件,當中更詳盡地講解了共享空間錨點的必要條件及方法。

互動

Presence Platform 為您提供多種工具和功能,助您在建構沉浸式體驗時充分利用自然輸入控制選項,包括手勢、語音和控制器。這些工具包括互動 SDK手勢追蹤語音 SDK已追蹤的鍵盤音訊 SDK

互動 SDK

互動 SDK 提供一個組件庫,用於在您的體驗加入控制器和手勢的互動,例如射出光束、篤一下和抓取的動作互動。此組件庫還有提供有關 Meta Quest 裝置用戶互動的最佳操作實例和自我啟發學習方式。而在手勢方面,互動 SDK 更是專門提供了特別適用於手勢的互動模型、姿勢和手勢偵測功能,以及以手為中心的視覺直觀功能。

展示互動 SDK 下手勢偵測功能的圖像

如需進一步了解互動 SDK,請參閱我們的詳細教學導覽,了解如何在 VR 中建構直觀的互動體驗。

別忘了瀏覽我們的網誌,當中更深入地講解了互動 SDK 的新手指南、設定方法、教學導覽,以及要在自家體驗中整合互動體驗時的最佳操作實例。

語音 SDK

透過語音 SDK,您可以在自己的遊戲中建構完全自訂的語音體驗。其為開發人員提供了一套工具、材料庫和資源,方便開發人員在 VR 和 MR 應用程式中加入語音識別和自然語言處理功能。語音 SDK 是由 Wit.ai 自然語言理解服務作為技術提供,可與 Meta Quest 頭戴式裝置、流動裝置和其他第三方平台相容。

語音 SDK 圖像

有了 Wit.ai,您可以輕鬆訓練應用程式使用語音命令,而無需具備任何有關人工智能或機器學習的知識。在語音 SDK 和 Wit.ai 的結合之下,您便能夠專注於應用程式的創意和功能方面,同時可帶來強大的語音互動體驗。

如需進一步了解語音 SDK,請參閱我們的文件,當中深入講解了語音 SDK 的設定方法、整合步驟、教學導覽和最佳操作實例。

已追蹤的鍵盤

已追蹤的鍵盤 SDK 可讓用戶在 VR 環境中有效率地與實體鍵盤互動。此 SDK 會將用戶的雙手顯示在由 VR 呈現的鍵盤上,打破虛擬鍵盤和盲打的限制。

已追蹤的鍵盤圖像

如需進一步了解已追蹤的鍵盤 SDK 及其使用方法,請參閱我們的文件,當中介紹了此 SDK 的新手指南以及將其整合到自家應用程式的方法,並且展示了此 SDK 的實際運作場景範例。

音訊 SDK

要締造有說服力的 VR 或 MR 體驗,音訊至關重要。Meta XR 音訊 SDK 提供空間音效功能,包括以與頭部相關的傳輸函數為本的物件和高保真度環繞聲空間化,以及室內聲場模擬。音訊 SDK 支援的部分功能包括音訊空間化、近場呈現、室內聲場、高保真度環繞聲、衰減和反射,以及更多可供開發人員一試的實驗功能。

音訊 SDK 圖像

如需進一步了解音訊 SDK 的運作方式、支援的功能以及將此 SDK 整合到自家應用程式的方法,請參閱我們的文件,當中更詳細到講解了以上主題。

社交臨場感

Presence Platform 為您提供了多種工具和資源,可用於為用戶建構出高像真度的數碼形象,在虛擬世界中營造出一種逼真的代入感。這種體驗可透過動作 SDK 提供的身體追蹤、面部追蹤和眼動追蹤功能實現。

Unity 版動作 SDK 會使用身體追蹤、面部追蹤和眼動追蹤,將用戶的實際動作帶到 VR 當中,加強社交體驗。利用追蹤功能提供的抽象訊號,開發人員可以將人物製作成動畫,在帶來社交臨場感的同時提供除了人物化身以外的更多功能。

動作 SDK 圖像

如需進一步了解動作 SDK 的運作方式及使用此 SDK 的必要條件,請參閱我們的文件,當中詳細講解了以上主題。請參閱我們有關身體追蹤面部追蹤眼動追蹤的文件,進一步了解這些功能的運作方式,以及這些功能在 Aura、High Fidelity 等範例中的實際使用情況。

其他資源

如需進一步了解 Presence Platform,請參閱我們的文件,當中更詳盡地講解了我們以上討論過的所有 SDK。如要開始使用 Presence Platform,請先下載 Unity 版和 Unreal 版 Oculus 整合套件。

我們的團隊製作了幾個範例,以助您在自家應用程式中整合這些工具和 SDK 時可以輕鬆入手:

  • The World Beyond:此 Presence Platform 範例展示了場景、穿透功能、互動功能、語音和聲場定位器的使用方法。
  • First Hand:此 Presence Platform 互動 SDK 範例展示了如何在 Unity 中將互動 SDK 與手勢追蹤功能結合使用。此專案中包含「First Hand」示範項目中使用的互動項目;您可從 App Lab 獲取此示範項目。
  • Unity-Movement:此套件展示 Meta Quest Pro 的身體追蹤、眼動追蹤和面部追蹤功能,可讓開發人員在 VR 環境中填入自訂虛擬替身,將用戶表達的情緒帶入開發人員所創造的虛擬世界中。
  • Whisperer:此 Presence Platform 語音 SDK 的範例展示了語音 SDK 在 Unity 中的使用。此專案中包含「Whisperer」示範項目的原始程式碼;您可從 App Lab 獲取此示範項目。
  • Unity Shared Spatial Anchors:此 Unity 共用空間錨點範例展示了如何將共用空間錨點 API 用於 Unity 遊戲引擎,以及如何建立、儲存、載入和共用空間錨點。

歡迎觀看 Connect 2022 的不同環節,聽聽我們如何在當中討論使用 Presence Platform 建構混合實境體驗的方法、在自家應用程式整合手勢追蹤功能的方法,以及其他主題。