Presence Platform | An overview
Metaのプレゼンスプラットフォームとは、Meta Questデバイス上で没入感溢れる仮想現実(VR)エクスペリエンスや複合現実(MR)エクスペリエンスを創造するために使うことができる一連のテクノロジーと設計原理のことです。プレゼンスプラットフォームには、詳細トラッキングやモーション感知テクノロジーなどの多彩な機能、高品質なグラフィックやオーディオ、連携してシームレスな没入感の高いエクスペリエンスを生み出す直感的なコントロールやインターフェイスなどが含まれています。開発者が革新的なアプリケーションを創造するためのプラットフォームに加え、人々が仮想空間でつながって交流するのに役立つ、ボイスチャットや共有体験などのソーシャル機能も用意されています。
プレゼンスプラットフォームで使える機能やツールの一部をご紹介します。これらを活用し、Meta Questデバイスで未来の遊び方、創造の仕方、つながり方、働き方を形作りましょう。
複合現実
プレゼンスプラットフォームには、開発者向けの複合現実ツールや機能が用意されています。これらを使って物理世界と仮想世界を融合させることで、より真に迫った没入感の高いVRエクスペリエンスを提供できます。そこでは、周辺環境を取り込み、活用することで、ワンランク上の魅力的なエクスペリエンスが展開されます。これらの複合現実ツールを使って、仮想オブジェクトと物理オブジェクトの両方を同時に見ることや、両方と同時にやり取りすることができます。それにより、XRエクスペリエンスの没入感が高まり、より魅力的になります。
プレゼンスプラットフォームの提供する基本的な複合現実ツールには、パススルー、シーン、空間アンカーなどがあります。
パススルー
パススルー機能は、Meta Questヘッドセット内に、物理世界の3Dビジュアリゼーションをリアルタイムに提供します。開発者は、パススルーAPIを使って仮想エクスペリエンスにパススルー表示を統合できます。パススルーは複合現実アプリを開発する上で重要な機能であり、ヘッドセット内に周辺環境を表示できるようにします。パススルーについて詳しくは、パススルーの仕組みと設定方法、自分のエクスペリエンスでパススルーを有効にする方法について説明する、Metaの概要のドキュメントをご覧ください。
使用する状況やアプリケーションに基づいてパススルーをカスタマイズすることもできます。パススルーのカスタマイズ方法については、スタイリング、複合レイヤー、サーフェス投影パススルーを使ってパススルーをカスタマイズしたり、オクルージョンやパススルーウィンドウを実現させる方法について説明するカスタマイズに関するドキュメントをご覧ください。
パススルーはMeta Questリンクケーブルでつないで使えます。こうすれば、Meta Questリンクを使いつつパススルー対応アプリを実行できるので、開発中にアプリをテストするごとにPCでアプリを構築してMeta Questデバイスにデプロイする必要がなくなります。結果、パススルー対応アプリ開発中の反復作業の時間を大幅に削減できます。Meta Questリンクでのパススルーの詳しい使い方については、Meta Questリンクの前提条件、設定方法、有効化の手順について説明する、Metaのドキュメントをご覧ください。
シーン
シーンを使えば、豊富なインタラクション機能を備えた、シーンを認識する複雑なエクスペリエンスを短時間でユーザーの物理環境に構築できます。シーンには、シーンキャプチャとシーンモデルという、2つの重要な概念があります。
シーンキャプチャを使うと、自分のシーンを歩き回ってキャプチャを行いシーンモデルを生成できます。
シーンモデルは物理世界を単一、包括的、最新の状態で表現したものであり、インデックス付けも照会も簡単です。ユーザーの空間を幾何学的かつセマンティックに表現するので、複合現実エクスペリエンスをルームスケールで構築できます。
シーンモデルの基本要素はシーンアンカーです。シーンアンカーは幾何学コンポーネントやセマンティックラベルに付けられています。例えば、システムは床、天井、壁、机、カウチといったセマンティックラベルのそれぞれのアンカーを中心としてユーザーのリビングルームを編成します。各アンカーは、シンプルな幾何学表現である2D境界線や3Dバウンディングボックスにも関連付けられています。
シーンとその仕組みについて詳しくは、シーンの動作方法、シーンを使って複合現実アプリを構築する方法、シーンモデルの使い方について説明する、Metaのドキュメントをご覧ください。
空間アンカー
空間アンカーは、基準となるワールドロックされたフレームです。セッションをまたがって持続する、コンテンツ位置決めのための原点として使うことができます。この持続性は、特定の6DOFポーズで空間アンカーを作成してから、その相対位置に仮想コンテンツを配置することによって実現されます。開発者は、空間アンカーを使って、ユーザーが仮想オブジェクトを特定の場所に残したままそのエリアを離れたとしても、それらのオブジェクトがその場所にアンカーされたままになるアプリを作ることができます。空間アンカーと、空間アンカーを使ってできることについて詳しくは、空間アンカーの機能や セッション間でコンテンツを持続させる方法について説明する、Metaのドキュメントをご覧ください。
空間アンカーを使えば、複数のユーザーが空間内の共通の基準点を共有し、協働型の共用環境で仮想オブジェクトやデータをやり取りできます。これは、複数のユーザー用に、共通のワールドロックされたフレームを基準として作成して、ローカルのマルチプレイヤーエクスペリエンスを構築する場合に便利です。例えば、2人以上で同じテーブルに座って、そのテーブル上でバーチャルボードゲームをプレイするなどです。共有空間アンカーの仕組みについて詳しくは、前提条件やアンカーの共有方法についてさらに掘り下げて説明する、Metaのドキュメントをご覧ください。
インタラクション
プレゼンスプラットフォームに備わっているツールや機能を利用して、没入感の高いエクスペリエンスを構築する際に、手、音声、コントローラーなどのナチュラルインプットコントロールを活用できます。このようなツールには、インタラクションSDK、ジェスチャーコントロール、ボイスSDK、トラッキングキーボード、オーディオSDKなどがあります。
インタラクションSDK
インタラクションSDKは、コントローラーや手のインタラクション(レイ、つつく、つかむなど)をエクスペリエンスに追加する、コンポーネントのライブラリを提供します。このライブラリには、Meta Questデバイスでのユーザーインタラクションのためのベストプラクティスやヒューリスティックが収められています。インタラクションSDKでは、手に関しては、手専用のインタラクションモデル、ポーズ、ジェスチャーの検出、および手を中心としたビジュアルアフォーダンスを提供します。
インタラクションSDKについては、VRで直感的なインタラクションを構築する方法について詳しく紹介するMetaのチュートリアルをご覧ください。
インタラクションSDKを使い始める方法や設定方法、チュートリアル、インタラクションを独自のエクスペリエンスに統合する場合のベストプラクティスについて詳しく掘り下げた、Metaのブログも必ずチェックしましょう。
ボイスSDK
ボイスSDKを使って、完全にカスタマイズできるボイスエクスペリエンスをゲームに構築できます。開発者がVRアプリケーションやMRアプリケーションに音声認識機能や自然言語処理機能を追加する際に使えるツール、ライブラリ、リソース一式が用意されています。ボイスSDKはWit.ai自然言語理解(NLU)サービスを利用しており、Meta Questヘッドセット、モバイルデバイス、その他のサードパーティプラットフォームと互換性があります。
Wit.aiを使うと、AI/MLの知識がなくても、ボイスコマンドを使うようにアプリを簡単にトレーニングできます。ボイスSDKとWit.aiを組み合わせると、ボイスインタラクションの強力な機能を利用しつつ、アプリのクリエイティブな面や機能面の開発に集中できます。
ボイスSDKについて詳しくは、ボイスSDKの設定方法や統合手順、チュートリアル、ベストプラクティスについてさらに掘り下げて説明する、Metaのドキュメントをご覧ください。
トラッキングキーボード
ユーザーは、トラッキングキーボードSDKを使うことで、VR環境内で効率的に物理キーボードを操作できます。このSDKでは、VRで表現されたキーボードの上にユーザーの手をレンダリングすることによって、仮想キーボードとブラインドタッチ入力の欠点を克服しています。
トラッキングキーボードSDKとその使い方について詳しくは、トラッキングキーボードSDKを使い始める方法、アプリケーションへの統合方法、実行時の仕組みを示すサンプルシーンについて説明する、Metaのドキュメントをご覧ください。
オーディオSDK
オーディオは、迫真のVR体験やMR体験を創造する上でとても重要な役割を担います。Meta XRオーディオSDKは、頭部伝達関数(HRTF)ベースのオブジェクトやアンビソニック空間化に加え、ルーム音響シミュレーションなどのスペーシャルオーディオ機能を提供します。オーディオSDKでサポートされる機能の一例として、オーディオの空間化、近接レンダリング、ルーム音響、アンビソニックス、減衰と反射などがあります。その他にも、開発者が試せる数多くの実験的な機能が用意されています。
オーディオSDKの仕組み、サポートされる機能、アプリケーションへの統合方法の詳細については、これらのトピックについてさらに詳しく説明する、Metaのドキュメントをご覧ください。
ソーシャルプレゼンス
プレゼンスプラットフォームに用意されているツールやリソースを使って、高い忠実度で人のデジタル表現を構築し、仮想世界でリアルにつながっている感覚を生み出すことができます。これは、Movement SDKの提供するボディトラッキング、フェイストラッキング、アイトラッキングによって実現できます。
Unity用Movement SDKは、ボディトラッキング、フェイストラッキング、アイトラッキングを使ってユーザーの身体の動きをVRに反映させ、ソーシャルエクスペリエンスを高めます。開発者はトラッキングによって得た抽象化された信号を使って、ソーシャルプレゼンスのあるキャラクターをアニメーション化し、キャラクターのボディ表現を超えた機能を提供できます。
Movement SDKの仕組みや、このSDKを使うための前提条件について詳しく説明する、Metaのドキュメントをご覧ください。ボディトラッキング、フェイストラッキング、アイトラッキングに関するドキュメントでは、これらのトラッキングがどのように動作し、AuraやHigh Fidelityなどのサンプルで実際にどのように使われているかを確認できます。
その他のリソース
プレゼンスプラットフォームについて詳しくは、これまでに紹介した全SDKについてさらに詳しく説明する、Metaのドキュメントをご覧ください。Unity用およびUnreal用のOculus統合パッケージをダウンロードして、プレゼンスプラットフォームの利用を開始しましょう。
Metaのチームは、開発者がこれらのツールやSDKを自作のアプリケーションに統合する際の入口となる、いくつかのサンプルをご用意しました。
- The World Beyond: シーン、パススルー、インタラクション、ボイス、Spatializerの使い方のデモを実施し、プレゼンスプラットフォームについて紹介します。
- First Hand: UnityのハンドトラッキングでのインタラクションSDKの使い方のデモを実施し、プレゼンスプラットフォームのインタラクションSDKについて紹介します。このプロジェクトには、App Labで入手可能な「First Hand」デモで使われるインタラクションが収められています。
- Unity-Movement: Meta Quest Proのボディトラッキング機能、アイトラッキング機能、フェイストラッキング機能を紹介するパッケージ。開発者はこれらの機能を利用してVR環境にカスタムアバターを取り込むことにより、創造した仮想世界のユーザーの表現力を豊かにすることができます。
- Whisperer: UnityでのボイスSDKの使い方のデモを実施し、プレゼンスプラットフォームのボイスSDKについて紹介します。このプロジェクトには、App Labで入手可能な「Whisperer」デモで使われるソースコードが収められています。
- Unity共有空間アンカー: Unity共有空間アンカーのサンプルでは、Unityゲームエンジン用共有空間アンカーの使い方のデモを実施し、空間アンカーを作成、保存、読み込み、共有する方法を紹介します。
プレゼンスプラットフォームを使って複合現実エクスペリエンスを構築する方法、アプリにジェスチャーコントロールを取り入れる方法、その他数多くのトピックについて議論が交わされたConnect 2022のセッションをチェックしましょう。
