Presence Platform | An overview

Die Presence Platform von Meta ist eine Sammlung von Technologien und Designprinzipien zur Entwicklung immersiver Erlebnisse in Virtual Reality (VR) und Mixed Reality (MR) für Meta Quest-Geräte. Sie enthält eine Vielzahl an Funktionen wie fortschrittliche Technologie für Tracking und Bewegungserkennung, hochwertige Grafik und Audio, und intuitive Steuerelemente und Schnittstellen, die zusammen ein nahtloses immersives Erlebnis schaffen. Neben der Bereitstellung einer Plattform für Entwickler*innen für die Entwicklung dieser innovativen Anwendungen umfasst die Presence Platform außerdem Social Features, die Menschen helfen, in virtuellen Räumen zusammenzukommen und miteinander zu interagieren, einschließlich Sprach-Chat und gemeinsamen Erlebnissen.

Werfen wir einen Blick auf einige der Funktionen und Tools, die dir auf der Presence Platform zur Verfügung stehen, damit du die Zukunft dafür gestalten kannst, wie wir mit Meta Quest-Geräten spielen, gestalten, uns verbinden und arbeiten.

Mixed Reality

Die Presence Platform stellt Entwickler*innen Tools und Funktionen für Mixed Reality zur Verfügung, die es Nutzer*innen ermöglichen, die physische und virtuelle Welt miteinander zu verschmelzen. Somit wird nicht nur ein wirklich immersives VR-Erlebnis geboten, sondern auch ein Erlebnis, das deine Umgebung miteinbezieht und nutzt, um eine neue Ebene fesselnder Lebenserfahrungen zu ermöglichen. Mit diesen Tools für Mixed Reality können Menschen gleichzeitig sowohl virtuelle als auch physische Objekte sehen und mit ihnen interagieren, wodurch ein immersiveres und ansprechenderes XR-Erlebnis entsteht.

Einige der grundlegenden Tools für Mixed Reality, die die Presence Platform bereitstellt, sind: Passthrough, Scene und Spatial Anchors.

Passthrough

Passthrough bietet eine Echtzeit-3D-Visualisierung der physischen Umgebung in Meta-Quest-Headsets. Die Passthrough API ermöglicht es Entwickler*innen, die Passthrough-Visualisierung in ihre virtuellen Erlebnisse zu integrieren. Passthrough ist eine Schlüsselfunktion bei der Entwicklung von Mixed Reality-Apps und eine Funktion, die es dir ermöglicht, deine Umgebung im Headset zu sehen. Um mehr über Passthrough zu erfahren, sieh dir unsere Übersichtsdokumentation an, in der wir erklären, wie Passthrough funktioniert, wie du es einrichtest und wie du es in deinen eigenen Erlebnissen aktivierst.

Passthrough kann auch basierend auf deinem Anwendungsfall und deiner Anwendung angepasst werden. Um zu erfahren, wie du Passthrough anpassen kannst, sieh dir unsere Anpassungsdokumentation an, in der wir erklären, wie du Stilisierung, zusammengesetzte Schichten und oberflächenprojiziertes Passthrough verwenden kannst, um Verdeckung und Passthrough-Fenster zu schaffen.

Passthrough kann über das Meta Quest Link-Kabel verwendet werden, sodass eine Passthrough-fähige App mit Meta Quest Link ausgeführt werden kann. Somit muss die App nicht jedes Mal auf einem PC erstellt und auf einem Meta Quest-Gerät bereitgestellt werden, wenn du sie während der Entwicklung testest. Dies verringert die Iterationszeit bei der Entwicklung Passthrough-fähiger Apps. Um mehr über die Verwendung von Passthrough mit Meta Quest Link zu erfahren, sieh dir unsere Dokumentation an, in der wir die Voraussetzungen, die Einrichtung und die Aktivierungsschritte für Meta Quest Link erklären.

Scene

Scene versetzt dich in die Lage, schnell komplexe und szenenbezogene Erlebnisse mit umfassenden Interaktionen in der physischen Umgebung der Nutzer*innen zu entwickeln. Scene enthält zwei wichtige Konzepte: Scene Capture und Scene Model.

Mit Scene Capture können Nutzer*innen in ihrer Umgebung umhergehen und diese aufnehmen, um ein Scene Model zu generieren.

Scene Model ist eine einzelne, umfassende und aktuelle Darstellung der physischen Umgebung, die einfach indiziert und abgefragt werden kann. Es wird eine geometrische und semantische Darstellung der Umgebung der Nutzer*innen bereitgestellt, mit der du Mixed Reality-Erlebnisse im Raummaßstab entwickeln kannst.

Die grundlegenden Elemente eines Scene Models sind Scene Anchors, die an die geometrischen Komponenten und semantischen Labels angehängt sind. Beispielsweise organisiert das System das Wohnzimmer eines*einer Nutzer*in mit individuellen Ankern mit semantischen Labeln wie Boden, Decke, Wände, Schreibtisch und Couch. Jedem Anker ist hierbei eine einfache geometrische Darstellung zugeordnet: eine 2D-Begrenzung oder ein 3D-Begrenzungsfeld.

Um mehr über Scene und seine Funktionsweise zu erfahren, sieh dir unsere Dokumentation an, in der wir erklären, wie Scene funktioniert, wie du Mixed Reality-Apps mit Scene entwickelst und wie du das Scene Model verwendest.

Spatial Anchors

Spatial Anchors sind an der Umgebung fixierte Referenzpunkte, die du als Ausgangspunkte zum Positionieren von Inhalten verwenden kannst, die über Sitzungen hinweg bestehen bleiben können. Diese Persistenz wird erreicht, indem ein Spatial Anchor an einer bestimmten 6DOF-Pose erstellt wird und anschließend virtuelle Inhalte relativ dazu platziert werden. Entwickler*innen können mit Spatial Anchors Anwendungen erstellen, die es Nutzer*innen ermöglichen, virtuelle Objekte an einer bestimmten Stelle zu hinterlassen. Diese Objekte können dort verankert bleiben, selbst wenn der Bereich verlassen wird. Um mehr über Spatial Anchors zu erfahren und was du mit ihnen tun kannst, sieh dir unsere Dokumentation an, in der wir ihre Fähigkeiten erklären und zeigen, wie du Inhalte über Sitzungen hinweg beibehalten kannst.

Spatial Anchors ermöglichen es mehreren Nutzer*innen, einen gemeinsamen Referenzpunkt im Raum zu teilen. Dadurch können sie mit virtuellen Objekten und Daten in einer kollaborativen und gemeinsamen Umgebung interagieren. Dies ist nützlich, wenn du lokale Multiplayer-Erlebnisse entwickelst, indem du einen gemeinsamen umgebungsfixierten Referenzpunkt für mehrere Nutzer*innen erstellst. So können beispielsweise zwei oder mehr Personen am selben Tisch sitzen und darauf ein virtuelles Brettspiel spielen. Um mehr über die Funktionsweise von geteilten Spatial Anchors zu erfahren, sieh dir unsere Dokumentation an, in der wir die Voraussetzungen aufführen und im Detail erläutern, wie Anker geteilt werden können.

Interaktionen

Die Presence Platform bietet dir Tools und Funktionen, die du verwenden kannst, um natürliche Eingabesteuerungen wie Hände, Stimme und Controller zu nutzen, und immersive Erlebnisse zu entwickeln. Diese Tools umfassen Interaction-SDK, Hand-Tracking, Voice-SDK, Tastatur-Tracking und Audio-SDK.

Interaction-SDK

Das Interaction-SDK stellt eine Bibliothek von Komponenten zum Hinzufügen von Controller- und Handinteraktionen zu deinen Erlebnissen bereit, wie zum Beispiel Ray, Poke und Grab, welche die Best Practices und Heuristiken für Nutzer*innen-Interaktionen auf Meta Quest-Geräten befolgen. Gerade für die Hände bietet das Interaction-SDK handspezifische Interaktionsmodelle, Posen- und Gestenerkennung sowie handorientierte Visualisierungen.

Um mehr über das Interaction-SDK zu erfahren, sieh dir unser detailliertes Tutorial zum Erstellen intuitiver Interaktionen in VR an.

Besuche auf jeden Fall unseren Blog, in dem wir uns näher mit dem Interaction-SDK befassen, seine Einrichtung erklären sowie Tutorials und Best Practices beim Integrieren von Interaktionen in deinen eigenen Erlebnissen präsentieren.

Voice-SDK

Das Voice-SDK ermöglicht es dir, vollständig anpassbare Spracherlebnisse in deinen Spielen zu entwickeln. Es gibt Entwickler*innen eine Reihe von Tools, Bibliotheken und Ressourcen an die Hand, mit denen sie Spracherkennung und Verarbeitungsfunktionen für natürliche Sprache zu ihren VR- und MR-Anwendungen hinzufügen können. Das Voice-SDK integriert den Dienst Natural Language Understanding (NLU) von Wit.ai und ist mit Meta Quest-Headsets, Mobilgeräten und anderen Drittanbieter-Plattformen kompatibel.

Mit Wit.ai kannst du ohne vorherige KI/ML-Kenntnisse Apps ganz einfach für die Verwendung von Sprachbefehlen trainieren. Die Kombination aus Voice-SDK und Wit.ai ermöglicht es dir, dich auf die kreativen und funktionsbezogenen Aspekte deiner App zu konzentrieren und gleichzeitig leistungsstarke Sprachinteraktionen zu ermöglichen.

Um mehr über das Voice-SDK zu erfahren, sieh dir unsere Dokumentation an, in der wir uns eingehend mit der Einrichtung, den Integrationsschritten, Tutorials und Best Practices befassen.

Tastatur-Tracking

Das Tracked Keyboard-SDK bietet Nutzer*innen einen effizienten Weg, in einer VR-Umgebung mit ihrer physischen Tastatur zu interagieren. Das SDK überwindet die Einschränkungen virtueller Tastaturen und des Blindschreibens, indem es die Hände der Nutzer*innen auf einer VR-Darstellung der eigenen Tastatur rendert.

Um mehr über das Tracked Keyboard-SDK zu erfahren und darüber, wie du es verwendest, sieh dir unsere Dokumentation an, in der wir die ersten Schritte mit dem SDK sowie die Integration in deine eigenen Anwendungen erläutern und Beispielszenen zur Funktionsweise zeigen.

Audio-SDK

Audio ist entscheidend für die Entwicklung überzeugender VR- und MR-Erlebnisse. Das Meta XR Audio-SDK stellt Funktionen für räumliches Audio bereit, einschließlich auf HRTF (Head-Related Transfer Function) basierte Objekt- und Ambisonic-Verräumlichung sowie die Simulation von Raumakustik. Einige der Funktionen, die vom Audio-SDK unterstützt werden, sind Audio-Verräumlichung, Nahfeld-Rendering, Raumakustik, Ambisonics, Dämpfung und Reflexion sowie viele weitere experimentelle Funktionen, die Entwickler*innen ausprobieren können.

Um mehr über die Funktionsweise, die unterstützten Funktionen und die Anwendungsintegration des Audio-SDKs zu erfahren, sieh dir unsere Dokumentation an, in der wir uns eingehend mit diesen Themen befassen.

Soziale Präsenz

Die Presence Platform stellt für dich Tools und Ressourcen bereit, sodass du originalgetreue digitale Darstellungen von Personen entwickeln kannst, die für ein realistisches Gefühl von Verbundenheit in der virtuellen Welt schaffen. Dies kann mithilfe von Body-, Face- und Eye-Tracking erzielt werden, das über das Movement-SDK bereitgestellt wird.

Movement-SDK für Unity verwendet Body-, Face- und Eye-Tracking, um die physischen Bewegungen von Nutzer*innen in VR zu übertragen und soziale Erlebnisse zu verbessern. Mithilfe der abstrahierten Signale, die das Tracking liefert, können Entwickler*innen Charaktere mit sozialer Präsenz animieren und Funktionen bieten, die über die Darstellung des Körpers hinausgehen.

Um mehr über die Funktionsweise und die erforderlichen Voraussetzungen zur Verwendung des Movement-SDKs zu erfahren, sieh dir unsere Dokumentation an, in der wir uns mit diesen Themen eingehend befassen. Sieh dir unsere Dokumentation zu Body-, Face- und Eye-Tracking an, um mehr über die Funktionsweise dieser Features zu erfahren und ihre Anwendung anhand praktischer Beispiele wie Aura, High Fidelity und anderer kennenzulernen.

Weitere Ressourcen

Um mehr über die Presence Platform zu erfahren, sieh dir unsere Dokumentation an, in der wir alle oben besprochenen SDKs ausführlicher behandeln. Beginne mit der Presence Platform, indem du das Oculus-Integrationspaket für Unity und für Unreal herunterlädst.

Unser Team hat einige Beispiele erarbeitet, um dir den Einstieg bei der Integration dieser Tools und SDKs in deine eigenen Anwendungen zu erleichtern:

• The World Beyond: Ein Showcase der Presence Platform, das die Verwendung von Scene, Passthrough, Interaction, Voice, and Spatializer veranschaulicht.
• First Hand: Ein Showcase der Presence Platform für das Interaction-SDK, das die Verwendung des Interaction-SDK in Unity mit Hand-Tracking demonstriert. Dieses Projekt enthält die Interaktionen, die in der Demo „First Hand“ verwendet werden, die auf App Lab verfügbar ist.
• Unity-Movement: Ein Paket, das die Body-, Eye- und Face-Trackingfunktionen von Meta Quest Pro veranschaulicht und es Entwickler*innen ermöglicht, selbstdefinierte Avatare in VR-Umgebungen zu platzieren, die die Ausdrucksfähigkeit der Nutzer*innen in die von ihnen erstellten virtuellen Welten übertragen.
• Whisperer: Ein Presence Platform-Showcase des Voice-SDKs, das die Verwendung des Voice-SDKs in Unity demonstriert. Dieses Projekt enthält den Quellcode für die Demo „Whisperer“, die auf App Lab verfügbar ist.
• Unity Shared Spatial Anchors: Das Beispiel für Unity Shared Spatial Anchors veranschaulicht, wie die Shared Spatial Anchors API für die Spiele-Engine Unity verwendet wird, und zeigt das Erstellen, Speichern, Laden und Teilen von Spatial Anchors.

Sieh dir die Präsentationen der Connect 2022 an, in denen wir uns damit befassen, wie du mit der Presence Platform Mixed Reality-Erlebnisse entwickelst, wie du Hand-Tracking in deine Apps integrierst und vieles mehr.

• Meta Quest Pro And Presence Platform Overview
• Building The Next Generation Of Mixed Reality Experiences Using Presence Platform
• Building Immersive Voice Driven Experiences with Presence Platform
• Building Natural Hands Experiences With Presence Platform
• Use Spatial Audio to Build More Immersive Experiences with Presence Platform
• Enrich Expressivity Of Your Apps With Presence Platform