Presence Platform | An overview

La plateforme Presence de Meta consiste en un ensemble de technologies et de principes de conception utilisés pour créer des expériences de réalité virtuelle (VR) et de réalité mixte (MR) immersives sur les appareils Meta Quest. Elle inclut de nombreuses fonctionnalités, par exemple des technologies avancées de suivi et de détection des mouvements, des fichiers audio et des graphiques de grande qualité, mais aussi des commandes et des interfaces intuitives qui fonctionnent de concert pour créer des expériences immersives homogènes. En plus de fournir une plateforme aux développeur·ses pour leur permettre de créer ces applications innovantes, Presence intègre également des fonctions sociales qui aident à tisser des liens et à interagir dans des espaces virtuels, ce qui vaut également pour le chat vocal et les expériences partagées.

Attardons-nous à présent sur certains des outils et fonctionnalités proposés par la plateforme Presence pour vous permettre d’imaginer de nouvelles façons de jouer, créer, communiquer et travailler sur les appareils Meta Quest.

Icônes Réalité mixte, Interactions et Présence sociale

Réalité mixte

La plateforme Presence fournit aux développeur·ses des outils et fonctionnalités de réalité mixte qui permettent aux utilisateur·ices de mélanger les mondes physiques et virtuels pour une expérience de VR plus que véritablement immersive. En clair, elle englobe et utilise tout ce qui se trouve autour de vous pour donner vie à des expériences captivantes, à un tout autre niveau. Ces outils de réalité mixte permettent de voir et d’interagir simultanément avec des objets virtuels et physiques pour créer une expérience XR plus immersive et plus captivante.

Parmi certains des outils de réalité mixte de base que l’on trouve dans la plateforme Presence citons : Caméra réelle, Scène et Ancrages spatiaux.

Caméra réelle

La caméra réelle permet une visualisation en 3D et en temps réel du monde physique dans les casques Meta Quest. L’API Passthrough permet aux développeur·ses d’intégrer la visualisation en caméra réelle dans leurs expériences virtuelles. La caméra réelle est une fonctionnalité essentielle dans le développement d’applications de réalité mixte qui vous permet de voir ce qui vous entoure dans le casque. Pour plus d’informations sur Caméra réelle, consultez notre documentation de présentation qui vous explique son fonctionnement, sa configuration et son activation dans vos propres expériences.

La caméra réelle peut également être personnalisée en fonction de votre utilisation et de votre application. Pour en apprendre davantage à ce sujet, consultez notre documentation sur la personnalisation qui explique comment utiliser les styles, les couches mixtes et les projections de surface pour personnaliser la caméra réelle et parvenir à des fenêtres d’obturation et en caméra réelle.

La caméra réelle peut être utilisée avec un câble Meta Quest Link pour permettre à l’application activée pour celle-ci de s’exécuter tout en utilisant Meta Quest Link. Il est ainsi inutile de concevoir l’application sur PC puis de la déployer sur un appareil Meta Quest à chaque fois que vous la testez en phase de développement, soit une diminution drastique du temps d’itération nécessaire au développement des applications concernées. Pour en apprendre davantage sur l’utilisation de la caméra réelle avec Meta Quest Link, consultez notre documentation qui décrit les conditions requises, la configuration et les étapes nécessaires à l’activation de Meta Quest Link.

Scène

La scène vous permet de rapidement concevoir des expériences complexes dans l’environnement physique de l’utilisateur·ice qui intègrent des scènes et des interactions de qualité. La scène inclut deux concepts importants que sont la capture et la modélisation de scènes.

La capture de scène permet aux utilisateur·ices de parcourir et capturer leur scène afin de générer un modèle de scène.

Un modèle de scène est une représentation unique, complète et à jour du monde physique qu’il est facile d’indexer et d’interroger. Il fournit une représentation géométrique et sémantique de l’espace de l’utilisateur·ice pour vous aider à créer des expériences de réalité mixte à l’échelle d’une pièce.

Les éléments fondamentaux d’un modèle de scène sont les ancrages de scène lesquels s’ajoutent aux composants géométriques et aux étiquettes sémantiques. Par exemple, le système organise le salon d’une personne autour d’ancrages individuels et d’étiquettes sémantiques que sont le sol, le plafond, les murs, le bureau et le canapé, chacun de ces ancrages étant associés à une représentation géométrique simple : une limite en 2D ou une boîte d’encombrement en 3D.

Pour plus d’informations sur les scènes, consultez notre documentation dans laquelle nous expliquons leur fonctionnement, mais aussi comment les utiliser pour créer des applications de réalité mixte et comment utiliser le modèle de scène.

Ancrages spatiaux

Les ancrages spatiaux sont des cadres de référence verrouillés dans le monde réel. Vous pouvez les utiliser comme points d’origine pour positionner du contenu qui persiste d’une session à l’autre. Cette persistance s’obtient en créant un ancrage spatial au moyen d’une technologie 6DOF spécifique, puis en positionnant du contenu virtuel qui lui correspond. Avec les ancrages spatiaux, les développeur·euses peuvent créer des applications permettant de laisser des objets virtuels dans un lieu précis et d’ancrer ces objets dans ce lieu, même si l’utilisateur·ice quitte la pièce. Pour plus d’informations sur les ancrages spatiaux et les possibilités qu’ils offrent, consultez notre documentation dans laquelle nous décrivons leurs fonctionnalités et la façon dont il est possible de conserver le contenu d’une session à l’autre.

Les ancrages spatiaux permettent également à plusieurs utilisateurs et utilisatrices de partager un point de référence dans l’espace qui leur permet d’interagir avec des données et des objets virtuels dans un environnement collaboratif et partagé. Cela se révèle utile au moment de concevoir des expériences locales à plusieurs joueurs et joueuses en créant un cadre de référence partagé verrouillé dans le monde réel. Par exemple, deux personnes ou plus peuvent s’asseoir autour de la même table et jouer à un jeu de plateau virtuel posé dessus. Pour plus d’informations sur le fonctionnement des ancrages spatiaux partagés, consultez notre documentation dans laquelle nous abordons plus en détail les conditions requises et le partage.

Interactions

La plateforme Presence vous fournit des outils et fonctionnalités pour vous permettre de concevoir des expériences immersives au moyen de commandes de saisie naturelles, par exemple les mains, la voix et les manettes. Ces outils incluent le SDK Interaction, le suivi des mains, le SDK Voice, le clavier suivi et le SDK Audio.

SDK Interaction

Le SDK Interaction fournit une bibliothèque de composants pour ajouter des manettes et des interactions manuelles à vos expériences (par exemple, ray, poke et grab), ce qui a pour effet d’intégrer des recommandations et une approche heuristique concernant les interactions avec les appareils Meta Quest. Plus particulièrement concernant les mains, le SDK Interaction propose des modèles d’interaction spécifiques, mais aussi une détection des postures et des gestes et des possibilités visuelles centrées autour des mains.

Pour plus d’informations sur le SDK Interaction, consultez notre tutoriel détaillé qui vous apprendra à concevoir des interactions intuitives en VR.

N’oubliez pas de consulter notre blog dans lequel nous détaillons comment commencer à utiliser le SDK Interaction et le configurer et dans lequel nous donnons des recommandations sur l’intégration des interactions dans vos propres expériences.

SDK Voice

Le SDK Voice vous permet de concevoir des expériences vocales entièrement personnalisables dans votre jeu. Il offre aux développeur·ses un ensemble d’outils, de bibliothèques et de ressources pour ajouter dans leurs applications de VR et de MR la reconnaissance vocale et des fonctionnalités de traitement du langage naturel. Le SDK Voice s’appuie sur le service NLU de compréhension du langage naturel de Wit.ai et est compatible avec les casques Meta Quest, les appareils mobiles et autres plateformes tierces.

Avec Wit.ai, vous formez facilement vos applications pour leur permettre d’utiliser les commandes vocales sans pour autant devoir acquérir des connaissances en intelligence artificielle et en machine learning. L’association entre le SDK Voice et Wit.ai vous permet de vous concentrer sur les aspects créatifs et fonctionnels de votre application tout en autorisant de puissantes interactions vocales.

Pour plus d’informations sur le SDK Voice, consultez notre documentation dans laquelle nous détaillons sa configuration et les étapes pour l’intégrer. Vous y trouverez également des tutoriels et des recommandations.

Clavier suivi

Le SDK Tracked Keyboard fournit aux utilisateur·ices un moyen efficace d’interagir avec leur clavier physique au sein d’un environnement de VR. En effectuant un rendu des mains de l’utilisateur·ice par-dessus une représentation en VR de son clavier, ce SDK surmonte les limites des claviers virtuels et de la saisie à l’aveugle.

Pour plus d’informations sur le SDK Tracked Keyboard et la façon de l’utiliser, consultez notre documentation. Elle vous explique comment commencer à l’utiliser et l’intégrer dans vos propres applications et vous présente son fonctionnement avec des exemples de scènes.

SDK Audio

Le son est essentiel pour créer une expérience de VR ou de MR convaincante. Le SDK Audio XR de Meta fournit des fonctionnalités d’audio spatial, notamment une spatialisation ambisonique et des objets s’appuyant sur la fonction de transfert relative à la tête (HRTF) et une simulation acoustique de la pièce. Parmi les fonctionnalités prises en charge par le SDK Audio citons la spatialisation audio, le rendu « near field » (sans contact à courte distance), l’acoustique de la pièce, l’ambisonie, l’atténuation et la réflexion et bien d’autres notions plus expérimentales que les équipes de développement pourront tester.

Pour plus d’informations sur le fonctionnement du SDK Audio et la façon de l’intégrer à vos propres applications, consultez notre documentation dans laquelle nous entrons davantage dans le détail.

Présence sociale

La plateforme Presence vous dote des outils et ressources nécessaires pour vous permettre de concevoir des représentations numériques hautement fidèles de personnes, l’objectif étant de donner un côté réaliste au monde virtuel. C’est là qu’intervient le SDK Movement pour un suivi du corps, du visage et des yeux.

Le SDK Movement pour Unity utilise le suivi du corps, du visage et des yeux pour intégrer les mouvements physiques d’un·e utilisateur·ice dans un environnement de VR et améliorer les expériences sociales. Avec cette utilisation des signaux abstraits que le suivi permet, les développeur·ses peuvent animer des personnages et les doter d’une présence sociale, mais aussi de fonctionnalités au-delà de l’incarnation du personnage lui-même.

Pour plus d’informations sur le SDK Movement, notamment son mode de fonctionnement et les conditions requises pour l’utiliser, consultez notre documentation. Consultez notre documentation sur le suivi du corps, du visage et des yeux pour en apprendre davantage sur ce fonctionnement et le voir à l’œuvre dans des exemples du type Aura, High Fidelity, etc.

Autres ressources

Pour plus d’informations sur la plateforme Presence, consultez notre documentation dans laquelle nous abordons tous les SDK détaillés plus haut. Pour commencer à utiliser la plateforme Presence, téléchargez le package d’intégration Oculus pour Unity et Unreal.

Notre équipe a travaillé sur plusieurs exemples pour vous aider à vous lancer et intégrer ces outils et SDK dans vos propres applications :

• The World Beyond : exemple d’utilisation de la plateforme Presence (scène, caméra réelle, interaction, voix et spatialisation).
• First Hand : présentation du SDK Interaction dans la plateforme Presence montrant son utilisation dans Unity avec le suivi des mains. Ce projet contient les interactions utilisées dans la démo « First Hand » accessible dans l’App Lab.
• Unity-Movement : package montrant les fonctionnalités de suivi du corps, du visage et des yeux du Meta Quest Pro pour permettre aux développeur·ses de remplir les environnements de VR d’avatars personnalisés qui apportent de l’expressivité aux mondes virtuels qu’ils conçoivent.
• Whisperer : présentation du SDK Voice dans la plateforme Presence pour montrer son utilisation dans Unity. Ce projet contient le code source utilisé dans la démo « Whisperer » accessible dans l’App Lab.
• Unity Shared Spatial Anchors : exemple d’ancrages spatiaux partagés pour Unity montrant comment utiliser l’API Shared Spatial Anchors pour le moteur de jeu Unity et notamment comment créer, enregistrer, charger et partager des ancrages spatiaux.

Découvrez les sessions proposées à l’occasion de Connect 2022, un évènement au cours duquel nous avons discuté de l’utilisation de la plateforme Presence pour créer des expériences de réalité mixte, de la façon d’intégrer le suivi des mains dans vos applications et bien plus encore.

• Présentation du Meta Quest Pro et de la plateforme Presence
• Créer la prochaine génération d’expériences de réalité mixte à l’aide de la plateforme Presence
• Créer des expériences vocales immersives avec la plateforme Presence
• Créer des expériences naturelles basées sur les mains avec la plateforme Presence
• Utiliser l’audio spatial pour créer des expériences plus immersives avec la plateforme Presence
• Enrichir l’expressivité de vos applications avec la plateforme Presence