Presence Platform | An overview

Presence Platform di Meta è una suite di tecnologie e di principi di progettazione con lo scopo di creare esperienze immersive di realtà virtuale (VR) e di realtà mista (MR) sui dispositivi Meta Quest. Include una serie di funzioni come una tecnologia avanzata di tracking e rilevamento del movimento, grafica e audio di alta qualità, oltre a comandi e interfacce intuitivi che, insieme, creano esperienze immersive più fluide. Oltre a offrire una piattaforma agli sviluppatori per creare queste app innovative, Presence Platform comprende anche funzioni social che promuovono connessioni e interazioni negli spazi virtuali, tra cui videochiamate ed esperienze condivise.

Diamo un'occhiata ad alcune delle funzioni e degli strumenti disponibili su Presence Platform per ridefinire il nostro modo di giocare, creare, connetterci e lavorare sui dispositivi Meta Quest.

Realtà mista

Presence Platform offre agli sviluppatori strumenti e funzioni di realtà mista che consentono agli utenti di combinare il mondo fisico e quello virtuale, per creare un'esperienza VR non solo immersiva, ma anche in grado di includere e sfruttare quello che ci circonda in modo da raggiungere un nuovo livello di coinvolgimento. Questi strumenti di realtà mista permettono agli utenti di vedere e interagire simultaneamente sia con la realtà virtuale che con gli oggetti fisici, dando luogo a un'esperienza XR più immersiva e coinvolgente.

Gli strumenti essenziali di realtà mista offerti da Presence Platform includono Pass-through, Scene e Ancoraggi nello spazio.

Pass-through

Il pass-through offre una visualizzazione 3D in tempo reale del mondo fisico tramite il visore Meta Quest. L'API Passthrough consente agli sviluppatori di integrare la visualizzazione pass-through nelle loro esperienze virtuali. Pass-through è una funzione fondamentale nello sviluppo di app di realtà mista che consente di visualizzare l'ambiente circostante nel visore. Per saperne di più sul pass-through, consulta la documentazione panoramica, in cui illustriamo come funziona , come configurarlo e come abilitarlo nelle tue esperienze.

La funzione pass-through può inoltre essere personalizzata in base al caso d'uso e all'app. Per sapere come personalizzare il pass-through, consulta la documentazione sulla personalizzazione, in cui illustriamo come personalizzare lo stile, combinare più livelli e utilizzare la proiezione del pass-through sulle superfici, oltre a creare occlusioni e finestre di pass-through.

Il pass-through può essere utilizzato tramite il cavo Link Meta Quest, per eseguire un'app abilitata per pass-through con Meta Quest Link senza dover creare l'app su PC e implementarla in un dispositivo Meta Quest ogni volta che deve essere testata durante lo sviluppo, riducendo considerevolmente i tempi di iterazione nello sviluppo di app abilitate per pass-through. Per saperne di più sull'utilizzo del pass-through con Meta Quest Link, consulta la nostra documentazione, in cui illustriamo prerequisiti, configurazione e passaggi per abilitare Meta Quest Link.

Scene

Scene consente di creare esperienze complesse radicate nelle scene, con ricche opzioni di interazione nello spazio fisico dell'utente. Scene include due concetti fondamentali: Scene Capture (Cattura scena) e Scene Model (Modello scena).

Scene Capture permette agli utenti di muoversi e acquisire una scena per generare uno Scene Model.

Uno Scene Model è una singola rappresentazione globale e aggiornata del mondo fisico, facilmente indicizzabile e ricercabile, che offre un modello geometrico e semantico dello spazio dell'utente per creare esperienze di realtà mista su misura.

Gli elementi base di uno Scene Model sono gli Ancoraggi nella scena, che sono collegati ai componenti geometrici e alle etichette semantiche. Ad esempio, il sistema organizza il salotto di un utente in base ad ancoraggi singoli con etichette semantiche, come pavimento, soffitto, pareti, scrivania e divano, associando inoltre ogni ancoraggio a una semplice rappresentazione geometrica: un confine 2D o una scatola di delimitazione 3D.

Per saperne di più su Scene, consulta la nostra documentazione: scoprirai come funziona, come usarla per creare app di realtà mista e come usare gli Scene Model.

Ancoraggi nello spazio

Gli Ancoraggi nello spazio sono punti di riferimento legati al mondo reale che puoi usare come punti di origine per posizionare contenuti persistenti in diverse sessioni. La persistenza viene ottenuta creando un Ancoraggio nello spazio in una posizione 6DOF specifica e posizionando poi i relativi contenuti virtuali. Con gli Ancoraggi nello spazio, gli sviluppatori possono creare app in cui gli utenti hanno la possibilità di lasciare oggetti virtuali in un luogo specifico in modo che restino lì anche quando l'utente abbandona l'area. Per saperne di più sugli Ancoraggi nello spazio, dai un'occhiata alla nostra documentazione in cui ne illustriamo le funzionalità e come renderli persistenti in diverse sessioni.

Gli Ancoraggi nello spazio permettono a più utenti di condividere un punto di riferimento spaziale unico, in modo da interagire con dati e oggetti virtuali in un ambiente collaborativo e condiviso. Sono utili per creare esperienze multigiocatore locali, definendo un punto di riferimento legato al mondo reale condiviso tra più utenti. Ad esempio, due o più persone possono sedere allo stesso tavolo e divertirsi con un gioco da tavolo virtuale. Per saperne di più sugli Ancoraggi nello spazio, consulta la nostra documentazione, in cui esaminiamo più in dettaglio i prerequisiti e il modo in cui condividere gli ancoraggi.

Interazioni

Presence Platform offre strumenti e funzioni che permettono di utilizzare comandi di input naturali come mani, voce e controller, creando esperienze immersive. Questi strumenti includono: SDK Interaction, Tracking delle mani, SDK Voice, Tastiera con tracking e SDK Audio.

SDK Interaction

L'SDK Interaction offre una libreria di componenti per aggiungere alle tue esperienze controller e interazioni gestuali, come Ray, Poke e Grab, che incorporano euristiche e best practice per le interazioni degli utenti sui dispositivi Meta Quest. Per le mani in particolare, l'SDK Interaction offre modelli di interazione specifici con rilevamento di pose e gesti, oltre a includere più facilmente immagini focalizzate sulle mani.

Per saperne di più sull'SDK Interaction, dai un'occhiata al nostro tutorial dettagliato su come creare interazioni intuitive in VR.

Leggi il nostro blog, dove approfondiamo come iniziare a usare l'SDK Interaction e come configurarlo, oltre a condividere tutorial e best practice per integrare le interazioni nelle tue esperienze.

SDK Voice

L'SDK Voice consente di creare esperienze vocali personalizzabili per il tuo gioco. Offre agli sviluppatori una serie di strumenti, librerie e risorse da sfruttare per aggiungere funzioni di riconoscimento vocale e di elaborazione del linguaggio naturale ad app VR e MR. L'SDK Voice si basa sul servizio di comprensione del linguaggio naturale (NLU) Wit.ai ed è compatibile con visori Meta Quest, dispositivi mobili e altre piattaforme di terze parti.

Grazie a Wit.ai puoi addestrare facilmente le app a usare comandi vocali senza bisogno di avere competenze AI/ML. La combinazione dell'SDK Voice e di Wit.ai permette di concentrarsi sugli aspetti creativi e funzionali dell'app, consentendo allo stesso tempo interazioni vocali efficaci.

Per saperne di più sull'SDK Voice, consulta la nostra documentazione, in cui approfondiamo come configurarlo e i passaggi per integrarlo, oltre a condividere tutorial e best practice.

Tastiera con tracking

L'SDK Tracked Keyboard offre agli utenti un'interazione efficace con la propria tastiera fisica all'interno di un ambiente VR. Visualizzando le mani dell'utente su una rappresentazione VR della tastiera, l'SDK supera i limiti delle tastiere virtuali e della scrittura a tastiera cieca.

Per saperne di più sull'SDK Tracked Keyboard e su come usarlo, dai un'occhiata alla nostra documentazione, in cui illustriamo come iniziare e come integrare l'SDK nelle tue app, oltre a includere scene d'esempio che mostrano come funziona nella pratica.

SDK audio

L'audio è fondamentale per creare un'esperienza VR o MR convincente. L'SDK Meta XR Audio offre funzionalità audio spaziali tra cui oggetti basati su HRTF (Head-Related Transfer Function) e spazializzazione ambisonics, oltre alla simulazione dell'acustica ambientale. Alcune funzioni supportate dall'SDK Audio includono spazializzazione audio, rendering near-field, ambisonics, attenuazione e riflessione, oltre ad altre funzioni sperimentali a disposizione degli sviluppatori.

Per saperne di più sul funzionamento dell'SDK Audio e su come integrarlo nelle tue app, consulta la nostra documentazione dove trattiamo questi argomenti più in dettaglio.

Presenza social

Presence Platform offre strumenti e risorse per creare rappresentazioni digitali ad alta fedeltà delle persone, rafforzando una connessione realistica nel mondo virtuale attraverso il tracking del corpo, del viso e degli occhi realizzato con l'SDK Movement.

L'SDK Movement per Unity usa il tracking del corpo, del viso e degli occhi per trasferire i movimenti fisici dell'utente in VR e migliorare le esperienze social. Grazie ai segnali astratti forniti dal tracking, gli sviluppatori possono animare dei personaggi con la presenza social e arricchirli con una personalità che va oltre la mera rappresentazione.

Per saperne di più sul funzionamento dell'SDK Movement e sui prerequisiti per utilizzarlo, consulta la nostra documentazione, in cui approfondiamo tali aspetti. Consulta la nostra documentazione su Tracking del corpo, Tracking del viso e Tracking degli occhi per saperne di più e scopri come usarli nella pratica grazie a esempi come Aura, High Fidelity e altri ancora.

Altre risorse

Per saperne di più su Presence Platform, dai un'occhiata alla nostra documentazione, in cui passiamo in rassegna più in dettaglio tutti gli SDK indicati in precedenza. Comincia a usare Presence Platform scaricando il pacchetto di integrazioni Oculus per Unity e Unreal.

Il nostro team ha realizzato a una serie di esempi per aiutarti a utilizzare questi strumenti e SDK nelle tue app:

• The World Beyond: uno showcase Presence Platform per dimostrare come usare Scene, Pass-through, Interaction, Voice e Spatializer.
• First Hand: showcase dell'SDK Interaction di Presence Platform che mostra come usare questo SDK in Unity con il tracking delle mani. Il progetto include le interazioni usate nella demo "First Hand" disponibile in App Lab.
• Unity-Movement: un pacchetto che mostra le funzionalità di tracking del corpo, degli occhi e del viso di Meta Quest Pro, per consentire agli sviluppatori di popolare gli ambienti VR con avatar personalizzati capaci di trasferire l'espressività degli utenti nei mondi virtuali che creano.
• Whisperer: showcase dell'SDK Voice di Presence Platform per dimostrarne l'utilizzo in Unity. Il progetto include il codice sorgente per la demo "Whisperer" disponibile in App Lab.
• Unity Shared Spatial Anchors: l'esempio Unity Shared Spatial Anchors mostra come usare l'API Shared Spatial Anchors per il motore grafico Unity, illustrando come creare, salvare, caricare e condividere gli Ancoraggi nello spazio.

Dai un'occhiata alle sessioni di Connect 2022 in cui parliamo di come utilizzare Presence Platform per realizzare esperienze di realtà mista, di come incorporare il tracking delle mani nelle app e di tanto altro ancora.

• Meta Quest Pro And Presence Platform Overview
• Building The Next Generation Of Mixed Reality Experiences Using Presence Platform
• Building Immersive Voice Driven Experiences with Presence Platform
• Building Natural Hands Experiences With Presence Platform
• Use Spatial Audio to Build More Immersive Experiences with Presence Platform
• Enrich Expressivity Of Your Apps With Presence Platform