Presence Platform | An overview

Presence Platform de Meta es un conjunto de tecnologías y principios de diseño que se utilizan para crear experiencias inmersivas de realidad virtual (VR) y realidad mixta (MR) en los dispositivos de Meta Quest. Incluye una variedad de funciones, como tecnología avanzada de detección de movimiento y seguimiento, audio y gráficos de alta calidad, e interfaces y controles intuitivos, que funcionan de forma conjunta para crear experiencias inmersivas únicas. Además de proporcionar una plataforma para que los desarrolladores puedan crear estas aplicaciones innovadoras, Presence Platform también cuenta con funciones sociales que ayudan a que las personas se conecten e interactúen entre sí en espacios virtuales, entre los que se incluyen chat de voz y experiencias compartidas.

Echemos un vistazo a algunas de las funciones y herramientas que Presence Platform pone a tu disposición para que puedas contribuir a crear la forma en que en el futuro se jugará, creará, conectará y trabajará en los dispositivos de Meta Quest.

Realidad mixta

Presence Platform brinda a los desarrolladores herramientas y funciones de realidad mixta que permiten que los usuarios combinen el mundo virtual y físico. De esta manera, se logra una experiencia de realidad virtual realmente inmersiva, que incorpora y aprovecha tu entorno para crear un nuevo nivel de interacción. Estas herramientas de realidad mixta hacen posible que las personas vean e interactúen de forma simultánea con objetos físicos y virtuales, lo que proporciona una experiencia de realidad extendida más inmersiva e interactiva.

Algunas de las herramientas de realidad mixta fundamentales que ofrece Presence Platform son las siguientes: cámara externa, escena y anclas espaciales.

Cámara externa

La cámara externa proporciona una visualización en 3D en tiempo real del mundo físico dentro del visor de Meta Quest. La API de cámara externa permite a los desarrolladores integrar la visualización de cámara externa con sus experiencias virtuales. La cámara externa resulta ser una función primordial a la hora de desarrollar apps de realidad mixta que te permitan ver el entorno en el visor. Para obtener más información sobre la cámara externa, consulta nuestra documentación general, donde encontrarás información acerca del funcionamiento de la cámara externa y cómo configurarla y activarla para tus propias experiencias.

También es posible personalizar la cámara externa en función del caso de uso y de la app. Para obtener información sobre cómo personalizar la cámara externa, consulta nuestra documentación sobre personalización, donde podrás enterarte de cómo usar la cámara externa de estilo, estratificación de capas y superficie proyectada, con el fin de personalizar la cámara externa y lograr la oclusión y las ventanas de la cámara externa.

Se puede usar la cámara externa mediante el cable de Meta Quest Link, lo que permite que la app con cámara externa se ejecute mientras se utiliza Meta Quest Link. Al hacerlo, se elimina la necesidad de crear la app en una PC e implementarla en un dispositivo con Meta Quest cada vez que la pruebas durante la etapa de desarrollo. De esta manera, se reduce significativamente el tiempo de iteración cuando se desarrollan apps con cámara externa. Para obtener más información sobre el uso de la cámara externa con Meta Quest Link, consulta nuestra documentación, donde repasamos los requisitos previos, la configuración y los pasos que se deben cumplir para activar Meta Quest Link.

Escena

Esta función te brinda la posibilidad de crear rápidamente experiencias complejas en las que las escenas son vitales y que ofrecen interacciones ricas en el entorno físico del usuario. La escena incluye dos conceptos importantes: la captura de escena y el modelo de escena.

La captura de escena permite que los usuarios se desplacen y capturen la escena para generar un modelo de escena.

El modelo de escena es una representación única, completa y actualizada del mundo físico que resulta fácil de indexar y consultar. De esta manera, se proporciona una representación geométrica y semántica del espacio del usuario para que puedas crear experiencias de realidad mixta a la escala de la habitación.

Los elementos fundamentales de un modelo de escena son las anclas de escena, que se agregan a los componentes geométricos y a las etiquetas semánticas. Por ejemplo, el sistema organiza la sala de estar de un usuario en torno a anclas individuales con etiquetas semánticas, como piso, techo, paredes, escritorio y sillón. Asimismo, las anclas también están asociadas a una representación geométrica simple: un límite en 2D o un cuadro delimitador en 3D.

Para obtener más información sobre la escena y cómo funciona, consulta nuestra documentación, donde repasamos el funcionamiento de la escena, cómo crear apps de realidad mixta utilizando esta función y cómo usar el modelo de escena.

Anclas espaciales

Las anclas espaciales son marcos de referencia anclados al mundo que puedes utilizar como puntos de origen con el fin de posicionar contenido que puede permanecer entre distintas sesiones. Esta permanencia se logra creando un ancla espacial en una pose específica en 6 grados de libertad y colocando un contenido virtual relacionado con esta pose. Gracias a las anclas espaciales, los desarrolladores pueden crear apps en las que los usuarios pueden dejar objetos virtuales en una ubicación específica y dichos objetos permanecen anclados en esa ubicación, incluso cuando el usuario deja esa área. Para obtener más información acerca de las anclas espaciales y qué es lo que permiten hacer, consulta nuestra documentación, donde repasamos las posibilidades que ofrecen y cómo hacer que el contenido permanezca entre distintas sesiones.

Además, las anclas espaciales permiten que varios usuarios compartan un punto de referencia común en el espacio, lo que les brinda la posibilidad de interactuar con los objetos y datos virtuales en un entorno colaborativo y compartido. Esta función resulta útil a la hora de compilar experiencias multijugador locales, lo que se logra creando un marco de referencia compartido anclado al mundo para varios jugadores. Por ejemplo, dos o más personas pueden sentarse en la misma mesa y jugar un juego de mesa virtual ubicado sobre ella. Para obtener más información sobre cómo funcionan las anclas espaciales compartidas, consulta nuestra documentación, donde nos dedicamos con mayor profundidad a los requisitos previos y a cómo compartir anclas.

Interacciones

Presence Platform te brinda herramientas y funciones que puedes usar para optimizar los controles de entrada naturales, como las manos, la voz y controladores, cuando creas experiencias inmersivas. Entre las herramientas, se incluyen el SDK de interacción, el seguimiento de manos, el SDK de voz, los teclados con seguimiento y el SDK de audio.

SDK de interacción

El SDK de interacción proporciona una biblioteca de componentes para agregar controladores e interacciones de manos a tus experiencias, como seleccionar, dar un toque y agarrar, que incorporan las prácticas recomendadas y la heurística de las interacciones de los usuarios en los dispositivos de Meta Quest. En lo que se refiere específicamente a las manos, el SDK de interacción proporciona modelos de interacción de específicos para manos, detección de poses y gestos y posibilidades visuales centradas en las manos.

Para obtener información sobre el SDK de interacción, consulta nuestro tutorial detallado sobre cómo crear interacciones intuitivas de realidad virtual.

Asegúrate de visitar nuestro blog, donde profundizamos cómo dar los primeros pasos con el SDK de interacción, cómo configurarlo y donde puedes consultar tutoriales y prácticas recomendadas para integrar interacciones en tus propias experiencias.

SDK de voz

El SDK de voz te permite crear en tu juego experiencias de voz completamente personalizables. Brinda a los desarrolladores un conjunto de herramientas, bibliotecas y recursos que pueden usar para agregar reconocimiento de voz y funciones de procesamiento de lenguaje natural a las apps de realidad virtual y realidad mixta. El SDK se basa en la tecnología del servicio de comprensión del lenguaje natural (NLU) de Wit.ai y es compatible con visores Meta Quest, dispositivos móviles y plataformas de terceros.

Al usar Wit.ai, puedes entrenar con facilidad las apps para usar comandos de voz sin que sea necesario contar con conocimientos previos de IA y AA. La combinación de SDK de voz y Wit.ai te permite concentrarte en los aspectos creativos y funcionales de tu app, y, al mismo tiempo, posibilita que se creen interacciones de voz eficaces.

Para obtener más información sobre el SDK de voz, consulta nuestra documentación, donde profundizamos acerca de la manera de configurarlo y los pasos que se deben seguir para integrar el SDK de voz y brindamos tutoriales y prácticas recomendadas.

Teclados con seguimiento

El SDK de teclado con seguimiento proporciona a los usuarios una forma eficiente de interactuar con el teclado físico mientras que se encuentran en un entorno de realidad virtual. Al mostrar las manos del usuario sobre una representación de realidad virtual de su teclado, el SDK supera los límites de los teclados virtuales y de la escritura de toque ciego.

Para obtener más información sobre el SDK de teclado con seguimiento y cómo usarlo, consulta nuestra documentación, donde repasamos cómo dar los primeros pasos con el SDK y cómo integrarlo en tus apps, con ejemplos de escenas que muestran cómo funciona.

SDK de audio

El audio es vital a la hora de crear una experiencia de realidad mixta o virtual persuasiva. El SDK de audio de realidad extendida de Meta proporciona una función de audio espacial, que incluye la espacialización de sonido ambisónico y de objetos basada en la función de transferencia relacionada con la cabeza (HRTF) y la simulación de la acústica de la sala. Algunas de las funciones que admite el SDK de audio son la espacialización acústica, la representación de campo cercano, la acústica de la sala, el audio ambisónico, la atenuación, la reflexión y muchas más funciones experimentales para que prueben los desarrolladores.

Para obtener más información sobre cómo funciona el SDK de audio, las funciones que admite y cómo integrarlo en tus propias apps, consulta nuestra documentación, donde repasamos estos temas más en profundidad.

Presencia social

Presence Platform te brinda herramientas y recursos para que puedas crear representaciones digitales de alta fidelidad de personas, lo que permite lograr una sensación real de conexión con el mundo virtual. Esta sensación es posible gracias al seguimiento de cuerpo, cara y ojos, que lo facilita el SDK de movimiento.

El SDK de movimiento de Unity usa el seguimiento de cuerpo, cara y ojos para incorporar los movimientos físicos del usuario a la realidad virtual y mejorar las experiencias sociales. Al usar las señales abstractas que proporciona el seguimiento, los desarrolladores pueden animar personas con presencia social y poner a disposición funciones que superan la mera encarnación del personaje.

Para obtener más información sobre cómo funciona el SDK de movimiento y los requisitos previos que se deben cumplir para usarlo, consulta nuestra documentación, donde repasamos estos temas en detalle. Consulta nuestra documentación sobre el seguimiento de cuerpo, cara y ojos para obtener más información acerca de su funcionamiento y ejemplos de cómo ponerlos en uso, como aura, alta fidelidad y más.

Otros recursos

Para obtener más información acerca de Presence Platform, consulta nuestra documentación, donde repasamos en detalle todos los SDK que tratamos más arriba. Descarga el paquete de integración de Oculus de Unity y Unreal para dar los primeros pasos con Presence Platform.

Nuestro equipo elaboró varios ejemplos para ayudarte a empezar a integrar estas herramientas y SDK en tus apps:

• The World Beyond: una demostración de Presence Platform que indica cómo usar la escena, la cámara externa, la interacción, la voz y el espacializador.
• First Hand: una demostración del SDK de interacción de Presence Platform que muestra el uso del SDK de interacción en Unity con seguimiento de manos. Este proyecto contiene interacciones que se usaron en la demo de "First Hand", que está disponible en App Lab.
• Unity-Movement: un paquete que muestra las funciones de seguimiento de cuerpo, ojos y cara de Meta Quest Pro, lo que permite a los desarrolladores completar los entornos de realidad virtual con avatares personalizados, que llevan la expresividad de los usuario a los mundos virtuales que crean.
• Whisperer: una demostración del SDK de voz de Presence Platform que muestra el uso del SDK de voz en Unity. Este proyecto contiene el código de origen de la demo de "Whisperer", que está disponible en App Lab.
• Anclas espaciales compartidas de Unity: el ejemplo de las anclas espaciales compartidas demuestra cómo usar la API de anclas espaciales compartidas del motor de juego de Unity, lo que incluye cómo crear, guardar, cargar y compartir anclas espaciales.

Consulta las sesiones de Connect 2022, en las que hablamos sobre cómo usar Presence Platform para crear experiencias de realidad mixta, cómo incorporar el seguimiento de manos en las apps y mucho más.

• Información general de Meta Quest Pro y Presence Platform
• Crear la próxima generación de experiencias de realidad mixta con Presence Platform
• Crear experiencias inmersivas por voz con Presence Platform
• Crear experiencias con manos naturales con Presence Platform
• Usar audio espacial para crear experiencias más inmersivas con Presence Platform
• Enriquecer la expresividad de la app con Presence Platform