Presence Platform | An overview

La plataforma Presence reúne un conjunto de tecnologías y principios de diseño que se utilizan para crear experiencias de realidad virtual (VR) y realidad mixta (MR) envolventes en los dispositivos Meta Quest. Incluye una variedad de funciones como seguimiento avanzado y tecnología de detección del movimiento, gráficos y audio de alta calidad, y controles e interfaces intuitivos que se combinan para crear experiencias fluidas y envolventes. Además de ofrecer una superficie para que los desarrolladores creen aplicaciones innovadoras, la plataforma Presence también incluye funciones sociales, como chats de voz y experiencias compartidas, que ayudan a los usuarios a estar conectados e interactuar entre sí en espacios virtuales.

Echemos un vistazo a algunas funciones y herramientas que tienes disponibles en la plataforma Presence para ayudarte a construir el futuro de la forma en que jugamos, creamos, nos conectamos y trabajamos en los dispositivos Meta Quest.

Realidad mixta

La plataforma Presence ofrece a los desarrolladores herramientas y funciones de realidad mixta que permiten a los usuarios combinar el mundo físico con el virtual para ofrecer una experiencia de VR realmente envolvente; una experiencia que engloba y aprovecha el entorno del usuario para desbloquear un nuevo nivel de experiencias atractivas en la vida. Dichas herramientas de realidad mixta permiten a los usuarios ver e interactuar con objetos virtuales y físicos a la vez para crear una experiencia de realidad extendida más envolvente y atractiva.

Algunas de las herramientas de realidad mixta fundamentales que la plataforma Presence ofrece son: Enfoque exterior, Escena y Anclajes espaciales.

Enfoque exterior

Enfoque exterior ofrece una visualización 3D en tiempo real del mundo físico en las gafas Meta Quest. La API de enfoque exterior permite a los desarrolladores integrar la visualización del Enfoque exterior con sus experiencias virtuales. Enfoque exterior es una función clave cuando se desarrollan aplicaciones de realidad mixta, ya que permite que veas tus alrededores en las gafas. Para obtener más información sobre la herramienta Enfoque exterior, consulta nuestra documentación con información general, donde se describe cómo funciona la herramienta Enfoque exterior, cómo configurarla y cómo activarla en las experiencias.

Enfoque exterior también puede personalizarse en función del caso de uso y la aplicación. Para saber cómo personalizar la herramienta Enfoque exterior, consulta nuestra documentación sobre personalización, donde se describe cómo se puede usar el estilo, la superposición compuesta y la herramienta Enfoque exterior proyectada en superficie para personalizar el enfoque exterior y para conseguir ventanas de oclusión y enfoque exterior.

Enfoque exterior se puede utilizar con el cable Link de Meta Quest. Esto permite a las aplicaciones compatibles con dicha herramienta ejecutarse mientras se usa Meta Quest Link, lo que elimina la necesidad de crear la aplicación en el PC e implementarla en un dispositivo Meta Quest cada vez que se prueba durante el proceso de desarrollo. Esto disminuye considerablemente el tiempo de iteración al desarrollar aplicaciones que admiten Enfoque exterior. Para obtener más información sobre el uso de Enfoque exterior con Meta Quest Link, consulta nuestra documentación, donde repasamos los requisitos previos, la configuración y los pasos necesarios para activar Meta Quest Link.

Escena

La herramienta Escena permite construir rápidamente experiencias complejas y adaptadas a la escena con interacciones enriquecidas en el entorno físico del usuario. Esta herramienta incluye dos conceptos importantes: captura de escena y modelo de escena.

Captura de escena permite a los usuarios explorar y capturar la escena para generar un modelo de escena.

Modelo de escena es una representación individual, completa y actualizada del mundo físico que es fácil de indexar y consultar, y que ofrece una representación geométrica y semántica del espacio del usuario para que puedas crear experiencias de realidad mixta a escala del entorno.

Los elementos fundamentales de un modelo de escena son los anclajes de escena, que se conectan a los componentes geométricos y a las etiquetas semánticas. Por ejemplo, el sistema organiza el salón del usuario mediante anclajes individuales con etiquetas semánticas, como pueden ser el suelo, el techo, las paredes, una mesa o un sofá. Cada anclaje se asocia, además, a una representación geométrica sencilla: un límite en 2D o un cuadro delimitador en 3D.

Para obtener más información sobre la herramienta Escena y su funcionamiento, consulta nuestra documentación, donde repasamos cómo funciona, cómo crear aplicaciones de realidad mixta con Escena y cómo usar el modelo de escena.

Anclajes espaciales

Los anclajes espaciales son marcos de referencia bloqueados en el espacio que puedes usar como puntos de origen para colocar contenido y mantenerlo entre sesiones. Esto se consigue creando un anclaje espacial en una posición 6DOF específica y colocando el contenido virtual relacionado. Mediante los anclajes espaciales, los desarrolladores pueden crear aplicaciones que permiten a los usuarios dejar objetos virtuales en un lugar determinado y que dichos objetos permanezcan anclados en ese lugar incluso cuando el usuario sale del área. Para obtener más información sobre los anclajes espaciales y lo que pueden hacer, consulta nuestra documentación, donde repasamos sus funciones y cómo mantener contenido entre sesiones.

Los anclajes espaciales también hacen posible que varios usuarios compartan un punto de referencia común en el espacio, lo que les permite interactuar con objetos y datos virtuales en un entorno colaborativo y compartido. Esto resulta útil cuando se construyen experiencias multijugador locales mediante la creación de un marco de referencia bloqueado en el espacio compartido para varios usuarios. Por ejemplo, dos o más personas pueden sentarse en la misma mesa y jugar a un juego de mesa virtual en ella. Para obtener más información sobre cómo funcionan los anclajes espaciales compartidos, consulta nuestra documentación, donde se describen en detalle los requisitos previos y cómo compartir anclajes espaciales.

Interacciones

La plataforma Presence proporciona herramientas y funciones que puedes usar para aprovechar los controles de entrada naturales, incluidas las manos, la voz y los controladores a medida que creas experiencias envolventes. Entre estas herramientas se incluyen el SDK de interacciones, el seguimiento de manos, el SDK de voz, el teclado con seguimiento y el SDK de audio.

SDK de interacciones

El SDK de interacciones ofrece una biblioteca de componentes para añadir controladores e interacciones de manos a las experiencias, como, por ejemplo, rayos, toques o agarres, que incorporan las prácticas recomendadas y la heurística para las interacciones de los usuarios en los dispositivos Meta Quest. Concretamente para las manos, el SDK de interacción proporciona modelos de interacción específicos para manos y detección de posturas y gestos, así como prestaciones visuales centradas en las manos.

Para obtener más información sobre el SDK de interacción, consulta nuestro tutorial detallado sobre cómo crear interacciones intuitivas en VR.

Asegúrate de visitar nuestro blog, donde profundizamos en cómo empezar a usar el SDK de interacción, cómo configurarlo, tutoriales y prácticas recomendadas al integrar las interacciones con las experiencias.

SDK de voz

El SDK de voz permite crear experiencias de voz totalmente personalizables en el juego. Proporciona a los desarrolladores un conjunto de herramientas, bibliotecas y recursos que pueden utilizar para añadir reconocimiento de voz y funciones de procesamiento del lenguaje natural a las aplicaciones de VR y MR. El SDK de voz utiliza la tecnología del servicio de comprensión del lenguaje natural (CLN) Wit.ai y es compatible con las gafas Meta Quest, dispositivos móviles y otras plataformas de terceros.

Con Wit.ai, puedes enseñar fácilmente a las aplicaciones a usar comandos de voz sin que sea necesario tener conocimientos previos sobre IA/AA. La combinación del SDK de voz y Wit.ai te ayuda a centrarte en los aspectos creativos y funcionales de la aplicación al tiempo que permite interacciones de voz potentes.

Para obtener más información sobre el SDK de voz, consulta nuestra documentación, donde profundizamos en cómo configurarlo, los pasos para integrar el SDK de voz, tutoriales y prácticas recomendadas.

Teclado con seguimiento

El SDK de teclado con seguimiento proporciona a los usuarios una forma eficiente de interactuar con el teclado físico mientras se encuentran en un entorno de VR. El SDK supera las limitaciones de los teclados virtuales y la mecanografía al tacto renderizando las manos del usuario sobre una representación en VR de su teclado.

Para obtener más información sobre el SDK de teclado con seguimiento, consulta nuestra documentación, donde repasamos cómo empezar con el SDK y cómo integrarlo en las aplicaciones, e incluimos escenas de ejemplo que muestran cómo funciona.

SDK de audio

El audio es crucial en la creación de experiencias de VR o MR persuasivas. El SDK de audio para realidad extendida de Meta proporciona funciones de audio espacial, como la función de transferencia relacionada con la cabeza (HRTF) basada en objetos y espacialización ambisónica, y simulación de acústica de sala. Algunas funciones que admite el SDK de audio son espacialización de audio, renderizado a distancias cortas, acústica de sala, ambisonía, atenuación y reflejo, y muchas otras funciones experimentales que los desarrolladores pueden probar.

Para obtener más información sobre cómo funciona el SDK de audio, las funciones que admite y cómo integrarlo en las aplicaciones, consulta nuestra documentación, donde repasamos estos temas con más detalle.

Presencia social

La plataforma Presence proporciona herramientas y recursos para crear representaciones digitales de personas con un alto grado de fidelidad que ofrezcan una sensación de conexión realista en el mundo virtual. Esto se puede conseguir mediante el seguimiento del cuerpo, la cara y los ojos con el SDK de movimiento.

El SDK de movimiento para Unity utiliza el seguimiento del cuerpo, la cara y los ojos para trasladar los movimientos físicos del usuario a la VR y mejorar las experiencias sociales. Mediante las señales abstractas que proporciona el seguimiento, los desarrolladores pueden animar personajes con presencia social y ofrecer funciones que van más allá de la representación del personaje.

Para obtener más información sobre cómo funciona el SDK de movimiento y los requisitos previos para usarlo, consulta nuestra documentación. Consulta nuestra documentación sobre el seguimiento del cuerpo, la cara y los ojos para obtener más detalles sobre cómo funciona y aprender a usarlo con muestras como Aura y High Fidelity, entre otras.

Otros recursos

Para obtener más información sobre la plataforma Presence, consulta nuestra documentación, donde repasamos con más detalle todos los SDK que hemos mencionado. Empieza a utilizar la plataforma Presence; para ello descarga el paquete de integración con Oculus para Unity y Unreal.

Nuestro equipo ha trabajado en varias muestras para ayudarte a empezar a integrar estas herramientas y SDK en tus aplicaciones:

• The World Beyond: ejemplo de la plataforma Presence que demuestra el uso de las herramientas de enfoque exterior, escena, interacción, voz y espacializador.
• First Hand: ejemplo del SDK de interacción de la plataforma Presence que demuestra el uso del SDK de interacción en Unity con el seguimiento de manos. Este proyecto contiene las interacciones usadas en la demostración “First Hand” disponible en App Lab.
• Unity-Movement: paquete que muestra las funciones de seguimiento del cuerpo, los ojos y la cara de Meta Quest Pro y permite a los desarrolladores añadir avatares personalizados en entornos de VR que incorporan la expresividad de los usuarios a los mundos virtuales que crean.
• Whisperer: ejemplo del SDK de voz de la plataforma Presence que demuestra el uso del SDK de voz en Unity. Este proyecto contiene el código fuente de la demostración “Whisperer” disponible en App Lab.
• Shared Spatial Anchors de Unity: el ejemplo Shared Spatial Anchors de Unity demuestra cómo usar la API de anclajes espaciales compartidos para el motor de juego Unity y muestra cómo crear, guardar, cargar y compartir anclajes espaciales.

Consulta las sesiones de Connect 2022, donde hablamos sobre el uso de la plataforma Presence para crear experiencias de realidad mixta o cómo incorporar el seguimiento de manos a las aplicaciones, entre otros temas.

• Información general de Meta Quest Pro y la plataforma Presence
• Crear la siguiente generación de experiencias de realidad mixta con la plataforma Presence
• Crear experiencias basadas en la voz envolventes con la plataforma Presence
• Crear experiencias naturales para manos con la plataforma Presence
• Usar el audio espacial para crear experiencias más envolventes con la plataforma Presence
• Enriquecer la expresividad de las aplicaciones con la plataforma Presence