Presence Platform | An overview

A Presence Platform da Meta é um conjunto de tecnologias e princípios de design usados para criar experiências imersivas de realidade virtual (VR) e realidade mista (MR) em dispositivos Meta Quest. Isso inclui diversos recursos, como rastreamento avançado e tecnologia de detecção de movimento, imagens e áudio de alta qualidade, assim como interfaces e controles intuitivos que funcionam juntos para criar experiências imersivas incríveis. Além de fornecer uma plataforma para os desenvolvedores criarem aplicativos inovadores, a Presence Platform também inclui recursos sociais para que as pessoas possam se conectar e interagir umas com as outras em espaços virtuais, como bate-papos por voz e experiências compartilhadas.

Vamos dar uma olhada em alguns dos recursos e das ferramentas disponíveis na Presence Platform para que você possa ajudar a moldar a forma como jogamos, criamos, nos conectamos e trabalhamos em dispositivos Meta Quest.

Realidade mista

A Presence Platform fornece aos desenvolvedores ferramentas e recursos de realidade mista que permitem aos usuários combinar o mundo físico e o virtual. Desse modo, é possível criar uma VR verdadeiramente imersiva, que engloba e aproveita o ambiente para oferecer um novo patamar de experiências incríveis. Com essas ferramentas de realidade mista, as pessoas podem ver e interagir com objetos virtuais e físicos de forma simultânea, criando uma experiência de XR mais imersiva e envolvente.

Estas são algumas das ferramentas básicas de realidade mista incluídas na Presence Platform: visão do ambiente, cena e âncoras espaciais.

Visão do ambiente

A visão do ambiente fornece uma visualização 3D em tempo real do mundo físico dentro dos headsets Meta Quest. A API permite que os desenvolvedores integrem a visão do ambiente com as experiências virtuais criadas por eles. Esse é um recurso fundamental para desenvolver apps de realidade mista porque permite ver o ambiente ao seu redor no headset. Para saber mais, confira a nossa documentação, que apresenta os aspectos gerais do funcionamento, da configuração e da ativação da visão do ambiente nas suas experiências.

Esse recurso de visualização também pode ser personalizado com base no caso de uso e no aplicativo. Para saber mais, confira a nossa documentação, que explica como você pode aplicar estilos, compor camadas e usar o recurso projetado na superfície para personalizar e obter oclusão e janelas de visão do ambiente.

A visão do ambiente pode ser usada no Cabo Link do Meta Quest, permitindo que um app habilitado para o recurso seja executado enquanto usa o Meta Quest Link. Isso significa que não será preciso criar o app no PC e implantá-lo em um dispositivo Meta Quest toda vez que você quiser realizar testes durante a fase de desenvolvimento. O resultado é uma redução significativa no tempo de iteração ao desenvolver apps que usam o recurso de visão do ambiente. Para saber mais, confira a nossa documentação que aborda os pré-requisitos, a configuração e as etapas para habilitar o Meta Quest Link.

Cena

O recurso de cena permite que você combine rapidamente experiências complexas com reconhecimento de ambiente e interações avançadas no espaço físico do usuário. Ele inclui dois conceitos importantes: captura e modelo de cena.

A captura de cena permite que os usuários se desloquem e capturem a cena em que estão para gerar um modelo.

O modelo de cena é uma representação única, abrangente e atualizada do mundo físico, fácil de indexar e consultar. O recurso oferece uma representação geométrica e semântica do espaço do usuário para que você possa criar experiências de realidade mista na escala do cômodo.

As âncoras são elementos essenciais de um modelo de cena e são anexadas aos componentes geométricos e rótulos semânticos. Por exemplo, o sistema organiza a sala de estar de um usuário em torno de âncoras individuais com rótulos semânticos (como piso, teto, paredes, mesa e sofá). Nesse cenário, cada âncora também é associada a uma representação geométrica simples: um limite em 2D ou uma caixa delimitadora em 3D.

Para saber mais, confira a nossa documentação, que aborda como o recurso de cena funciona, como criar apps de realidade mista com ele e como usar o modelo de cena.

Âncoras espaciais

As âncoras espaciais são quadros de referência bloqueados que servem como pontos de origem para posicionar um conteúdo que pode permanecer entre as sessões. Essa permanência é obtida com a criação de uma âncora espacial em uma pose de 6DOF específica e, depois, com o posicionamento do conteúdo virtual em relação a ela. Com as âncoras espaciais, os desenvolvedores podem criar aplicativos que permitem aos usuários deixar objetos virtuais em locais específicos. Esses objetos podem permanecer ancorados nesses espaços mesmo quando o usuário sai da área. Para saber mais sobre as âncoras espaciais e o que é possível fazer com elas, confira a nossa documentação, que aborda as funcionalidades do recurso e como manter o conteúdo entre as sessões.

As âncoras espaciais também possibilitam que vários usuários compartilhem um ponto de referência comum no espaço. Assim, eles podem interagir com objetos e dados virtuais em um ambiente colaborativo e compartilhado. Isso é útil para os desenvolvedores que querem oferecer experiências multijogador locais criando um quadro de referência compartilhado e bloqueado para vários usuários. Por exemplo, duas ou mais pessoas podem sentar em volta da mesma mesa e jogar juntas um jogo de tabuleiro virtual. Para saber mais, confira a nossa documentação, que explica em detalhes os pré-requisitos e o funcionamento das âncoras espaciais e como elas podem ser compartilhadas.

Interações

A Presence Platform fornece ferramentas e recursos que ajudam a usar controles de entrada naturais (incluindo mãos e voz) quando você cria experiências imersivas. Isso inclui SDK de Interação, rastreamento das mãos, SDK de Voz, teclado com rastreamento e SDK de Áudio.

SDK de Interação

O SDK de Interação fornece uma biblioteca de componentes para adicionar controles e interações manuais às suas experiências, como usar raios, cutucar e agarrar, que incorporam as boas práticas e heurísticas para interações do usuário no dispositivo Meta Quest. Especificamente para as mãos, esse SDK oferece modelos de interação e detecção de pose e gesto, bem como recursos visuais com foco nessa parte do corpo.

Para saber mais sobre o SDK de Interação, confira o nosso tutorial detalhado sobre como criar interações intuitivas em VR.

Visite também o nosso blog para saber como começar a usar e configurar o SDK de Interação, além de conferir tutoriais e boas práticas ao integrar interações nas suas experiências.

SDK de Voz

O SDK de Voz permite que você crie experiências de voz que podem ser totalmente personalizadas no seu jogo. Com ele, os desenvolvedores têm acesso a um conjunto de ferramentas, bibliotecas e recursos que podem ser usados para adicionar funcionalidades de reconhecimento de voz e processamento de linguagem natural a aplicativos de VR e MR. O SDK de Voz usa a tecnologia do serviço de Entendimento de Linguagem Natural (NLU, pelas iniciais em inglês) Wit.ai e é compatível com headsets Meta Quest, dispositivos móveis e outras plataformas de terceiros.

Com o Wit.ai, é possível treinar facilmente apps para usar comandos de voz sem a necessidade de ter conhecimento prévio em IA e aprendizado de máquina. A combinação do SDK de Voz e do Wit.ai possibilita que você se concentre nos aspectos criativos e funcionais do seu app enquanto aproveita poderosas interações de voz.

Para saber mais, confira a nossa documentação, que aborda em detalhes como configurar o SDK de Voz, as etapas para integrá-lo, bem como apresenta tutoriais e boas práticas.

Teclado com rastreamento

O SDK de Teclado com Rastreamento fornece aos usuários uma maneira eficiente de interagir com o teclado físico dentro de um ambiente de VR. Ao renderizar as mãos de um usuário em uma representação em VR do teclado usado por ele, o SDK supera as limitações dos teclados virtuais e da datilografia.

Para saber mais, confira a nossa documentação, que explica como começar a usar o SDK de Teclado com Rastreamento e como integrá-lo nos seus aplicativos, além de apresentar exemplos de cenas que mostram como o recurso funciona na prática.

SDK de Áudio

O recurso de áudio é essencial para criar uma experiência persuasiva de VR ou MR. O SDK de Áudio de XR da Meta fornece funcionalidade de áudio espacial, incluindo objeto baseado em função de transferência relacionada à cabeça (HRTF, pelas iniciais em inglês) e espacialização Ambisonics, bem como simulação da acústica da sala. Alguns dos recursos compatíveis com esse SDK incluem espacialização de áudio, renderização de campo próximo, acústica da sala, Ambisonics, atenuação e reflexão e muitas outras opções para os desenvolvedores experimentarem.

Para saber mais sobre como o SDK de Áudio funciona, os recursos compatíveis com ele e como integrá-lo nos seus aplicativos, consulte a nossa documentação, que aborda esses tópicos em detalhes.

Presença social

A Presence Platform fornece ferramentas e recursos para que você possa criar representações digitais fiéis de pessoas, gerando uma sensação realista de conexão no mundo virtual. Isso pode ser obtido pelo rastreamento corporal, facial e ocular, que é promovido pelo SDK de Movimento.

O SDK de Movimento para o Unity usa rastreamento corporal, facial e ocular para reproduzir os movimentos físicos de um usuário em VR e aprimorar as experiências sociais. Com os sinais abstratos fornecidos pelo rastreamento, os desenvolvedores podem animar personagens com presença social e oferecer recursos além da personificação.

Para saber mais sobre como o SDK de Movimento funciona e os pré-requisitos necessários para usar o recurso, consulte a nossa documentação, que explora tudo isso em detalhes. Consulte a nossa documentação sobre rastreamento corporal, facial e ocular para saber mais sobre como esse recurso funciona e descubra como ele é usado na prática com exemplos como Aura, High Fidelity e outros.

Outros recursos

Para saber mais sobre a Presence Platform, consulte a nossa documentação, que discute todos os SDKs mencionados acima em detalhes. Comece a usar a Presence Platform baixando o Oculus Integration Package para o Unity e o Unreal.

Nossa equipe trabalhou em vários exemplos para ajudar você a começar a integrar essas ferramentas e esses SDKs nos seus aplicativos:

• The World Beyond: uma demonstração da Presence Platform que aborda o uso dos recursos de cena, visão do ambiente, interação, voz e espacializador.
• First Hand: uma demonstração do uso do SDK de Interação da Presence Platform no Unity com rastreamento das mãos. Esse projeto contém as interações usadas na demonstração "First Hand" disponível no App Lab.
• Unity-Movement: um pacote que mostra os recursos do rastreamento corporal, facial e ocular do Meta Quest Pro, permitindo que os desenvolvedores preencham ambientes de VR com avatares personalizados que levam a expressividade dos usuários ao mundo virtual.
• Whisperer: uma demonstração do uso do SDK de Voz da Presence Platform no Unity. Esse projeto contém o código-fonte da demonstração "Whisperer" disponível no App Lab.
• Unity Shared Spatial Anchors: esse exemplo demonstra como usar a API de Âncoras Espaciais Compartilhadas no mecanismo de jogos do Unity, mostrando como criar, salvar, carregar e compartilhar âncoras espaciais.

Confira as sessões do Connect 2022, onde discutimos como usar a Presence Platform para criar experiências de realidade mista, como incorporar o rastreamento das mãos em apps e muito mais.

• Apresentação do Meta Quest Pro e da Presence Platform
• Criando a próxima geração de experiências de realidade mista usando a Presence Platform
• Criando experiências imersivas guiadas por voz com a Presence Platform
• Criando interações naturais com as mãos com a Presence Platform
• Usando o áudio espacial para criar experiências mais imersivas com a Presence Platform
• Deixe seus apps mais expressivos com a Presence Platform