Presence Platform | An overview

Платформа Meta Presence — это набор технологий и принципов разработки для создания интерактивных приложений виртуальной (VR) и смешанной (MR) реальности для устройств Meta Quest. Она предлагает различные возможности, в том числе расширенное отслеживание и регистрацию движений, высокое качество графики и звука, а также интуитивно понятные элементы управления и интерфейсы, которые позволяют создавать комплексные интерактивные приложения. Кроме того, на платформе предусмотрены социальные функции, в том числе голосовой чат и другие возможности для взаимодействия людей в виртуальных пространствах.

Предлагаем вашему вниманию обзор передовых функций и инструментов платформы Presence, с которой вы сможете создавать будущее с играми, творчеством, взаимодействием и работой на устройствах Meta Quest.

Смешанная реальность

Платформа Presence предоставляет разработчикам инструменты и функции смешанной реальности, позволяющие стереть границы между реальным и виртуальным миром, создавая и дополняя увлекательный опыт на базе вашего окружения. Инструменты смешанной реальности позволяют создавать полноценные иммерсивные XR-приложения, где люди могут видеть виртуальные и физические объекты и взаимодействовать со всеми ними.

Платформа Presence предоставляет фундаментальные инструменты смешанной реальности, такие как сквозная камера, сцена и пространственные привязки.

Сквозная камера

Сквозная камера позволяет создавать трехмерные визуализации физического мира в гарнитуре Meta Quest в режиме реального времени. С помощью API Passthrough разработчики могут интегрировать визуализации сквозной камеры в свои VR-приложения. Сквозная камера — это ключевая функция при разработке приложений смешанной реальности, которая позволяет отображать физическое окружение в гарнитуре. Дополнительные сведения о принципе работы, а также о настройке и внедрении сквозной камеры в приложения см. в нашей документации.

Сквозную камеру можно настраивать в зависимости от сценария использования и требований приложения. В документации по настройке сквозной камеры описано, как работать с оформлением, комплексным наложением и проецируемой на поверхность сквозной камерой, чтобы получить необходимую окклюзию и окна.

Сквозную камеру можно подключать через кабель Meta Quest Link, что позволяет приложению с поддержкой камеры работать с использованием Meta Quest Link и устраняет необходимость создавать приложение на ПК и развертывать его на устройстве Meta Quest каждый раз, когда вы тестируете его во время разработки. Это значительно сокращает время итераций при разработке приложений с поддержкой сквозной камеры. Предварительные требования, а также действия по настройке и включению Meta Quest Link для работы со сквозной камерой описаны в нашей документации.

Сцена

Сцены позволяют быстро создавать приложения с комплексным дизайном и большим количеством взаимодействий в физическом окружении пользователя. При работе со сценами важны два основных понятия: захват сцены и модель сцены.

Захват сцены позволяет пользователям снять сцену в физическом пространстве, передвигаясь по нему, и сгенерировать модель сцены.

Модель сцены — это единое комплексное и актуальное представление физического пространства, которое можно легко индексировать и запрашивать. Сцена дает геометрическое и семантическое представление пространства пользователя, на базе которого можно создавать MR-приложения.

Основными элементами модели являются привязки сцены, которые крепятся к геометрическим компонентам и семантическим меткам. Например, система организует гостиную пользователя на базе индивидуальных привязок к семантическим меткам, определяя таким образом пол, потолок, стены, стол и диван. Каждая привязка также связывается с простым геометрическим представлением: двухмерной границей или трехмерной ограничительной рамкой.

Подробнее о том, как работать со сценами, создавать с их помощью приложения смешанной реальности и использовать модель сцены, см. в нашей документации.

Пространственные привязки

Пространственные привязки — это закрепленные в физическом пространстве направляющие точки для ориентации виртуального контента, который может оставаться неизменным от сеанса к сеансу. Такая устойчивость достигается путем создания пространственной привязки в определенной позиции 6DOF и последующего размещения виртуального контента относительно нее. С помощью пространственных привязок разработчики могут создавать приложения, которые позволяют пользователям оставлять виртуальные объекты в определенном месте. Эти объекты остаются привязанными к месту, даже когда пользователь покидает его. В документации вы найдете подробную информацию о пространственных привязках и их возможностях, а также о том, как создать виртуальный контент, который сохраняется от сеанса к сеансу.

Кроме того, благодаря пространственным привязкам несколько пользователей могут иметь общую точку отсчета в пространстве и чтобы взаимодействовать с виртуальными объектами и данными в совместной и общей среде. Это может быть полезно при разработке локального многопользовательского приложения путем создания общей системы координат с привязкой к миру для нескольких пользователей. Например, несколько человек могут сидеть за одним столом и играть на нем в виртуальную настольную игру. Подробную информацию о принципе работы пространственных привязок, предварительных требованиях и о том, как ими делиться, см. в документации.

Взаимодействия

Платформа Presence предоставляет инструменты и функции, которые можно применять для использования естественных средств ввода, например рук, голоса и контроллеров, при создании интерактивных приложений. В их число входят SDK Interaction, отслеживание движений рук, SDK Voice, отслеживаемая клавиатура и SDK Audio.

SDK Interaction

SDK Interaction предоставляет библиотеку компонентов, позволяющую добавить в приложение контроллеры и взаимодействие рук, например лучи, удары и захваты. Компоненты разработаны с применением рекомендаций и эвристических правил для взаимодействия пользователей на устройствах Meta Quest. В частности, для рук SDK Interaction предоставляет модели взаимодействия рук, распознавание поз и жестов, а также визуальные возможности.

Дополнительные сведения об SDK Interaction см. в нашем подробном курсе по созданию интуитивных взаимодействий в VR.

Почитайте наш блог, где мы подробно рассказываем, как начать работу с SDK Interaction и настроить его, а также приводим информацию об обучающих курсах по нему и рекомендации по его внедрению в приложения.

SDK Voice

SDK Voice позволяет создавать полностью настраиваемый интерфейс голосовых функций в игре. Он предоставляет разработчикам набор инструментов, библиотек и ресурсов, которые позволяют добавить в приложения VR и MR возможности распознавания голоса и обработки естественного языка. SDK Voice создан на основе службы обработки естественного языка (NLU) Wit.ai. Он совместим с гарнитурами Meta Quest, мобильными устройствами и другими сторонними платформами.

С помощью Wit.ai можно легко тренировать приложения для использования голосовых команд. Никаких глубоких знаний технологий искусственного интеллекта или машинного обучения при этом не требуется. Вместе SDK Voice и Wit.ai предоставляют возможности расширенного взаимодействия с использованием голоса и позволяют вам сосредоточиться на творческих аспектах и функциональности приложения.

Подробную информацию об SDK Voice, его настройке и интеграции, а также обучающие курсы и рекомендации по работе с ним см. в нашей документации.

Отслеживаемая клавиатура

SDK Tracked Keyboard предоставляет пользователям эффективный способ взаимодействия с физической клавиатурой в VR-среде. Благодаря визуализации рук пользователя поверх VR-представления клавиатуры SDK помогает преодолеть ограничения виртуальных клавиатур и набора "вслепую".

Подробную информацию о том, как начать работу с SDK Tracked Keyboard, интегрировать его в свои приложения, а также примеры сцен, наглядно показывающих его работу в действии, см. в нашей документации.

SDK Audio

Звук очень важен для создания наилучших впечатлений от VR или MR. SDK Meta XR Audio предоставляет возможности пространственного звука, в том числе пространственное расположение объектов, основанное на HRTF (перемещение с привязкой к положению головы) и амбифоническом эффекте, а также моделирование акустики помещения. В число поддерживаемых SDK Audio функций входят пространственное распределение звука, рендеринг ближнего поля, акустика помещения, амбифония, затухание и отражение, а также множество других экспериментальных функций, которые могут опробовать разработчики.

Подробную информацию о работе SDK Audio, его функциях и интеграции в приложения см. в нашей документации.

Социальное присутствие

Платформа Presence предоставляет инструменты и ресурсы для создания высокоточных цифровых изображений людей, которые добавляют реалистичности взаимодействиям в виртуальном мире. Это достигается благодаря отслеживанию движений тела, лица и глаз с помощью SDK Movement.

SDK Movement для Unity использует отслеживание движений тела, лица и глаз для улучшения социального взаимодействия в VR-среде. Используя абстрактные сигналы отслеживания, разработчики могут анимировать персонажей с социальным присутствием и создавать функции, выходящие за рамки реализации персонажа.

Подробную информацию об SDK Movement и требованиях для работы с ним см. в нашей документации. В документации вы найдете подробную информацию об отслеживании движений тела, лица и глаз, а также примеры использования этих технологий в Aura, High Fidelity и т. д.

Другие ресурсы

Подробную информацию о платформе Presence и всех упомянутых здесь SDK см. в этой документации. Начните работу с платформой Presence, скачав пакет Oculus Integration для Unity и для Unreal.

Наша команда подготовила несколько примеров, которые помогут вам начать интеграцию этих инструментов и SDK в ваши приложения:

• The World Beyond — демонстрация использования сцен, сквозной камеры, взаимодействий, голоса и пространственного анализатора на платформе Presence.
• First Hand — демонстрация SDK Interaction платформы Presence, в которой показано использование SDK Interaction в Unity с отслеживанием движений рук. Этот проект содержит взаимодействия, используемые в демонстрации First Hand в App Lab.
• Unity-Movement — пакет, демонстрирующий отслеживание движений тела, глаз и лица в Meta Quest Pro, благодаря которым разработчики могут создавать VR-среды с пользовательскими аватарами и делать виртуальные миры разнообразнее.
• Whisperer — демонстрация использования SDK Voice платформы Presence в Unity. Этот проект содержит исходный код демонстрации Whisperer в App Lab.
• Unity Shared Spatial Anchors — пример создания, сохранения, загрузки и совместного использования пространственных привязок с помощью API Spatial Anchors для Unity.

Посмотрите выступления с Connect 2022, где мы обсуждаем использование платформы Presence для создания смешанной реальности, внедрение отслеживания движений рук в приложения и многое другое.

• Обзор платформ Meta Quest Pro и Presence
• Создание приложений смешанной реальности нового поколения с помощью платформы Presence
• Создание интерактивных приложений с голосовыми функциями с помощью платформы Presence
• Естественные движения рук с помощью платформы Presence
• Использование пространственного аудио для создания более иммерсивных приложений с помощью платформы Presence
• Повышение выразительности приложений с помощью платформы Presence