Presence Platform | An overview
Meta의 Presence Platform은 Meta Quest 기기에서 몰입형 가상 현실(VR) 및 혼합 현실(MR) 경험을 구현하는 데 사용하는 기술과 디자인 원칙의 모음입니다. 고급 추적 및 동작 감지 기술, 고품질의 그래픽 및 오디오, 직관적인 컨트롤 및 인터페이스 등의 다양한 기능이 포함되며 이들이 함께 어우러져 매끄러운 몰입형 경험을 구현합니다. Presence Platform은 개발자가 이러한 혁신적인 앱을 개발하기 위한 플랫폼을 제공할 뿐만 아니라, 사용자가 가상 공간에서 음성 채팅, 공유 경험 등을 통해 서로 연결하고 상호작용하는 데 도움이 되는 소셜 기능도 포함합니다.
여러분이 Meta Quest 기기에서 즐기고, 만들고, 연결하고, 작업을 수행하는 방식에 대한 미래를 구축할 수 있도록 Presence Platform을 통해 제공하는 몇 가지 기능과 도구를 소개하겠습니다.
혼합 현실
Presence Platform은 개발자에게 물리적 세계와 가상 세계의 혼합을 가능하게 하는 혼합 현실 도구 및 기능을 제공합니다. 이를 통해 주변 환경을 포괄적으로 활용하여 새로운 차원의 참여 경험을 구현하는 진정한 몰입형 VR 경험 그 이상을 제공합니다. 이러한 혼합 현실 도구를 통해 사람들은 가상 및 물리적 개체를 동시에 보고 상호작용함으로써 더 실감 나고 매력적인 XR 경험을 구축할 수 있습니다.
Presence Platform에서 제공하는 기본적인 혼합 현실 도구로는 패스스루, 장면 및 공간 앵커가 있습니다.
패스스루
패스스루는 Meta Quest 헤드셋 내에서 물리적 세계에 대한 실시간 3D 시각화를 제공합니다. 패스스루 API를 통해 개발자는 패스스루 시각화와 가상 경험을 통합할 수 있습니다. 패스스루는 혼합 현실 앱을 개발하기 위한 주요 기능이자, 헤드셋 안에서 주변 환경을 볼 수 있게 해 주는 기능입니다. 패스스루에 대해 자세히 알아보려면 개요 문서를 참조하세요. 이 문서에서는 패스스루의 작동 및 설정 방법, 나만의 경험에서 패스스루 기능을 활성화하는 방법을 설명합니다.
패스스루를 사용 사례와 앱을 기반으로 맞춤 설정할 수도 있습니다. 패스스루를 맞춤 설정하는 방법을 알아보려면 맞춤 설정 문서를 참조하세요. 이 문서에서는 스타일링, 복합 레이어링, 표면 투사 패스스루를 사용하여 패스스루를 맞춤 설정하고 오클루전 및 패스스루 창을 구현하는 방법을 설명합니다.
패스스루는 Meta Quest Link 케이블을 통해 사용할 수 있으며, 이를 통해 패스스루를 지원하는 앱이 Meta Quest Link를 사용하는 동안 실행되어 개발 과정에서 테스트할 때마다 PC에서 앱을 빌드하고 Meta Quest 기기에 배포할 필요가 없습니다. 따라서 패스스루를 지원하는 앱을 개발할 때 반복 시간이 상당히 단축됩니다. Meta Quest Link로 패스스루를 사용하는 방법에 대해 자세히 알아보려면 Meta에서 제공하는 문서를 참조하세요. 이 문서에서는 Meta Quest Link를 활성화하기 위한 필수 조건, 설정, 단계를 살펴봅니다.
장면
장면을 이용하면 사용자의 물리적 환경 내에서 다양한 인터랙션을 이용하여 복잡하고 장면을 인식하는 경험을 빠르게 빌드할 수 있습니다. 장면에는 장면 캡처와 장면 모델이라는 두 가지 중요한 개념이 포함됩니다.
장면 캡처를 이용하면 사용자가 장면 주변을 걸으며 캡처하는 방법으로 장면 모델을 생성할 수 있습니다.
장면 모델은 물리적 세계를 인덱싱과 쿼리가 쉬운 단일하고 포괄적인 최신 표현으로 나타낸 것으로서, 사용자 공간에 대한 기하학적 및 의미론적 표현을 제공하여 실내 공간 규모의 혼합 현실 경험을 빌드할 수 있게 해 줍니다.
장면 모델의 기본 요소는 장면 앵커로, 이는 기하학적 구성 요소와 의미론적 레이블과 연결됩니다. 예를 들어 시스템은 의미론적 레이블이 포함된 개별 앵커를 중심으로 사용자의 거실 공간(예: 바닥, 천장, 벽, 책상, 소파)을 구성합니다. 각 앵커는 단순한 기하학적 표현인 2D 경계 또는 3D 경계 박스와도 연결됩니다.
장면과 장면의 작동 원리에 대해 자세히 알고 싶다면 Meta에서 제공하는 문서를 참조하세요. 이 문서에서는 장면의 작동 원리, 장면을 사용하여 혼합 현실 앱을 빌드하는 방법, 장면 모델을 사용하는 방법을 설명합니다.
공간 앵커
공간 앵커는 월드에 고정되어 모든 세션에 걸쳐 고정될 수 있는 콘텐츠를 배치하기 위한 원점으로 사용할 수 있는 기준 프레임입니다. 이런 고정의 원리는 특정 6DOF 포즈에 공간 앵커를 만들고 여기에 상대적으로 가상 콘텐츠를 배치하는 것입니다. 공간 앵커를 이용하면 개발자는 사용자가 특정 위치에 가상 개체를 둘 수 있는 앱을 만들 수 있고, 사용자가 해당 영역을 떠난 뒤에도 해당 위치에 개체가 고정될 수 있습니다. 공간 앵커와 그 기능에 대해 자세히 알아보려면 Meta에서 제공하는 문서를 참조하세요. 이 문서에서는 기능과 모든 세션에서 콘텐츠를 고정하는 방법을 설명합니다.
또한 공간 앵커를 사용하면 여러 사용자가 공간 내에서 공통 기준점을 공유하여 협업적인 공유 환경에서 가상 개체 및 데이터와 상호작용하도록 지원할 수 있습니다. 이는 여러 사용자에게 공유되고 월드에 고정된 기준 프레임을 만들어서 로컬 멀티플레이어 경험을 빌드할 때 유용합니다. 예를 들어 두 명 이상의 사람이 같은 테이블에 앉아 가상 보드 게임을 즐길 수 있습니다. 공유 공간 앵커의 작동 원리에 대해 자세히 알아보려면 Meta에서 제공하는 문서를 참조하세요. 이 문서에서는 필수 조건과 앵커를 공유하는 방법을 더 자세히 설명합니다.
인터랙션
Presence Platform은 몰입형 경험을 빌드하면서 손, 음성, 컨트롤러 등의 자연적인 입력 컨트롤을 활용할 수 있는 도구와 기능을 제공합니다. 이러한 도구에는 인터랙션 SDK, 핸드 트래킹, 음성 SDK, 가상 키보드, 오디오 SDK가 있습니다.
인터랙션 SDK
인터랙션 SDK는 광선, 콕 찔러보기, 잡기 등과 같은 컨트롤러 및 손 인터랙션을 경험에 추가하기 위한 구성 요소 라이브러리를 제공하며, 여기에는 Meta Quest 기기에서 사용자 인터랙션을 수행하기 위한 모범 사례와 경험적 접근법이 포함됩니다. 특히 손의 경우, 인터랙션 SDK는 손 중심적인 시각적 시사는 물론이고 손 전용 인터랙션 모델과 포즈, 제스처 탐지를 제공합니다.
인터랙션 SDK에 대해 자세히 알아보려면 VR에서 직관적인 인터랙션을 빌드하는 방법을 자세히 설명한 Meta 튜토리얼을 참조하세요.
Meta 블로그에서 인터랙션 SDK를 시작하는 방법, 설정하는 방법, 튜토리얼, 자신의 경험에 인터랙션을 통합하기 위한 모범 사례를 자세히 알아보세요.
음성 SDK
음성 SDK를 사용하면 게임 내에서 완전히 맞춤 설정 가능한 음성 경험을 빌드할 수 있습니다. 음성 SDK는 VR 및 MR 앱에 음성 인식 및 자연어 처리 기능을 추가할 수 있는 도구, 라이브러리, 리소스 세트를 개발자에게 제공합니다. 음성 SDK는 Wit.ai Natural Language Understanding(NLU) 서비스를 기반으로 하고 Meta Quest 헤드셋, 모바일 기기 및 기타 타사 플랫폼과 호환됩니다.
Wit.ai를 사용하면 AI/ML에 대한 사전 지식이 없어도 음성 명령을 사용하도록 앱을 훈련할 수 있습니다. 음성 SDK 및 Wit.ai를 결합하면 강력한 음성 인터랙션을 지원하면서도 앱의 창의적이고 기능적인 측면에 집중할 수 있습니다.
음성 SDK에 대해 자세히 알아보려면 Meta에서 제공하는 문서를 참조하세요. 이 문서에서는 음성 SDK의 설정 방법, 통합 단계, 튜토리얼, 모범 사례를 자세히 설명합니다.
가상 키보드
가상 키보드 SDK는 사용자가 VR 환경 내에서 실제 키보드와 효율적으로 상호작용할 수 있는 방법을 제공합니다. 이 SDK는 키보드의 VR 표현 위에 사용자의 손을 렌더링하여 가상 키보드 및 시각적 도움 없이 터치하여 입력할 때의 한계를 극복합니다.
가상 키보드 SDK와 사용 방법에 대해 자세히 알아보려면 Meta에서 제공하는 문서를 참조하세요. 이 문서에서는 SDK를 시작하는 방법, 자신의 앱에 통합하는 방법, 실제로 작동하는 모습이 나와 있는 샘플 장면을 살펴봅니다.
오디오 SDK
오디오는 실감 나는 VR 또는 MR 경험을 구현하는 데 중요한 역할을 합니다. Meta XR 오디오 SDK는 실내 음향 시뮬레이션은 물론이고 머리 관련 전달 함수(HRTF) 기반 개체와 앰비소닉 공간화 등의 입체 사운드 기능도 제공합니다. 오디오 SDK에서 지원하는 기능으로는 오디오 공간화, 근거리 렌더링, 실내 음향, 앰비소닉, 감쇠 및 반향, 그 외에 개발자가 시험해 볼 수 있는 다양한 실험적 기능 등이 있습니다.
오디오 SDK의 작동 원리, 지원하는 기능, 자신의 앱에 통합하는 방법에 대해 자세히 알아보려면 Meta에서 제공하는 문서를 참조하세요. 이 문서에서는 이러한 주제에 대한 자세한 설명이 나와 있습니다.
소셜 프레즌스
Presence Platform은 가상 세계에서 실제와 유사한 연대감을 느낄 수 있도록 사람을 충실도 높은 디지털 표현으로 구현하는 도구와 리소스를 제공합니다. 이는 동작 SDK를 통해 제공되는 인체, 얼굴, 시선 트래킹을 사용하여 구현됩니다.
Unity용 동작 SDK는 인체 트래킹, 얼굴 트래킹, 시선 트래킹을 사용하여 사용자의 물리적 움직임을 VR에 통합하고 소셜 경험을 향상합니다. 개발자는 트래킹이 제공하는 추상화된 신호를 사용하여 소셜 프레즌스로 캐릭터를 애니메이션화하고 캐릭터를 구현하는 이상의 기능을 제공할 수 있습니다.
동작 SDK의 작동 원리와 이를 사용하기 위한 필수 조건에 대해 자세히 알아보려면 Meta에서 제공하는 문서를 참조하세요. 이 문서에서는 이러한 내용을 자세히 다룹니다. 인체, 얼굴, 시선 트래킹 문서에서 자세한 작동 원리를 알아보고 Aura, High Fidelity 등의 샘플에서 실제로 사용하는 방법을 확인하세요.
기타 리소스
Presence Platform에 대해 자세히 알아보려면 Meta에서 제공하는 문서를 참조하세요. 이 문서에서는 위에서 설명한 모든 SDK에 대해 더 자세히 다룹니다. Unity 및 Unreal에서 지원되는 Oculus 통합 패키지를 다운로드하여 Presence Platform을 시작해 보세요.
Meta 팀에서는 이러한 도구와 SDK를 자신의 앱에 통합하는 작업을 시작하는 데 도움이 되는 몇 가지 샘플을 준비했습니다.
- The World Beyond: Presence Platform에서 장면, 패스스루, 인터랙션, 음성, 공간화를 사용하는 방법을 보여주는 데모.
- First Hand: Unity에서 핸드 트래킹으로 인터랙션 SDK를 사용하는 방법을 보여주는 Presence Platform 인터랙션 SDK 쇼케이스. 이 프로젝트에는 App Lab에서 제공하는 'First Hand' 데모에서 사용한 인터랙션이 포함됩니다.
- Unity-Movement: Meta Quest Pro의 인체 트래킹, 시선 트래킹 및 얼굴 트래킹 기능을 통해 개발자가 맞춤 아바타로 VR 환경을 채워 자신이 만드는 가상 세계로 사용자의 표현력을 가져오는 방법을 보여주는 패키지.
- Whisperer: Unity에서 음성 SDK를 사용하는 방법을 보여주는 Presence Platform 음성 SDK 쇼케이스. 이 프로젝트에는 App Lab에서 제공하는 'Whisperer' 데모에서 사용한 소스 코드가 포함됩니다.
- Unity Shared Spatial Anchors: Unity Shared Spatial Anchors 샘플을 통해 Unity 게임 엔진용 공유 공간 앵커 API를 사용하여 공간 앵커를 생성, 저장, 로딩 및 공유하는 방법을 보여주는 데모.
Presence Platform을 사용하여 혼합 현실 경험을 빌드하는 방법, 앱에 핸드 트래킹을 통합하는 방법 등을 설명하는 Connect 2022 세션을 참조하세요.
