Presence Platform | An overview

Platform Eksistensi Meta adalah seperangkat teknologi dan prinsip desain yang digunakan untuk menciptakan pengalaman virtual reality (VR) dan mixed reality (MR) yang imersif pada perangkat Meta Quest. Ini mencakup berbagai fitur seperti pelacakan canggih dan teknologi pendeteksi gerak, grafik dan audio berkualitas tinggi, serta kontrol dan antarmuka intuitif yang bekerja sama untuk menciptakan pengalaman mendalam yang lancar. Selain menyediakan platform bagi developer untuk membuat aplikasi inovatif ini, Platform Eksistensi juga menyertakan fitur sosial yang membantu orang terhubung dan berinteraksi satu sama lain di ruang virtual, termasuk obrolan suara dan pengalaman bersama.

Mari kita lihat beberapa fitur dan alat yang tersedia bagi Anda melalui Platform Eksistensi agar Anda dapat membangun masa depan untuk cara kami bermain, berkreasi, terhubung, dan bekerja di perangkat Meta Quest.

Mixed Reality

Platform Eksistensi memberi developer alat dan fitur mixed reality yang memungkinkan pengguna memadukan dunia fisik dan virtual, memberikan lebih dari sekadar pengalaman VR yang benar-benar mendalam—pengalaman yang menyelungkup dan memanfaatkan lingkungan Anda untuk membuka level baru pengalaman interaktif dalam kehidupan. Fitur mixed reality ini memungkinkan orang melihat dan berinteraksi dengan objek virtual dan fisik secara bersamaan, menciptakan pengalaman XR yang lebih mendalam dan interaktif.

Beberapa fitur mixed reality mendasar yang disediakan oleh Platform Eksistensi adalah: Passthrough, Scene, dan Spatial Anchors.

Passthrough

Passthrough memberikan visualisasi 3D realtime dari dunia fisik di dalam headset Meta Quest. Passthrough API memungkinkan developer untuk mengintegrasikan visualisasi Passthrough dengan pengalaman virtual mereka. Passthrough adalah fitur utama saat mengembangkan aplikasi mixed reality dan yang memungkinkan Anda melihat sekeliling di headset. Untuk mempelajari selengkapnya tentang Passthrough, lihat dokumentasi ringkasan, tempat kami membahas cara kerja Passthrough, cara mengaturnya, dan cara mengaktifkannya dalam pengalaman Anda sendiri.

Passthrough juga dapat disesuaikan berdasarkan kasus penggunaan dan aplikasi Anda. Untuk mempelajari cara menyesuaikan Passthrough, lihat dokumentasi penyesuaian, tempat kami membahas bagaimana Anda dapat menggunakan Passthrough penataan, pembuatan layer komposit, dan permukaan yang diproyeksikan untuk menyesuaikan Passthrough Anda dan untuk mencapai oklusi dan jendela Passthrough.

Passthrough dapat digunakan melalui kabel Meta Quest Link, memungkinkan aplikasi yang mengaktifkan Passthrough untuk berjalan saat menggunakan Meta Quest Link, mengeliminasi kebutuhan untuk membuat aplikasi di PC dan menerapkannya ke perangkat Meta Quest setiap kali Anda mengujinya selama pengembangan, yang secara signifikan mengurangi waktu iterasi saat mengembangkan aplikasi yang mendukung Passthrough. Untuk mempelajari selengkapnya tentang penggunaan Passthrough dengan Meta Quest Link, lihat dokumentasi tempat kami membahas prasyarat, pengaturan, dan langkah-langkah untuk mengaktifkan Meta Quest Link.

Scene

Scene memberdayakan Anda agar dapat dengan cepat membangun pengalaman yang kompleks dan sadar scene dengan interaksi yang kaya di lingkungan fisik pengguna. Scene mencakup dua konsep penting: Scene Capture dan Scene Model.

Scene Capture memungkinkan pengguna berkeliling dan mengambil gambar scene mereka untuk menghasilkan Scene Model.

Scene Model adalah perwakilan tunggal, komprehensif, terkini dari dunia fisik yang mudah diindeks dan dikueri, menyediakan perwakilan geometris dan semantik dari ruang pengguna sehingga Anda dapat membuat pengalaman mixed reality berskala kamar.

Elemen dasar dari Scene Model adalah Scene Anchors, yang melekat pada komponen geometris dan label semantik. Contoh: sistem mengatur ruang tamu pengguna di sekitar anchor individu dengan label semantik, seperti lantai, langit-langit, dinding, meja, dan sofa, dengan setiap anchor juga dikaitkan dengan perwakilan geometris sederhana: batas 2D atau kotak batas 3D.

Untuk mempelajari selengkapnya tentang Scene dan cara kerjanya, lihat dokumentasi tempat membahas cara kerja Scene, cara membuat aplikasi mixed reality menggunakan Scene, dan cara menggunakan Scene Model.

Spatial Anchors

Spatial Anchors adalah bingkai referensi terkunci di dunia yang dapat Anda gunakan sebagai titik asal untuk memosisikan konten yang dapat bertahan di seluruh sesi. Persistensi ini dicapai dengan membuat Spatial Anchors pada pose 6DOF tertentu, lalu menempatkan konten virtual relatif terhadapnya. Dengan Spatial Anchors, developer dapat membuat aplikasi yang memungkinkan pengguna meninggalkan objek virtual di lokasi tertentu, dan objek tersebut dapat tetap berlabuh di lokasi tersebut bahkan saat pengguna meninggalkan area tersebut. Untuk mempelajari selengkapnya tentang Spatial Anchors dan kemampuannya, lihat dokumentasi tempat kami membahas kemampuan Spatial Anchors dan caranya bertahan di seluruh sesi.

Spatial Anchors juga memungkinkan banyak pengguna untuk berbagi titik referensi umum di ruang, yang memungkinkan mereka berinteraksi dengan objek dan data virtual dalam lingkungan bersama yang kolaboratif. Ini berguna saat membuat pengalaman multipemain lokal dengan membuat bingkai referensi bersama yang terkunci di dunia untuk banyak pengguna. Contoh: dua orang atau lebih dapat duduk di meja yang sama dan bermain permainan papan virtual di atasnya. Untuk mempelajari selengkapnya tentang cara kerja Spatial Anchors Bersama, lihat dokumentasi tempat kami membahas prasyarat dan cara anchors bisa dibagikan secara lebih mendetail.

Interaksi

Platform Eksistensi memberi Anda alat dan fitur yang dapat Anda gunakan untuk memanfaatkan kontrol input alami termasuk tangan, suara, dan pengontrol saat Anda membuat pengalaman yang mendalam. Fitur ini mencakup Interaction SDK, Pelacakan Tangan, Voice SDK, Tracked Keyboard, dan Audio SDK.

Interaction SDK

Interaction SDK menyediakan pustaka komponen untuk menambahkan pengontrol dan interaksi tangan ke pengalaman Anda, seperti "ray", "poke" (interaksi dengan permukaan melalui sentuhan langsung), dan "grab" (mengambil dengan tangan), yang menggabungkan praktik terbaik dan heuristik untuk interaksi pengguna di perangkat Meta Quest. Khusus untuk tangan, Interaction SDK menyediakan model interaksi khusus tangan dan deteksi pose dan gerakan, serta keterjangkauan visual yang berpusat pada tangan.

Untuk mempelajari selengkapnya tentang Interaction SDK, lihat tutorial mendetail kami tentang cara membuat interaksi intuitif di VR.

Pastikan untuk mengunjungi blog tempat kami mempelajari lebih dalam tentang cara memulai SDK Interaksi, cara menyiapkannya, tutorial, dan praktik terbaik saat mengintegrasikan interaksi ke dalam pengalaman Anda sendiri.

Voice SDK

Voice SDK memungkinkan Anda membuat pengalaman suara yang sepenuhnya dapat disesuaikan dalam game Anda. Ini memberi developer set fitur, pustaka, dan sumber daya yang dapat digunakan untuk menambahkan pengenalan suara dan kemampuan pemrosesan bahasa alami ke aplikasi VR dan MR mereka. Voice SDK didukung oleh Wit.ai layanan Natural Language Understanding (NLU), dan kompatibel dengan headset Meta Quest, perangkat seluler, dan platform pihak ketiga lainnya.

Menggunakan Wit.ai, Anda dapat dengan mudah melatih aplikasi untuk menggunakan perintah suara tanpa memerlukan pengetahuan AI/ML sebelumnya. Kombinasi Voice SDK dan Wit.ai memberdayakan Anda untuk fokus pada aspek kreatif dan fungsi aplikasi Anda, sekaligus memungkinkan interaksi suara yang kuat.

Untuk mempelajari selengkapnya tentang Voice SDK, lihat dokumentasi tempat kami mendalami cara menyiapkannya, langkah-langkah untuk mengintegrasikan Voice SDK, tutorial, dan praktik terbaik.

Tracked Keyboard

Tracked Keyboard SDK memberi pengguna cara yang efisien untuk berinteraksi dengan keyboard fisik mereka saat berada di dalam lingkungan VR. Dengan me-render tangan pengguna di atas perwakilan VR dari keyboard mereka, SDK mengatasi keterbatasan keyboard virtual dan pengetikan dengan sentuhan buta.

Untuk mempelajari selengkapnya tentang Tracked Keyboard SDK dan cara menggunakannya, lihat dokumentasi tempat kami membahas cara memulai SDK, cara mengintegrasikannya ke dalam aplikasi Anda sendiri, dan contoh scene yang menunjukkan cara kerjanya saat dipraktikkan.

Audio SDK

Audio sangat penting untuk menciptakan pengalaman VR atau MR yang persuasif. Meta XR Audio SDK menyediakan fungsi audio spasial termasuk objek berbasis fungsi transfer terkait kepala (HRTF) dan spasialisasi ambisonik, serta simulasi akustik ruangan. Beberapa fitur yang didukung oleh Audio SDK termasuk spasialisasi audio, rendering jarak dekat, akustik ruangan, ambisonik, pelemahan dan refleksi, dan banyak lagi fitur eksperimental untuk dicoba oleh developer.

Untuk mempelajari selengkapnya tentang cara kerja Audio SDK, fitur yang didukungnya, dan cara mengintegrasikannya ke aplikasi Anda sendiri, lihat dokumentasi tempat kami membahas topik-topik ini secara lebih mendetail.

Eksistensi Sosial

Platform Eksistensi memberi Anda alat dan sumber daya sehingga Anda dapat membangun perwakilan digital dengan ketelitian tinggi dari orang-orang yang menciptakan rasa koneksi yang realistis di dunia virtual. Ini dapat dicapai dengan pelacakan tubuh, wajah, dan mata, yang disediakan melalui Movement SDK.

Movement SDK untuk Unity menggunakan pelacakan tubuh, pelacakan wajah, dan pelacakan mata untuk menghadirkan gerakan fisik pengguna ke dalam VR dan menyempurnakan pengalaman sosial. Dengan menggunakan sinyal abstrak yang disediakan pelacakan, developer dapat menganimasikan karakter dengan eksistensi sosial dan menyediakan fitur di luar perwujudan karakter.

Untuk mempelajari selengkapnya tentang cara kerja Movement SDK dan prasayarat yang diperlukan untuk menggunakannya, lihat dokumentasi tempat kami membahas hal ini secara lebih mendetail. Baca dokumentasi kami tentang Pelacakan Tubuh, Wajah, dan Mata untuk mempelajari lebih lanjut tentang cara kerjanya, dan mempelajari bagaimana ini digunakan dalam tindakan dalam contoh seperti Aura, High Fidelity, dan lainnya.

Sumber informasi lainnya

Untuk mempelajari selengkapnya tentang Platform Eksistensi, lihat dokumentasi tempat kami membahas semua SDK yang kami diskusikan di atas secara lebih mendetail. Mulailah Platform Eksistensi dengan mengunduh paket Integrasi Oculus untuk Unity dan untuk Unreal.

Tim kami telah mengerjakan beberapa contoh untuk membantu Anda memulai saat mengintegrasikan fitur dan SDK ini ke dalam aplikasi Anda sendiri:

• The World Beyond: Showcase Platform Eksistensi yang menunjukkan penggunaan Scene, Passthrough, Interaction, Voice, dan Spatializer.
• First Hand: Showcase Interaction SDK Platform Eksistensi yang menunjukkan penggunaan Interaction SDK di Unity dengan pelacakan tangan. Proyek ini berisi Interaksi yang digunakan dalam demo “First Hand” yang tersedia di App Lab.
• Unity-Movement: Paket yang menampilkan kemampuan Pelacakan Tubuh, Mata, dan Wajah Meta Quest Pro, memungkinkan developer untuk mengisi lingkungan VR dengan avatar khusus yang menghadirkan ekspresi pengguna ke dunia virtual yang mereka buat.
• Whisperer: Showcase Voice SDK yang menunjukkan penggunaan Voice SDK di Unity. Proyek ini berisi kode sumber untuk demo "Whisperer" yang tersedia di App Lab.
• Spatial Anchors Bersama dari Unity: Contoh Spatial Anchors Bersama dari Unity menunjukkan cara menggunakan Shared Spatial Anchors API untuk mesin game Unity, menunjukkan cara membuat, menyimpan, memuat, dan membagikan Spatial Anchors.

Lihat sesi dari Connect 2022 tempat kami membahas cara menggunakan Platform Eksistensi untuk membuat pengalaman mixed reality, cara memasukkan pelacakan tangan di aplikasi Anda, dan banyak lagi.

• Ringkasan Meta Quest Pro dan Platform Eksistensi
• Membuat Pengalaman Mixed Reality Generasi Berikutnya Menggunakan Platform Eksistensi
• Membuat Pengalaman Mendalam yang Didorong Suara dengan Platform Eksistensi
• Membuat Pengalaman Tangan Alami dengan Platform Eksistensi
• Menggunakan Audio Spasial untuk Membangun Pengalaman yang Lebih Mendalam dengan Platform Eksistensi
• Memperkaya Ekspresivitas Aplikasi Anda dengan Platform Eksistensi