Quay lại phần Tin tức dành cho nhà phát triển

Presence Platform | An overview

25 tháng 4, 2023Tác giảNavyata Bawa

Presence Platform của Meta là một nhóm công nghệ và nguyên tắc thiết kế dùng để tạo trải nghiệm thực tế ảo (VR) cũng như thực tế hỗn hợp (MR) chân thực trên thiết bị Meta Quest. Nền tảng này có nhiều tính năng, chẳng hạn như công nghệ theo dõi và cảm biến chuyển động tiên tiến, đồ họa và âm thanh chất lượng cao, cùng chế độ điều khiển và giao diện trực quan để mang lại trải nghiệm chân thực liền mạch. Ngoài việc cung cấp một nền tảng để nhà phát triển tạo ra những ứng dụng đổi mới này, Presence Platform còn có các tính năng xã hội - bao gồm cả đoạn chat thoại và trải nghiệm chung - giúp mọi người kết nối và tương tác với nhau trong không gian ảo.

Hãy cùng xem một số tính năng và công cụ bạn có thể dùng thông qua Presence Platform để tạo dựng tương lai về cách chúng ta chơi, sáng tạo, kết nối cũng như làm việc trên thiết bị Meta Quest.

Thực tế hỗn hợp

Presence Platform cung cấp cho nhà phát triển các công cụ và tính năng thực tế hỗn hợp để hỗ trợ người dùng kết hợp thế giới thực với thế giới ảo, từ đó mang đến trải nghiệm VR thật sự chân thực. Trải nghiệm này bao gồm và tận dụng môi trường xung quanh bạn để mở ra những trải nghiệm hấp dẫn ở một cập độ mới cho cuộc sống. Với các công cụ thực tế hỗn hợp như vậy, mọi người có thể xem và tương tác đồng thời với cả vật thể ảo lẫn vật thể thực, từ đó tạo ra trải nghiệm XR chân thực và hấp dẫn hơn.

Một số công cụ thực tế hỗn hợp cơ bản mà Presence Platform cung cấp là: Truyền qua, Cảnh và Điểm cố định không gian.

Truyền qua

Tính năng Truyền qua cung cấp hình ảnh 3D theo thời gian thực về thế giới thực bên trong kính Meta Quest. Với API Truyền qua, nhà phát triển có thể tích hợp hình ảnh Truyền qua với trải nghiệm ảo của họ. Truyền qua là một tính năng chính khi phát triển các ứng dụng thực tế hỗn hợp. Nhờ tính năng này, bạn có thể nhìn thấy môi trường xung quanh mình trong kính. Để tìm hiểu thêm về tính năng Truyền qua, hãy xem tài liệu tổng quan của chúng tôi. Tại đây, chúng tôi trình bày cách hoạt động của tính năng Truyền qua, cách thiết lập cũng như cách kích hoạt tính năng này trong trải nghiệm của riêng bạn.

Bạn cũng có thể tùy chỉnh hình ảnh truyền qua tùy theo trường hợp sử dụng và ứng dụng của mình. Để tìm hiểu cách tùy chỉnh hình ảnh truyền qua, hãy xem tài liệu tùy chỉnh của chúng tôi. Tại đây, chúng tôi trình bày cách bạn có thể sử dụng tính năng tạo kiểu, tạo lớp tổng hợp và Truyền qua chiếu trên bề mặt để tùy chỉnh hình ảnh Truyền qua cũng như đạt được cửa sổ đổ bóng và Truyền qua.

Bạn có thể dùng tính năng Truyền qua bằng cáp Meta Quest Link để ứng dụng hỗ trợ tính năng Truyền qua có thể chạy khi đang dùng Meta Quest Link. Nhờ vậy, bạn không cần xây dựng ứng dụng trên máy tính rồi triển khai ứng dụng này trên thiết bị Meta Quest mỗi lần thử nghiệm ứng dụng trong quá trình phát triển. Do đó, thời gian lặp lại sẽ giảm đáng kể khi phát triển các ứng dụng hỗ trợ tính năng Truyền qua. Để tìm hiểu thêm về cách sử dụng tính năng Truyền qua bằng Meta Quest Link, hãy xem tài liệu của chúng tôi. Tại đây, chúng tôi trình bày các điều kiện tiên quyết, cách thiết lập và những bước để bật Meta Quest Link.

Cảnh

Với tính năng Cảnh, bạn có thể nhanh chóng xây dựng trải nghiệm phức tạp và nhận biết cảnh cùng hoạt động tương tác phong phú trong môi trường thực của người dùng. Tính năng này có 2 khái niệm quan trọng, đó là Chụp cảnh và Mô hình cảnh.

Chụp cảnh cho phép người dùng di chuyển xung quanh và chụp cảnh để tạo Mô hình cảnh.

Mô hình cảnh là hình biểu diễn duy nhất, toàn diện và cập nhật về thế giới thực (dễ dàng lập chỉ mục và truy vấn), từ đó mang đến cách biểu diễn hình học và ngữ nghĩa về không gian của người dùng để bạn có thể xây dựng trải nghiệm thực tế hỗn hợp quanh phòng.

Thành phần cơ bản của Mô hình cảnh là Điểm cố định cảnh, được gắn vào các thành phần hình học và nhãn ngữ nghĩa. Ví dụ: hệ thống thiết lập phòng khách của người dùng xung quanh các điểm cố định riêng lẻ có nhãn ngữ nghĩa, chẳng hạn như sàn, trần, tường, bàn làm việc và đi văng. Mỗi điểm cố định cũng được liên kết với cách biểu diễn hình học đơn giản: ranh giới 2D hoặc hộp giới hạn 3D.

Để tìm hiểu thêm về tính năng Cảnh và cách hoạt động của tính năng này, hãy xem tài liệu của chúng tôi. Tại đây, chúng tôi thảo luận về cách hoạt động của tính năng Cảnh, cách xây dựng ứng dụng thực tế hỗn hợp bằng tính năng Cảnh và cách sử dụng Mô hình cảnh.

Điểm cố định không gian

Điểm cố định không gian là những khung tham chiếu cố định trong thế giới thực mà bạn có thể dùng làm điểm gốc để định vị nội dung có thể cố định trong các phiên. Bạn sẽ đạt được sự cố định này khi tạo một Điểm cố định không gian ở tư thế 6DOF cụ thể rồi đặt nội dung ảo tương ứng với điểm đó. Với tính năng Điểm cố định không gian, nhà phát triển có thể tạo những ứng dụng cho phép người dùng rời khỏi các vật thể ảo ở một vị trí cụ thể. Những vật thể này có thể vẫn được cố định ở vị trí đó ngay cả khi người dùng rời khỏi khu vực. Để tìm hiểu thêm về tính năng Điểm cố định không gian và chức năng của tính năng này, hãy xem tài liệu của chúng tôi. Tại đây, chúng tôi trình bày các chức năng và cách cố định nội dung trong các phiên.

Tính năng Điểm cố định không gian cũng cho phép nhiều người dùng chia sẻ một điểm tham chiếu chung trong không gian, nhờ vậy mà họ có thể tương tác với vật thể cũng như dữ liệu ảo trong một môi trường cộng tác và dùng chung. Tính năng này hữu ích khi xây dựng trải nghiệm nhiều người chơi cục bộ bằng cách tạo khung tham chiếu cố định trong thế giới thực dùng chung cho nhiều người dùng. Ví dụ: hai hoặc nhiều người có thể ngồi cùng một bàn và chơi game cờ bàn ảo trên đó. Để tìm hiểu thêm về cách hoạt động của Điểm cố định không gian dùng chung, hãy xem tài liệu của chúng tôi. Tại đây, chúng tôi thảo luận chi tiết hơn về các điều kiện tiên quyết và cách chia sẻ điểm cố định.

Hoạt động tương tác

Presence Platform cung cấp cho bạn các công cụ và tính năng mà bạn có thể dùng để tận dụng những chế độ điều khiển đầu vào tự nhiên (bao gồm tay, giọng nói và bộ điều khiển) khi xây dựng trải nghiệm chân thực. Những công cụ này bao gồm SDK Tương tác, Theo dõi chuyển động tay, SDK Giọng nói, Bàn phím được theo dõi và SDK Âm thanh.

SDK Tương tác

SDK Tương tác cung cấp một thư viện gồm các thành phần để thêm bộ điều khiển và hoạt động tương tác bằng tay vào trải nghiệm của bạn (chẳng hạn như chiếu tia, chọc và nắm), lồng ghép những cách làm tốt nhất và thông tin phỏng đoán về hoạt động tương tác của người dùng trên thiết bị Meta Quest. Cụ thể đối với tay, SDK Tương tác cung cấp các mô hình tương tác dành riêng cho tay cùng tính năng phát hiện tư thế và cử chỉ, cũng như những gợi ý mô tả cách tương tác với hình ảnh tập trung vào tay.

Để tìm hiểu thêm về SDK Tương tác, hãy xem hướng dẫn chi tiết của chúng tôi về cách tạo hoạt động tương tác trực quan trong VR.

Đừng quên truy cập vào blog của chúng tôi. Tại đây, chúng tôi trình bày chi tiết hơn về cách bắt đầu sử dụng SDK Tương tác, cách thiết lập, hướng dẫn và những cách làm tốt nhất khi tích hợp hoạt động tương tác vào trải nghiệm của riêng bạn.

SDK Giọng nói

Với SDK Giọng nói, bạn có thể xây dựng trải nghiệm giọng nói hoàn toàn tùy chỉnh được trong game của mình. SDK này cung cấp cho nhà phát triển một bộ công cụ, thư viện và tài nguyên mà họ có thể dùng để thêm tính năng nhận dạng giọng nói cũng như tính năng xử lý ngôn ngữ tự nhiên vào các ứng dụng VR và MR của mình. SDK Giọng nói do dịch vụ Hiểu ngôn ngữ tự nhiên (NLU) mang tên Wit.ai cung cấp, tương thích với kính Meta Quest, thiết bị di động và các nền tảng bên thứ ba khác.

Thông qua Wit.ai, bạn có thể dễ dàng huấn luyện ứng dụng dùng khẩu lệnh mà không cần tìm hiểu trước về AI/ML. Nhờ sự kết hợp giữa SDK Giọng nói và Wit.ai, bạn có thể tập trung vào các khía cạnh sáng tạo và chức năng của ứng dụng, trong khi vẫn hỗ trợ hoạt động tương tác mạnh mẽ bằng giọng nói.

Để tìm hiểu thêm về SDK Giọng nói, hãy xem tài liệu của chúng tôi. Tại đây, chúng tôi trình bày chi tiết về cách thiết lập, các bước tích hợp SDK Giọng nói, hướng dẫn và những cách làm tốt nhất.

Bàn phím được theo dõi

SDK Bàn phím được theo dõi mang đến một cách hiệu quả để người dùng tương tác với bàn phím thực của họ khi ở trong môi trường VR. Bằng cách hiển thị bàn tay của người dùng trên một hình biểu diễn VR cho bàn phím của họ, SDK này khắc phục các hạn chế của bàn phím ảo và kiểu gõ không cần nhìn.

Để tìm hiểu thêm về SDK Bàn phím được theo dõi và cách sử dụng SDK này, hãy xem tài liệu của chúng tôi. Tại đây, chúng tôi trình bày cách bắt đầu sử dụng SDK, cách tích hợp SDK vào ứng dụng của riêng bạn và những cảnh mẫu minh họa cách SDK này hoạt động trong thực tế.

SDK Âm thanh

Âm thanh là yếu tố rất quan trọng để tạo ra trải nghiệm VR hoặc MR thuyết phục. Meta XR Audio SDK cung cấp chức năng âm thanh không gian, trong đó có chức năng tạo không gian âm thanh xung quanh và vật thể dựa trên chức năng truyền âm thanh liên quan đến đầu (HRTF), cũng như mô phỏng âm thanh trong phòng. Một số tính năng mà SDK Âm thanh hỗ trợ bao gồm tạo không gian âm thanh, kết xuất trường gần, âm thanh trong phòng, âm thanh xung quanh, độ suy giảm và độ phản xạ cùng nhiều tính năng thử nghiệm khác để nhà phát triển dùng thử.

Để tìm hiểu thêm về cách hoạt động của SDK Âm thanh, những tính năng mà SDK này hỗ trợ và cách tích hợp SDK vào ứng dụng của riêng bạn, hãy xem tài liệu của chúng tôi. Tại đây, chúng tôi trình bày chi tiết hơn về những chủ đề nêu trên.

Sự hiện diện trên mạng xã hội

Presence Platform cung cấp cho bạn các công cụ và tài nguyên để bạn có thể xây dựng những hình biểu diễn kỹ thuật số có độ chân thực cao cho mọi người, từ đó đem lại cảm giác kết nối thực trong thế giới ảo. Bạn có thể đạt được điều này bằng tính năng theo dõi chuyển động của cơ thể, khuôn mặt và mắt (được cung cấp thông qua SDK Chuyển động).

SDK Chuyển động dành cho Unity sử dụng tính năng theo dõi chuyển động của cơ thể, khuôn mặt và mắt để đưa chuyển động thực của người dùng vào VR, đồng thời nâng cao trải nghiệm xã hội. Với các tín hiệu trừu tượng mà tính năng theo dõi cung cấp, nhà phát triển có thể tạo hoạt ảnh cho các nhân vật có sự hiện diện trên mạng xã hội và cung cấp những tính năng ngoài hiện thân của nhân vật.

Để tìm hiểu thêm về cách hoạt động của SDK Chuyển động và các điều kiện tiên quyết cần có để sử dụng SDK này, hãy xem tài liệu của chúng tôi. Tại đây, chúng tôi trình bày chi tiết những nội dung nêu trên. Hãy xem tài liệu của chúng tôi về tính năng Theo dõi chuyển động của cơ thể, khuôn mặt và mắt để tìm hiểu thêm về cách hoạt động của những tính năng này, đồng thời tìm hiểu cách sử dụng chúng trong thực tế qua các mẫu như Aura, Độ chân thực cao và những mẫu khác.

Thông tin và nguồn lực khác

Để tìm hiểu thêm về Presence Platform, hãy xem tài liệu của chúng tôi. Tại đây, chúng tôi trình bày chi tiết hơn về tất cả những SDK mà chúng ta thảo luận ở trên. Hãy bắt đầu sử dụng Presence Platform bằng cách tải xuống gói Tích hợp Oculus dành cho Unity và Unreal.

Đội ngũ của chúng tôi đã nghiên cứu một số mẫu để hỗ trợ bạn bắt đầu khi tích hợp những công cụ và SDK này vào các ứng dụng của riêng bạn:

The World Beyond: Dự án giới thiệu về Presence Platform minh họa cách sử dụng tính năng Cảnh, Truyền qua, Tương tác, Giọng nói và Công cụ tạo không gian.
First Hand: Dự án giới thiệu về SDK Tương tác của Presence Platform minh họa cách sử dụng SDK Tương tác trong Unity bằng tính năng theo dõi chuyển động của tay. Dự án này chứa các hoạt động tương tác dùng trong bản demo "First Hand" có trên App Lab.
Unity-Movement: Gói giới thiệu các tính năng Theo dõi chuyển động của cơ thể, mắt và khuôn mặt mà Meta Quest Pro cung cấp, hỗ trợ nhà phát triển đưa vào môi trường VR những avatar tùy chỉnh mang biểu cảm của người dùng vào thế giới ảo do họ tạo ra.
Whisperer: Dự án giới thiệu về SDK Giọng nói của Presence Platform minh họa cách sử dụng SDK Giọng nói trong Unity. Dự án này chứa mã nguồn cho bản demo "Whisperer" có trên App Lab.
Unity Shared Spatial Anchors: Mẫu Điểm cố định không gian dùng chung trong Unity minh họa cách sử dụng API Điểm cố định không gian dùng chung dành cho công cụ game Unity, giới thiệu cách tạo, lưu, tải và chia sẻ Điểm cố định không gian.

Hãy xem các phiên thảo luận trong sự kiện Connect 2022 để tìm hiểu cách sử dụng Presence Platform cho mục đích xây dựng trải nghiệm thực tế hỗn hợp, cách lồng ghép tính năng theo dõi chuyển động của tay vào các ứng dụng của bạn và hơn thế nữa.

Thẻ:

Thực tế tăng cường Công cụ dành cho nhà phát triển Nguồn mở Thực tế ảo 2023 Oculus

TIN TỨC LIÊN QUAN