Presence Platform | An overview

25 เมษายน 2023โดยNavyata Bawa

Presence Platform ของ Meta เป็นชุดเทคโนโลยีและหลักการออกแบบที่ใช้สร้างประสบการณ์ Virtual Reality (VR) และ Mixed Reality (MR) ที่สมจริงบนอุปกรณ์ Meta Quest โดยมาพร้อมฟีเจอร์ต่างๆ มากมาย เช่น เทคโนโลยีการติดตามและการตรวจจับความเคลื่อนไหวขั้นสูง กราฟิกและเสียงคุณภาพสูง และการควบคุมและอินเทอร์เฟซที่ใช้งานง่าย ซึ่งจะทำงานร่วมกันเพื่อสร้างประสบการณ์ที่ราบรื่นและสมจริง นอกจากการมอบแพลตฟอร์มเพื่อให้ผู้พัฒนาใช้สร้างแอพพลิเคชั่นเชิงสร้างสรรค์เหล่านี้ Presence Platform ยังมาพร้อมฟีเจอร์โซเชียลต่างๆ ที่ช่วยให้ผู้คนได้ติดต่อและโต้ตอบกันบนพื้นที่ในโลกดิจิทัล ซึ่งรวมถึงการแชทด้วยเสียงและประสบการณ์ร่วมกัน

เรามาดูฟีเจอร์และเครื่องมือบางส่วนที่คุณสามารถใช้งานได้ผ่าน Presence Platform กัน เพื่อให้คุณสามารถพัฒนาวิธีใหม่ๆ ในการเล่น สร้าง เชื่อมต่อ และทำงานบนอุปกรณ์ Meta Quest ในอนาคตได้

Mixed Reality

Presence Platform ช่วยให้ผู้พัฒนามีเครื่องมือและฟีเจอร์ Mixed Reality ซึ่งทำให้ผู้ใช้สามารถผสานโลกความเป็นจริงกับโลกเสมือนเข้าด้วยกันได้ ส่งผลให้เกิดประสบการณ์ VR ที่สมจริงอย่างมาก ซึ่งจะผสานและใช้สภาพแวดล้อมของคุณเพื่อมอบประสบการณ์ที่น่าสนใจขึ้นไปอีกขั้น เครื่องมือ Mixed Reality เหล่านี้ช่วยให้ผู้ใช้สามารถดูและโต้ตอบกับอ็อบเจ็กต์ต่างๆ ในโลกความเป็นจริงกับโลกเสมือนได้พร้อมกัน ส่งผลให้เกิดประสบการณ์ XR ที่น่าสนใจและสมจริงยิ่งขึ้น

เครื่องมือ Mixed Reality พื้นฐานบางส่วนที่ Presence Platform จัดไว้ให้ ได้แก่ Passthrough, Scene และ Spatial Anchors

Passthrough

Passthrough จะสร้างภาพ 3 มิติสำหรับโลกความเป็นจริงขึ้นมาแบบเรียลไทม์ภายในชุดหูฟัง Meta Quest Passthrough API ช่วยให้ผู้พัฒนาสามารถผสานการทำงานการแสดงภาพของ Passthrough เข้ากับประสบการณ์เสมือนจริงของตนได้ Passthrough เป็นฟีเจอร์ที่สำคัญเมื่อพัฒนาแอพ Mixed Reality และเป็นฟีเจอร์ที่ช่วยให้คุณเห็นสิ่งต่างๆ รอบตัวในชุดหูฟัง หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Passthrough โปรดดูเอกสารประกอบเกี่ยวกับภาพรวม ซึ่งเราได้กล่าวถึงวิธีการทำงานของ Passthrough วิธีการตั้งค่า รวมถึงวิธีเปิดใช้งานในประสบการณ์ของคุณเอง

นอกจากนี้ คุณยังสามารถปรับแต่ง Passthrough ได้ตามกรณีการใช้งานและแอพพลิเคชั่นของคุณอีกด้วย หากต้องการเรียนรู้วิธีปรับแต่ง Passthrough โปรดดูเอกสารประกอบเกี่ยวกับการปรับแต่ง ซึ่งเราได้กล่าวถึงวิธีที่คุณสามารถใช้ Passthrough ในการกำหนดสไตล์ (Styling) การแบ่งเลเยอร์แบบคอมโพสิต และการแสดงบนพื้นผิว (Surface-projected) เพื่อปรับแต่ง Passthrough ของคุณและทำให้เกิดแสงเงาและกรอบ Passthrough

คุณสามารถใช้ Passthrough ได้ผ่านเคเบิ้ล Meta Quest Link ซึ่งช่วยให้แอพที่เปิดใช้งาน Passthrough สามารถทำงานได้ในขณะใช้ Meta Quest Link ทำให้ไม่จำเป็นต้องสร้างแอพบนพีซีและนำมาใช้กับอุปกรณ์ Meta Quest ทุกครั้งที่ทดสอบในระหว่างการพัฒนา จึงลดเวลาที่ใช้ในการปรับปรุงลงได้อย่างมากในระหว่างการพัฒนาแอพที่เปิดใช้งาน Passthrough หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการใช้ Passthrough ร่วมกับ Meta Quest Link โปรดดูที่เอกสารประกอบ ซึ่งเราจะกล่าวถึงข้อกำหนดเบื้องต้น การตั้งค่า และขั้นตอนในการเปิดใช้งาน Meta Quest Link

Scene

Scene ช่วยให้คุณสร้างประสบการณ์แบบซับซ้อนที่คำนึงถึงซีนได้อย่างรวดเร็ว โดยมีการโต้ตอบที่สมบูรณ์ในสภาพแวดล้อมจริงของผู้ใช้ Scene มีแนวคิดสำคัญอยู่ 2 ประกอบ นั่นคือ Scene Capture และ Scene Model

Scene Capture ช่วยให้ผู้ใช้สามารถเดินไปรอบๆ และถ่ายภาพซีนเพื่อสร้าง Scene Model ขึ้นมาได้

Scene Model เป็นการแสดงโลกความเป็นจริงที่เป็นหนึ่งเดียว ครอบคลุม และเป็นปัจจุบันซึ่งง่ายต่อการจัดทำดัชนีและสืบค้น ส่งผลให้มีการแสดงพื้นที่ของผู้ใช้ทั้งในเชิงเรขาคณิตและเชิงสื่อความหมาย เพื่อให้คุณสามารถสร้างประสบการณ์ Mixed Reality ตามสเกลห้องได้

โดย Scene Model มีองค์ประกอบพื้นฐานคือ Scene Anchor ซึ่งแนบอยู่กับองค์ประกอบเชิงเรขาคณิตและป้ายสื่อความหมาย ตัวอย่างเช่น ระบบจะกำหนดห้องนั่งเล่นของผู้ใช้ขึ้นมาโดยใช้หมุดแต่ละตัวพร้อมป้ายสื่อความหมาย เช่น พื้น, เพดาน, ผนัง, โต๊ะ และโซฟา โดยหมุดแต่ละตัวจะผูกอยู่กับการแสดงรูปทรงเรขาคณิตที่เรียบง่าย ทำให้เกิดเป็นกล่องกำหนดขอบเขตแบบ 2 มิติหรือ 3 มิติขึ้นมา

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Scene และวิธีการทำงาน โปรดดูที่เอกสารประกอบ ซึ่งเราได้กล่าวถึงวิธีการทำงานของ Scene, วิธีสร้างแอพ Mixed Reality โดยใช้ Scene และวิธีใช้ Scene Model

Spatial Anchor

Spatial Anchor คือ เฟรมอ้างอิงที่มีตำแหน่งสัมพันธ์กับโลกความเป็นจริง โดยคุณสามารถใช้เป็นจุดตั้งต้นในการจัดตำแหน่งเนื้อหาต่างๆ ที่มีอยู่ในเซสชั่นต่างๆ ได้ การมีอยู่ของเนื้อหานั้นเกิดขึ้นจากการสร้าง Spatial Anchor ขึ้นมาในรูปแบบ 6DOF แบบเฉพาะเจาะจง และวางเนื้อหาเสมือนลงให้สัมพันธ์กัน Spatial Anchor ช่วยให้ผู้พัฒนาสามารถสร้างแอพพลิเคชั่นที่เปิดให้ผู้ใช้สามารถวางวัตถุเสมือนในตำแหน่งหนึ่งๆ ได้ โดยผู้ใช้ยังคงสามารถปักตำแหน่งวัตถุดังกล่าวไว้ในจุดนั้นๆ ได้แม้ว่าจะออกจากพื้นที่นั้นไปแล้วก็ตาม หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Spatial Anchor และดูว่าเครื่องมือนี้ใช้ทำอะไรได้บ้าง โปรดดูที่เอกสารประกอบของเรา ซึ่งเราจะกล่าวถึงความสามารถของเครื่องมือนี้ และวิธีวางเนื้อหาให้อยู่ในเซสชั่นต่างๆ

นอกจากนี้ Spatial Anchor ยังช่วยให้ผู้ใช้หลายรายสามารถใช้จุดอ้างอิงในพื้นที่ร่วมกันได้อีกด้วย ส่งผลให้ผู้ใช้สามารถโต้ตอบกับวัตถุเสมือนและข้อมูลต่างๆ ในสภาพแวดล้อมที่ใช้ร่วมกันและทำงานร่วมกันได้ ซึ่งจะเป็นประโยชน์เมื่อสร้างประสบการณ์ให้รองรับผู้เล่นหลายรายแบบเฉพาะที่ โดยการสร้างเฟรมอ้างอิงที่มีตำแหน่งสัมพันธ์กับโลกความเป็นจริงให้ผู้ใช้หลายรายใช้ร่วมกัน ตัวอย่างเช่น ผู้ใช้ 2 คนขึ้นไปสามารถนั่งเล่นบอร์ดเกมแบบเสมือนร่วมโต๊ะเดียวกันได้ หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการทำงานของ Spatial Anchor แบบใช้ร่วมกัน โปรดดูที่เอกสารประกอบ ซึ่งเราจะกล่าวถึงข้อกำหนดเบื้องต้นและวิธีการแชร์หมุดต่างๆ โดยละเอียดยิ่งขึ้น

การโต้ตอบ

Presence Platform มีเครื่องมือและฟีเจอร์ต่างๆ ที่ช่วยให้คุณได้ใช้ประโยชน์จากการควบคุมอินพุตตามปกติ ซึ่งรวมถึงมือ เสียงพูด และตัวควบคุมต่างๆ ในขณะสร้างประสบการณ์แบบสมจริง เครื่องมือเหล่านี้ ได้แก่ SDK การโต้ตอบ, การติดตามมือ, SDK เสียงพูด, แป้นพิมพ์ที่ติดตาม และ SDK เสียง

SDK การโต้ตอบ

SDK การโต้ตอบมาพร้อมคลังองค์ประกอบต่างๆ สำหรับเพิ่มตัวควบคุมและการโต้ตอบด้วยมือให้กับประสบการณ์ของคุณ เช่น ลำแสง สะกิด และจับ ซึ่งจะใช้หลักปฏิบัติที่ดีที่สุดและฮิวริสติกส์สำหรับการโต้ตอบของผู้ใช้บนอุปกรณ์ Meta Quest ในกรณีที่เป็นการใช้มือ SDK การโต้ตอบมาพร้อมโมเดลการโต้ตอบแบบเฉพาะมือ รวมถึงการตรวจจับท่าโพสและท่าทาง ตลอดจนตัวบ่งบอกการใช้งานแบบเสมือน (Visual affordance) ที่ให้ความสำคัญกับมือ

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ SDK การโต้ตอบ โปรดดูที่บทแนะนำการใช้งานอย่างละเอียดของเราเกี่ยวกับวิธีสร้างการโต้ตอบที่ง่ายดายในรูปแบบ VR

โปรดไปที่บล็อกของเรา ซึ่งจะเจาะลึกเกี่ยวกับวิธีเริ่มต้นใช้งาน SDK การโต้ตอบ, วิธีตั้งค่า, บทแนะนำการใช้งาน และหลักปฏิบัติที่ดีที่สุดเมื่อผสานการทำงานการโต้ตอบไว้ในประสบการณ์ของคุณเอง

SDK เสียงพูด

SDK เสียงพูดช่วยให้คุณสามารถสร้างประสบการณ์การใช้เสียงแบบปรับแต่งได้เต็มที่ในเกมของคุณ ซึ่งทำให้ผู้พัฒนามีชุดเครื่องมือ คลัง และทรัพยากรต่างๆ ที่สามารถใช้เพื่อเพิ่มความสามารถในการจดจำเสียงและการประมวลผลภาษาธรรมชาติลงในแอพพลิเคชั่น VR และ MR ของตน SDK เสียงพูดได้รับการสนับสนุนโดยบริการทำความเข้าใจภาษาธรรมชาติ (NLU) Wit.ai และสามารถเข้าได้กับชุดหูฟัง Meta Quest, อุปกรณ์มือถือ และแพลตฟอร์มจากภายนอกอื่นๆ

เมื่อใช้ Wit.ai คุณจะสามารถฝึกแอพให้ใช้คำสั่งเสียงได้อย่างง่ายดายโดยไม่จำเป็นต้องมีความรู้เกี่ยวกับ AI/ML มาก่อน การใช้ SDK เสียงพูดและ Wit.ai ร่วมกันจะช่วยให้คุณสามารถมุ่งเน้นแง่มุมเชิงสร้างสรรค์และฟังก์ชั่นการทำงานของแอพได้ ในขณะเดียวกันก็ช่วยให้มีการโต้ตอบด้วยเสียงที่มีประสิทธิภาพ

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ SDK เสียงพูด โปรดดูที่เอกสารประกอบ ซึ่งจะเจาะลึกเกี่ยวกับวิธีตั้งค่า, ขั้นตอนในการผสานการทำงาน SDK เสียงพูด, บทแนะนำการใช้งาน และหลักปฏิบัติที่ดีที่สุด

แป้นพิมพ์ที่ติดตาม

SDK แป้นพิมพ์ที่ติดตามช่วยให้ผู้ใช้สามารถใช้แป้นพิมพ์จริงได้อย่างมีประสิทธิภาพขณะที่ยังอยู่ในสภาพแวดล้อมแบบ VR SDK นี้จะแสดงมือของผู้ใช้ไว้บนภาพแป้นพิมพ์แบบ VR จึงช่วยก้าวข้ามขีดจำกัดในการใช้แป้นพิมพ์เสมือนและการพิมพ์แบบไม่มองแป้น

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ SDK แป้นพิมพ์ที่ติดตามและวิธีการใช้ โปรดดูที่เอกสารประกอบ ซึ่งเราจะกล่าวถึงวิธีเริ่มต้นใช้งาน SDK ดังกล่าว, วิธีผสานการทำงานไว้ในแอพพลิเคชั่นของคุณเอง และซีนตัวอย่างที่แสดงวิธีการทำงานขณะใช้งาน

SDK เสียง

เสียงเป็นส่วนสำคัญในการสร้างประสบการณ์ VR หรือ MR ให้น่าดึงดูดใจ SDK เสียงของ Meta XR มาพร้อมฟังก์ชั่นการทำงานเสียงรอบทิศทาง ซึ่งรวมถึงวัตถุที่ใช้ฟังก์ชั่น Head-related Transfer (HRTF) และการทำเสียงรอบทิศทางแบบ Ambisonic (Ambisonic Spatialization) รวมถึงการจำลองเสียงในห้อง (Room Acoustics Simulation) ฟีเจอร์บางส่วนที่ SDK เสียงรองรับ ได้แก่ การทำเสียงรอบทิศทาง (Audio Spatialization), การเรนเดอร์ระยะใกล้ (Near-field Rendering), เสียงในห้อง (Room Acoustics), การลดทอนและการสะท้อน (Attenuation and Reflection) และฟีเจอร์ทดลองเพิ่มเติมอีกมากมายเพื่อให้ผู้พัฒนาได้ทดลองใช้

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการทำงานของ SDK เสียง ฟีเจอร์ที่รองรับ และวิธีผสานการทำงานกับแอพพลิเคชั่นของคุณเอง โปรดดูที่เอกสารประกอบ ซึ่งเราจะกล่าวถึงหัวข้อเหล่านี้โดยละเอียดยิ่งขึ้น

ตัวตนบนโลกโซเชียล

Presence Platform ช่วยให้คุณมีเครื่องมือและทรัพยากรต่างๆ เพื่อให้สร้างตัวแทนผู้คนบนช่องทางดิจิทัลได้โดยมีความแม่นยำสูง ซึ่งทำให้การติดต่อกันบนโลกเสมือนให้ความรู้สึกที่สมจริง การสร้างตัวแทนเช่นนี้เกิดขึ้นได้โดยใช้การติดตามร่างกาย ใบหน้า และดวงตาซึ่งมาจาก SDK การเคลื่อนไหว

SDK การเคลื่อนไหวสำหรับ Unity จะใช้การติดตามร่างกาย การติดตามใบหน้า และการติดตามดวงตา เพื่อปรับการเคลื่อนไหวจริงของผู้ใช้ให้เป็นแบบ VR และยกระดับประสบการณ์โซเชียลให้ดียิ่งขึ้น ผู้พัฒนาสามารถทำให้คาแรคเตอร์เคลื่อนไหวได้ด้วยตัวตนบนโลกโซเชียลและให้ฟีเจอร์ต่างๆ นอกเหนือจากการสร้างคาแรคเตอร์ขึ้นมาได้โดยใช้สัญญาณที่มีการกำหนดสาระสำคัญซึ่งได้มาจากการติดตาม

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการทำงานของ SDK การเคลื่อนไหวและข้อกำหนดเบื้องต้นต่างๆ ที่จำเป็นในการใช้ SDK นี้ โปรดดูที่เอกสารประกอบ ซึ่งเราได้กล่าวถึงหัวข้อเหล่านี้ไว้อย่างละเอียด โปรดดูเอกสารประกอบของเราเกี่ยวกับการติดตามร่างกาย ใบหน้า และดวงตา เพื่อเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการทำงาน และเรียนรู้ว่าฟังก์ชั่นเหล่านี้มีการใช้งานจริงเป็นอย่างไรบ้างในตัวอย่าง เช่น Aura, High Fidelity และอื่นๆ

ทรัพยากรอื่นๆ

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Presence Platform โปรดดูที่เอกสารประกอบ ซึ่งเราได้กล่าวถึง SDK ทั้งหมดที่พูดถึงข้างต้นไว้อย่างละเอียดยิ่งขึ้น เริ่มต้นใช้งาน Presence Platform โดยดาวน์โหลดแพ็คเกจการผสานการทำงาน Oculus สำหรับ Unity และ Unreal

ทีมของเราได้ดำเนินการกับตัวอย่างจำนวนมาก เพื่อช่วยคุณในการเริ่มต้นใช้งานเมื่อผสานการทำงานเครื่องมือและ SDK เหล่านี้เข้ากับแอพพลิเคชั่นของคุณเอง

The World Beyond: การแสดง Presence Platform ซึ่งสาธิตการใช้ Scene, Passthrough, การโต้ตอบ, เสียงพูด และ Spatializer
First Hand: การแสดง SDK การโต้ตอบของ Presence Platform ซึ่งสาธิตการใช้ SDK การโต้ตอบใน Unity พร้อมการติดตามมือ โปรเจ็กต์นี้จะมีการโต้ตอบที่ใช้ในการสาธิต “First Hand” ซึ่งมีอยู่ใน App Lab
Unity-Movement: แพ็คเกจที่แสดงความสามารถด้านการติดตามร่างกาย ดวงตา และใบหน้าของ Meta Quest Pro ซึ่งช่วยให้ผู้พัฒนาสามารถสร้างอวาตาร์แบบกำหนดเองขึ้นมาในสภาพแวดล้อม VR ได้ ส่งผลให้ผู้ใช้แสดงความเป็นตัวเองในโลกเสมือนที่ตนสร้างขึ้นมาได้เป็นอย่างดี
Whisperer: การแสดง SDK เสียงพูดของ Presence Platform ซึ่งสาธิตการใช้ SDK เสียงพูดใน Unity โปรเจ็กต์นี้มีซอร์สโค้ดสำหรับการสาธิต “Whisperer” ซึ่งมีอยู่ใน App Lab
Spatial Anchor แบบใช้ร่วมกันของ Unity: ตัวอย่าง Spatial Anchor แบบใช้ร่วมกันของ Unity จะสาธิตวิธีใช้ API Spatial Anchor แบบใช้ร่วมกันสำหรับกลไกเกมบน Unity โดยแสดงให้เห็นการสร้าง การบันทึก การโหลด และการใช้ Spatial Anchor ร่วมกัน

ดูเซสชั่นต่างๆ จาก Connect 2022 ซึ่งเราได้กล่าวถึงวิธีใช้ Presence Platform เพื่อสร้างประสบการณ์ Mixed Reality, วิธีผสานรวมการติดตามมือเข้าไว้ในแอพของคุณ และอื่นๆ อีกมากมาย

แท็ก:

Augmented Reality เครื่องมือสำหรับผู้พัฒนา โอเพนซอร์ส Virtual Reality 2023 Oculus

ข่าวที่เกี่ยวข้อง