Skip to content

Apple พัฒนา LGTM: ยกระดับ 3D Gaussian Splatting บน Vision Pro

3D Gaussian Splatting

นักวิจัยจาก Apple สร้างความฮือฮาด้วยเฟรมเวิร์กใหม่ที่ชื่อว่า LGTM (Less Gaussians, Texture More) ซึ่งจะช่วยเพิ่มประสิทธิภาพในการเรนเดอร์ภาพ 3 มิติความละเอียดสูงได้อย่างน่าทึ่ง เทคโนโลยีนี้มีศักยภาพในการปฏิวัติประสบการณ์การใช้งานอุปกรณ์อย่าง Apple Vision Pro โดยเฉพาะการแสดงผลภาพเสมือนจริงที่ต้องการความละเอียดและความสมจริงในระดับสูง

งานวิจัยชื่อ “Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting” นำเสนอแนวทางใหม่ในการจัดการกับข้อจำกัดของ 3D Gaussian Splatting แบบ feed-forward ซึ่งเป็นเทคนิคที่ใช้ AI ในการสร้างภาพ 3 มิติจากภาพ 2 มิติเพียงภาพเดียวหรือหลายภาพ ปัญหาคือเมื่อความละเอียดของภาพสูงขึ้น วิธีการนี้จะใช้ทรัพยากรในการประมวลผลมหาศาล ทำให้การเรนเดอร์ฉากความละเอียดสูงเป็นไปได้ยาก

LGTM: แก้ปัญหาเรนเดอร์ 3D ความละเอียดสูง

LGTM เข้ามาแก้ปัญหานี้ด้วยการ “แยกความซับซ้อนทางเรขาคณิตออกจากความละเอียดในการเรนเดอร์” กล่าวคือ ระบบจะจัดการโครงสร้างของฉากให้เรียบง่าย แต่ใช้เท็กซ์เจอร์ที่มีรายละเอียดสูงมาเติมเต็มส่วนที่เหลือ ทำให้สามารถสร้างภาพ 4K ที่สวยงามโดยไม่ต้องใช้พลังประมวลผลมากเกินไป

หลักการทำงานของ LGTM แบ่งออกเป็นสองส่วนหลัก:

  1. การเรียนรู้โครงสร้างจากภาพความละเอียดต่ำ: โมเดลจะเรียนรู้โครงสร้างของฉากจากภาพความละเอียดต่ำ จากนั้นตรวจสอบผลลัพธ์กับภาพความละเอียดสูง เพื่อให้โมเดลสร้างเรขาคณิตที่ถูกต้องแม้จะเรนเดอร์ที่ความละเอียด 2K หรือ 4K
  2. การสร้างเท็กซ์เจอร์ความละเอียดสูง: สร้างเครือข่ายที่สองที่เน้นการสร้างเท็กซ์เจอร์ที่มีรายละเอียดสูงสำหรับแต่ละองค์ประกอบทางเรขาคณิต ทำให้ได้ภาพที่มีรายละเอียดที่สวยงามและสมจริง

LGTM ไม่ได้เป็นโมเดลแบบสแตนด์อโลน แต่เป็นการปรับปรุงวิธีการ feed-forward ที่มีอยู่ให้ดีขึ้น โดยเพิ่มประสิทธิภาพในการแสดงรายละเอียดด้วยการซ้อนการคาดการณ์เท็กซ์เจอร์บนเรขาคณิต

LGTM กับ Apple Vision Pro

Apple Vision Pro มาพร้อมกับหน้าจอความละเอียดสูงถึง 23 ล้านพิกเซล ซึ่งมากกว่าทีวี 4K เสียอีก งานวิจัยชี้ให้เห็นว่า 3D Gaussian Splatting แบบ feed-forward ประสบปัญหาในการแสดงผลที่ความละเอียดระดับนี้ LGTM สามารถช่วยแก้ปัญหานี้ได้ ทำให้ Vision Pro สามารถแสดงผลภาพที่คมชัดและลื่นไหลยิ่งขึ้นในสถานการณ์ที่ต้องใช้ 3D Gaussian Splatting

ประโยชน์ที่เห็นได้ชัดคือการสร้างสภาพแวดล้อมที่สมจริงและดื่มด่ำยิ่งขึ้น รวมถึงประสบการณ์ passthrough ที่สมจริงยิ่งขึ้น โดยที่ยังคงรักษาความต้องการด้านการประมวลผลให้อยู่ในระดับที่จัดการได้

ตัวอย่างการใช้งานและผลลัพธ์ของ LGTM

ลองดูตัวอย่างการใช้งาน LGTM ในหน้าโปรเจกต์ ซึ่งแสดงให้เห็นถึงวิธีการต่างๆ เช่น NoPoSplat, DepthSplat และ Flash3D ทั้งแบบที่มีและไม่มี LGTM จะเห็นได้ชัดว่า LGTM ช่วยให้ได้ผลลัพธ์ที่มีรายละเอียดที่สมบูรณ์ยิ่งขึ้น โดยเฉพาะอย่างยิ่งในส่วนของพื้นผิวและข้อความ และใกล้เคียงกับภาพ ground truth มากกว่า

สรุปส่งท้าย: อนาคตของภาพ 3 มิติบน Apple Vision Pro

เรามองว่า LGTM เป็นก้าวสำคัญในการพัฒนาเทคโนโลยีการแสดงผลภาพ 3 มิติบนอุปกรณ์อย่าง Apple Vision Pro ด้วยความสามารถในการสร้างภาพความละเอียดสูงได้อย่างมีประสิทธิภาพ LGTM จะช่วยปลดล็อกศักยภาพของ Vision Pro ให้สามารถมอบประสบการณ์การใช้งานที่สมจริงและน่าประทับใจยิ่งขึ้น เทคโนโลยีนี้ไม่ได้จำกัดอยู่แค่ Vision Pro เท่านั้น แต่ยังมีศักยภาพในการนำไปประยุกต์ใช้ในอุปกรณ์และแอปพลิเคชันอื่นๆ ที่ต้องการการแสดงผลภาพ 3 มิติคุณภาพสูงอีกด้วย ส่วนตัวคิดว่า LGTM จะกลายเป็นมาตรฐานใหม่สำหรับการเรนเดอร์ภาพ 3 มิติในอนาคตอันใกล้นี้แน่นอน

ที่มา: 9to5mac.com

ข่าวที่เกี่ยวข้อง

Tags: