Inside Secretcreen Augmented Reality และ Secret CGI

ความเป็นจริงที่เพิ่มขึ้นและการสลับหน้าดูเหมือนจะเป็นตัวเลือกยอดนิยมสำหรับแอพมือถือต่อไป เพียงดูที่การซื้อ MSQRD ของ Facebook หรือการซื้อกิจการ Looksery ของ Snapchat แต่การเริ่มต้นใช้งาน AR หนึ่งครั้งเรียกว่า Pinscreen ซึ่งปัจจุบันได้รับการสนับสนุนจาก 1.8 ล้านเหรียญจาก Lux Capital และ Colopl VR Fund กำลังมองหาที่จะทำสิ่งต่าง ๆ ในบริเวณนี้ ผกผัน Hao Li ผู้ก่อตั้ง Pinscreen พูดเฉพาะเกี่ยวกับสิ่งที่อาจเป็นไปได้สำหรับ บริษัท ลับนี้

คุณอาจไม่เคยได้ยินเกี่ยวกับ Hao Li แต่คุณอาจเคยเห็นงานวิจัยของ USC Assistant Professor ในภาพยนตร์หลายเรื่องเรื่องนี้ ในขณะที่ทำงานที่วิชวลเอฟเฟ็กต์ Studio Industrial Light & Magic Li ช่วยพัฒนาเครื่องมือบางอย่างที่เปิดใช้งานการจับภาพตามเวลาจริง แนวคิดก็คือนักแสดงสามารถนั่งหน้าคอมพิวเตอร์ด้วยกล้องเว็บแสดงฉากแล้วจึงแปลการแสดงตามเวลาจริงเป็นตัวละคร CG

หลี่ได้ทำการวิจัยอย่างกว้างขวางในด้านอื่น ๆ เช่นการสร้างแบบจำลอง 3 มิติของคนจริงแบบเรียลไทม์และจับภาพส่วนสำคัญของภาพเหมือนของพวกเขาโดยเฉพาะใบหน้าและผม เมื่อไม่นานมานี้หลี่แสดงการวิจัยว่าเขาและคนอื่น ๆ ได้ทำการจับภาพการแสดงจากบุคคลที่มีกล้องเพียงตัวเดียวและแปลมันเป็นตัวอักษรดิจิทัล

ในตอนแรกสิ่งนี้ไม่แปลกเลย มีโซลูชันการติดตามใบหน้าจำนวนมากที่กำลังพัฒนาทั้งสำหรับแอพมือถือและระบบที่ซับซ้อนมากขึ้นเช่น Faceshift (ซื้อโดย Apple ในปี 2558) แต่สิ่งเหล่านี้จำนวนมากพึ่งพาเซ็นเซอร์ความลึกซึ่งเทคโนโลยีของ Li ไม่ต้องการ เขาพูดว่าวิธีนั้นแตกต่างกันมาก

“ หากคุณมีเซ็นเซอร์ความลึกสิ่งที่คุณต้องมีก็คือปรับพารามิเตอร์ของแบบจำลองใบหน้าให้เหมาะสมที่สุดเพื่อให้แบบจำลองนั้นเหมาะสมกับอินพุต 3D มากที่สุดเท่าที่จะทำได้” หลี่อธิบาย “ แต่ในกรณีของอินพุต RGB ที่บริสุทธิ์โลกทั้งใบจะถูกฉายลงบนภาพสองมิติโดยไม่ทราบพารามิเตอร์ของกล้องเช่นความยาวโฟกัส ดังนั้นแบบจำลองใบหน้า 3 มิติที่แม่นยำจึงจำเป็นต้องอนุมานจากภาพที่ฉายนี้และสามารถรับมือกับสภาพแสงที่หลากหลายรวมถึงการปรากฏตัวของวัตถุต่าง ๆ ได้”

ดังนั้นความสำคัญของการวิจัยลี่เกี่ยวกับอวตาร 3D เมื่อทำแผนที่ใบหน้าของมนุษย์โปรแกรมการทำแผนที่จำนวนมากมีปัญหาในการจัดการกับสิ่งกีดขวางทางสายตาเช่นผมและแว่นตา เพื่อหลีกเลี่ยงปัญหาดังกล่าว Pinscreen“ สร้างเครือข่ายประสาทเทียมแบบลึกที่สามารถเรียนรู้วิธีแบ่งส่วนใบหน้าในภาพที่ไม่มีข้อ จำกัด ”

ดังนั้น Pinscreen ที่ใช้เทคโนโลยีขั้นสูงที่บ้าคลั่งนี้คืออะไร?

“ เราจะเป็นแพลตฟอร์มโซเชียลมีเดีย / การสื่อสารรูปแบบใหม่ที่มีความสามารถด้าน AR ที่น่าสนใจ” หลี่กล่าว “ มันจะไม่เป็นแอพอย่างเลนส์ Snapchat หรือ MSQRD ซึ่งเหมาะสำหรับคนส่วนใหญ่ที่น่าสนใจเพียงไม่กี่นาที”

ดังนั้นตอนนี้ยังไม่ได้เป็นคำ buzzwords มากไปกว่านี้ แต่เมื่อมองลึกลงไปงานก่อนหน้าของเขาแสดงให้เห็นว่าพวกเขาหวังที่จะพัฒนาความสามารถในการติดตามใบหน้าของใครบางคนแม้จะมีผมแว่นตาหรือวัตถุอื่น ๆ ที่ขัดขวางมุมมองของกล้องตัวเดียว เพิ่มความเป็นจริงยิ่งขึ้นและขีด จำกัด ของท้องฟ้าสำหรับภาพยนตร์โซเชียลมีเดียและเกม

มันฟังดูค่อนข้างแปลกใหม่ แต่สิ่งสำคัญคือต้องทราบว่าหลี่และทีมของเขาไม่ได้เป็นคนเดียวที่ทำการวิจัยในพื้นที่นี้ เมื่อไม่นานมานี้ดิสนีย์ได้นำเสนอการจับภาพใบหน้าแบบเรียลไทม์เช่นเดียวกับนักวิจัยคนอื่น ๆ ด้วยเครื่องมือที่เรียกว่า Face2Face Theres ยัง Faceshift ดังกล่าวพร้อมกับ Facebook และ Snapchat ที่ได้เริ่มสาธิตสินค้าของพวกเขา

แล้วอะไรทำให้เทคโนโลยีของ Pinscreen แตกต่างกันบ้าง หลี่แนะนำวิธีแก้ปัญหาของ บริษัท ของเขาว่า“ มีประสิทธิภาพมากกว่าและสามารถอนุมานโมเดล 3 มิติที่มีความแม่นยำมากขึ้นเนื่องจากเราจัดการกับข้อสรุปอย่างชัดเจน”

“ นวัตกรรมที่สำคัญที่สุดของเราคือเทคโนโลยีที่ช่วยให้เราสามารถสร้างแบบจำลอง 3 มิติที่สมบูรณ์แบบรวมถึงทรงผมจากภาพใด ๆ โดยอัตโนมัติ” เขากล่าว “ งานประเภทนี้ตามธรรมเนียมต้องใช้ผู้สร้างแบบจำลอง CG และเครื่องมือที่มีความชำนาญในการผลิต แต่เราสามารถสร้างสิ่งนี้ได้โดยอัตโนมัติ เอกสารล่าสุดที่นำเสนอใน SIGGRAPH (การประชุมคอมพิวเตอร์กราฟฟิคชั้นนำและเทคนิคการโต้ตอบ) ยังต้องการภาพอินพุตหลายภาพเป็นอินพุท - เรามุ่งเน้นไปที่การแก้ปัญหาด้วยข้อกำหนดการป้อนข้อมูลที่น้อยที่สุดซึ่งเป็นภาพ 2D สองมิติ”

แน่นอนว่าจนกว่าผู้คนจะเห็นและใช้แอพใด ๆ จาก Pinscreen คณะลูกขุนจะยังคงมีความสามารถ แม้ว่าความแตกต่างที่นี่คือว่าหลี่มีประวัติที่มั่นคงด้านการวิจัยและนวัตกรรมอยู่ข้างหลังเขาโดยเฉพาะในการสร้างอวตารของดิจิทัล

Li มีความมั่นใจอย่างชัดเจนเกี่ยวกับความเป็นไปได้ของ Pinscreen ในพื้นที่โซเชียลมีเดีย “ เนื่องจากเทคโนโลยีของเราจะทำให้การสร้างอวตารของ 3D เป็นแบบอวตารจะมีแอพพลิเคชั่นที่ชัดเจนในเกมแอพพลิเคชั่น VR / AR สำหรับการสื่อสารที่น่าประทับใจหรือตัวแทนเอไอ” เขากล่าว“ แต่ฉันคิดว่าเราจะสร้างแอพพลิเคชั่นที่เยี่ยมที่สุด แพลตฟอร์มสื่อสังคมที่เรากำลังพัฒนา

“ ที่สำคัญที่สุด” เขากล่าวเสริม“ เราต้องการสร้างบางสิ่งบางอย่างที่ทำให้ผู้คนสามารถสร้างเนื้อหาที่น่าสนใจโดยไม่ต้องใช้ท่อ VFX ราคาแพงในปัจจุบันและสามารถใช้เนื้อหา AR ที่แสนสนุกเพื่อเชื่อมต่อซึ่งกันและกัน”

ดูเหมือนว่า Pinscreen จะรวมช่วงของเทคโนโลยี Li และทีมของเขาทำงานอยู่ แต่เขาบอกว่านั่นเป็นเพียงส่วนหนึ่งของแผน “ ตัวอย่างเทคโนโลยีเป็นเพียงคุณลักษณะของสิ่งที่เราวางแผนจะใช้” เขากล่าว “ Pinscreen จะเป็นสิ่งที่ใหญ่กว่ามากและเทคโนโลยีจะเป็นคุณสมบัติที่น่าสนใจในตอนแรก เราจะค่อนข้างแตกต่างจากแพลตฟอร์มโซเชียลมีเดียอื่น ๆ ”

สำหรับตอนนี้ Pinscreen ยังคงเป็นปริศนาอยู่เล็กน้อยและดูเหมือนว่าเราจะต้องรอดูว่ามีอะไรอยู่ในร้าน