Google ได้ผุดงานวิจัยใหม่ขึ้นมาที่ชื่อว่า Total Relighting งานวิจัยสำหรับการปรับแสงในรูปภาพในการตัดต่อจากพื้นหลังหนึ่งไปยังอีกพื้นหลังหนึ่งให้มีความเสมือนจริงมากขึ้น โดยจะแบ่งเป็นหลักๆ ใน 2 ขั้นตอน การตัดภาพจากพื้นหลังเดิม และปรับแสงเพื่อนำไปวางบนภาพใหม่
การตัดภาพคนออกจากพื้นหลังจะมีการใช้โมดูลที่ชื่อว่า Human Matting ในการหารูปตัวคนด้วยอัลกอริทึมต่างๆ เพื่อตัดภาพออกมาก่อน
ต่อมาจะมีการนำไปปรับแสงให้เข้ากับพื้นหลังที่ต้องการเปลี่ยน โดยจะใช้โมดูลที่ชื่อว่า Relighting ที่มีโมเดลต่างๆ อยู่ภายใต้โมดูลนี้อยู่หลายตัว ที่จะมีส่วนสำคัญในการปรับแสงด้วยเช่นกัน ได้แก่ Geometry Net, Albedo Net, และ Shading Net
โดย Geometry Net จะทำหน้าที่วัดค่าต่างๆ เช่นความลึกเพื่อสร้างเป็นโมเดลรูปคนขึ้นมา จากนั้น Albedo Net จะทำการวัดค่าแสงที่กระทำต่อพื้นผิวต่างๆ และสุดท้ายใน Shading Net จะมีการคำนวณค่าแสงของพื้นหลังใหม่ ที่จะกระทำต่อพื้นผิวของตัวคน ในสถานการณ์ต่างๆ เพื่อรวมผลลัพธ์ที่ได้เป็นภาพคนบนพื้นหลังใหม่ที่ถูกปรับแสงให้เข้ากับสภาพแวดล้อมเรียบร้อยแล้ว
งานวิจัยนี้ระบุว่ายังมีขีดจำกัดในการใช้งานอยู่ เช่น ลายเสื้อผ้า แสงสะท้อนจากตา รวมถึงการปรับแสงในวิดีโอที่ยังไม่เสถียร เนื่องจากเป็นการปรับแสงแบบทีละเฟรม
ในการใช้งานนั้นต้องการเพียงแค่รูปภาพคนต้นฉบับ และภาพพื้นหลังใหม่เท่านั้น ไม่จำเป็นที่จะต้องตัดพื้นหลังออกก่อนด้วย โดยอัลกอริทึมนี้ก็จะทำทุกอย่างทั้งตัดพื้นหลังและปรับแสงเพื่อนำไปวางบนพื้นหลังใหม่ให้อย่างเรียบร้อย
ทั้งนี้งานวิจัยนี้ยังไม่มีการเปิดใช้งานอย่างสาธารณะ และเตรียมตัวที่จะนำเสนอในงานประชุมวิชาการเกี่ยวกับด้านกราฟิก SIGGRAPH 2021 ที่จะจัดขึ้นในวันที่ 9-13 สิงหาคมนี้
สามารถอ่านงานวิจัยฉบับเต็มได้ที่ augmentedperception.github.io/total_relighting
ที่มา: Beartai
ไม่มีความคิดเห็น:
แสดงความคิดเห็น