Google AIのチームが開発した卵型LEDルームが人間の3Dモデルを見事に捉える

人の動きを高品質な3Dで捉えることは難題であり、特に難しいのがライティングだ。ここで紹介するGoogleの研究者によるプロジェクトは、プリズム状に配置したLED製の卵の中に運動主体を置き、見事な結果を得ている。このやり方の特に重要なのは、あとからライティングを変えられることだ。
従来の立体捕捉（Volumetric Capture）と呼ばれる方法は、運動主体の360度の周囲に複数のカメラを置き、写真のようにリアルな絵画風の表現を捉える。服のしわも髪の髪の毛1本も完璧に捉える。しかし深刻な欠点が2つある。ひとつは、モデルのデータというよりは3Dムービーみたいで、人の姿勢や特徴、衣服などを自由に変えられない。もうひとつはそのために、ライティングもいろいろ変えられない。捕捉したときのライティングがすべてだ。
この問題を克服するために今回Google AIのチームが試みたThe Relightables（ライトを変えられる）という方法は、上記の第2の問題に挑戦する（第1の問題は多くのものがすでに決まりすぎている）。彼らのシステムは動いている人の詳細な3Dモデルを作るだけでなく、仮想の光源により一見リアルな光を当てるので、ゲームやムービーなどライティングが変わる状況に人を置くことができるのだ。
Google AIの研究論文に掲載されている画像。左から、捕捉の過程とその結果の3Dモデル、照明

リンク元