NICT、カメラ1台で動作や表情も再現可能な自分のデジタルツイン・3Dアバターを構築する技術「REXR」開発

細やかな表情の変化を様々な方向から再現した3Dアバター
情報通信研究機構（NICT）は3月14日、たった1台のカメラの画像から自分のデジタルツインとなる3Dアバターをモデリングし、細かい表情や動作も三次元的にリアルに表現できる技術「REXR」（レクサー。Realistic and Expressive 3D avatar）を開発したと発表した。メタバースなどでのコミュニケーションで、アバター同士の深い相互理解が実現する可能性がある。同研究は、NICT ユニバーサルコミュニケーション研究所先進的リアリティ技術総合研究室のMichal Joachimczak氏、劉珠允氏、安藤広志氏によるもの。
メタバースやMR（複合現実）で自分の分身となる3Dアバターは、現状ではあらかじめ用意されたCGキャラクターを使用することが多く、微妙な表情や動作の表現は難しい。自分自身のリアルな3Dモデルを作ろうとすれば、何台ものカメラやセンサーを使って体中をキャプチャーするといった大がかりなシステムが必要となる。NICTは、複数のAIモジュールを組み合わせることで、それをたった1台のカメラで可能にした。
まずは、カメラの前で1回転した画像からリアルな全身モデルを構築する。モデルができれば、後はカメラの前で動くことで、その表情や姿勢が推定されてモデルに反映される。時間ごとに変化する動作や表情が、3Dアバター

リンク元