山口智史 / YAMAGUCHI Satoshi

本研究は人物3Dモデルの意味的領域分割の手法を提案する。一般の3Dモデルを対象として形状情報のみから意味的領域分割を行う既存手法はあるが、人物の場合、例えば薄い服と肌の境界は形状だけでは判断が難しい。そこで本研究では、テクスチャ情報を考慮して意味的領域分割を行う。具体的には、人物3Dモデルを多視点から投影して複数枚の2D画像を得、これらをニューラルネットワークに入力し、各ポリゴンがどの意味ラベルを持つかについての尤度を得る。この尤度を3Dモデルに逆投影する。この際、解像度や遮蔽の影響で尤度の得られないポリゴンが存在する。最終的にメッシュ上でグラフカットを適用し、全ポリゴンも含めて意味ラベルを割り当てる。