スパースなデプス入力の伝播による1枚の画像からのLayered Depth Imageの生成
概要
本研究では少ないデプス入力のみで簡単に3次元シーンモデルを生成できる手法を提案する．提案手法では，テクスチャとデプスをもつ前景・背景レイヤから構成されるLayered Depht Image(LDI)によって3次元モデルを表現する。ユーザがスパースにデプスを入力すると、均質な小領域（スーパーピクセル）ベースの重み付き測地距離とエネルギー最適化によって画像全体にデプス入力が伝播し，デプスマップが生成される．このデプス伝播は実時間で計算されるため，ユーザは対話的にLDIを作成することができる．さらに，提案手法は奥行きが大きく変化する不連続箇所から遮蔽領域を推定し，遮蔽領域のテクスチャとデプスを含む背景レイヤを自動生成する．また，ユーザがデプスを直感的に指定できるようにするため，3次元モデルに直接ストロークを引き，3次元モデルの変化を確認しながらストロークのデプスを変化させていくインタフェースを採用している．提案手法によって，単純な操作のみで十分な3次元効果を得られるモデルが生成されることを示す．
Abstract
In this paper, we propose an interactive technique for constructing a 3D scene via sparse user inputs. We represent a 3D scene in the form of a Layered Depth Image (LDI) which is composed of a foreground layer and a background layer, and each layer has a corresponding texture and depth map. Given user-specified sparse depth inputs, depth maps are computed based on superpixels using interpolation with geodesic-distance weighting and an optimization framework. This computation is done immediately, which allows the user to edit the LDI interactively. Additionally, our technique automatically estimates depth and texture in occluded regions using the depth discontinuity. In our interface, the user paints strokes on the 3D model directly. The drawn strokes serve as 3D handles with which the user can pull out or push the 3D surface easily and intuitively with real-time feedback. We show our technique enables efficient modeling of LDI that produce sufficient 3D effects.
Video
Publication
- Satoshi Iizuka, Yuki Endo, Yoshihiro Kanamori, Jun Mitani, and Yukio Fukui, "Efficient Depth Propagation for Constructing a Layered Depth Image from a Single Image", Computer Graphics Forum (Proc. of Pacific Graphics 2014), 33, 7, 279-288, 2014. [PDF]
Previous work
- 飯塚里志 遠藤結城 金森由博 三谷純 福井幸男：
"スクリブルを用いた1枚の画像からの対話的なレイヤ状3次元モデルの生成",
Visual Computing/グラフィクスとCAD合同シンポジウム 2013. 2013-6. (GCAD Award) [PDF]