SfMのためのデインターレース手法MCMFの提案

豊川, 実梨; 岩井,  啓輔; 松原, 隆

doi:10.51094/jxiv.4462

##article.authors##

豊川, 実梨防衛大学校サイバー・情報工学科 https://researchmap.jp/toyokawam
岩井, 啓輔防衛大学校サイバー・情報工学科 https://researchmap.jp/iwaikeisuke
松原, 隆防衛大学校サイバー・情報工学科 https://www.nda.ac.jp/~matubara/

DOI:

https://doi.org/10.51094/jxiv.4462

キーワード:

Structure from Motion、デインターレース、動き補償、光学フロー、 COLMAP

抄録

Structure from Motion（SfM）は画像群から3次元形状を復元する技術であり，歴史的景観の記録及び復元にも応用されている．DVD等のインターレース映像では，フィールド間の時間差によるコーミングノイズがSfMの特徴抽出及びマッチングの精度を低下させる．本稿では視覚品質よりもSfMの幾何的精度の改善を設計目標とし，光学フロー（Farnebäckアルゴリズム）を用いて複数フィールドの記録データを動き補償し融合するデインターレース手法であるMotion-Compensated Multi-Field Fusion（MCMF）を提案する．3つのデータセットによるCOLMAP評価の結果，MCMFは標準的なデインターレーサyadifに対して再投影誤差を平均0.056px改善し，点群数を39〜103%増加させた．動き補償型のQTGMCとの比較では，再投影誤差と点群数にトレードオフが見られ，視覚的比較では遠距離領域の復元でMCMFが優位な傾向を示した．C++並列実装ではリアルタイムを超える処理速度を達成した．

利益相反に関する開示

本論文に関して，開示すべき利益相反関連事項は存在しない．

ダウンロード *前日までの集計結果を表示します

ダウンロード実績データは、公開の翌日以降に作成されます。

引用文献

S. Agarwal, Y. Furukawa, N. Snavely, I. Simon, B. Curless, S.M.Seitz, and R. Szeliski, “Building Rome in a day,” Proceedings of the IEEE International Conference on Computer Vision (ICCV), pp.72–79, 2009.

川上玲，“みんなの首里城デジタル復元プロジェクト,” https://www.our-shurijo.org/，2019．

G. Farneb¨ ack, “Two-frame motion estimation based on polynomial expansion,” Proceedings of the 13th Scandinavian Conference on Image Analysis (SCIA), pp.363–370, Springer, 2003.

D.G. Lowe, “Distinctive image features from scale-invariant keypoints,” International Journal of Computer Vision, vol.60, no.2, pp.91–110, 2004.

J.L. Sch¨ onberger and J.-M. Frahm, “Structure-from-motion revisited,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.4104–4113, 2016.

F. Condorelli and F. Rinaudo, “Processing historical film footage with photogrammetry and machine learning for cultural heritage documentation,” Proceedings of the 1st Workshop on Structuring and Understanding of Multimedia Heritage Contents (SUMAC@ACM Multimedia), pp.39–46, ACM, 2019.

S. Liu, X. Nie, and R. Hamid, “Depth-guided sparse structure-from-motion for movies and TV shows,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp.15980–15989, 2022.

G. deHaan and E.B. Bellers, “Deinterlacing — an overview,” Proc. IEEE, vol.86, no.9, pp.1839–1857, 1998.

R. Ji and A.M. Tekalp, “A new multi-picture architecture for learned video deinterlacing and demosaicing,” Image and Vision Computing, vol.145, p.105023, 2024.

FFmpeg Project, “FFmpeg — a complete, cross-platform solution to record, convert and stream audio and video,” https://ffmpeg.org/, 2024.

Tritical, “QTGMC — a very high quality deinterlacer,” AviSynth Wiki, http://avisynth.nl/index.php/QTGMC, 2009.

株式会社阪神コンテンツリンク，朝日放送株式会社，“THE HANSHIN KOSHIEN STADIUM ～大正・昭和・平成・悠久の時を経て～,” DVD，2007．

TBS テレビ，“世界遺産THE WORLD HERITAGE フランス編,” DVD，1999．