リモートセンシングとGISのジャーナル

概要

異種リモートセンシング画像からの変化検出のための部分的に分離したシャムモデル

トゥアティ R、ミニョッテ M、ダーマネ M

この論文では、バイテンポラル異種リモートセンシング画像ペアの変化検出の問題を取り上げます。さまざまな分野で、マルチモーダル性は、共同センシングのコンテキストでパフォーマンスを向上させるための重要なソリューションです。特に、リモートセンシング画像では、センサーの増加、データ共有機能、およびマルチテンポラルデータの可用性について、埋めるべき研究ギャップがまだあります。この研究は、共同センサー全体の情報補完をよりよく理解するために、マルチテンポラル設定でのマルチモーダル性を調査することを目的としています。2 つの部分的に分離した並列ネットワーク ストリームに基づく疑似シャム ネットワーク アーキテクチャで構成されるペアワイズ学習アプローチを提案します。各ストリームは、入力パッチをエンコードする畳み込みニューラル ネットワーク (CNN) を表します。全体的な変更検出器 (CD) モデルには、2 つのエンコードを単一のマルチモーダル特徴表現に連結する融合段階が含まれます。これは、完全に接続されたレイヤーを使用して低次元に縮小され、最後にバイナリ クロス エントロピーに基づく損失関数が決定レイヤーとして使用されます。提案された擬似シャムペアワイズ学習アーキテクチャにより、CD モデルはマルチモーダル入力画像ペア間の空間的および時間的依存性を捉えることができます。このモデルは、異なる空間解像度で 2 つのマルチモーダル入力パッチを一度に処理します。異なる空間解像度の CD 条件の混合を反映したさまざまな実際のマルチモーダル データセットでの評価パフォーマンスにより、提案された CD アーキテクチャの有効性が確認されます。