【2023年7月】衛星データ利活用に関する論文とニュースをピックアップ！
2023年7月に公開された衛星データの利活用に関する論文の中でも宙畑編集部が気になったものをピックアップしました。
宙畑の新連載「#MonthlySatDataNews」では、前月に公開された衛星データの利活用に関する論文やニュースをピックアップして紹介します。
実は、本記事を制作するために、これは！と思った論文やニュースをTwitter上で「#MonthlySatDataNews」をつけて備忘録として宙畑編集部メンバーが投稿していました。宙畑読者のみなさまも是非ご参加いただけますと幸いです。
2023年7月の「#MonthlySatDataNews」を投稿いただいたのは4人でした！
Google Bardにおける画像の理解能力を確かめた論文。
物体の位置推定や水中画像、リモセン画像など15のシナリオで検証。
リモセン画像の結果としては、全体的な傾向は把握できるが、地物の数を数えるなど細かいパターンを把握するのは難しいとのこと。https://t.co/BauT8UA4do#MonthlySatDataNews pic.twitter.com/IPjb2a4FI6— ぴっかりん (@ra0kley) July 30, 2023
Identifying coal mining subsidence impacts by soil moisture based on optical trapezoid model in Google Earth Enginehttps://t.co/5IvsOvwlGx #MonthlySatDataNews
採掘によって、沈下盆地内で大きな空間勾配変動を示すため、土壌水分が変化するので、観測すると良さそうとのこと— たなこう (@octobersky_031) July 26, 2023
SAR画像を用いたNeRF。Voxelの減衰係数と散乱強度の分布を学習するために構築。さらにSAR-NeRFで生成した画像を加えたデータセットを用いたfew-shot learningによるclassificationで精度向上が確認できた。https://t.co/utjcetb05k
— まぬある (@lTlanual) July 12, 2023
FPN のように解像度ごとの特徴量を Self attetion してリモセン画像分類をする#MonthlySatDataNewshttps://t.co/AgQzFHOhYT
— emmyeil (@emmyeil) July 11, 2023
それではさっそく2023年7月の論文を紹介します。
Real-time remote sensing detection framework of the earth’s surface anomalies based on a priori knowledge base
【どういう論文？】
・地球表面の異常（地滑り・森林伐採・森林火災・干ばつなど）をリモートセンシングにて検出するフレームワークを開発することに焦点を当てた論文
【先行研究と比べてどこがすごい？】
・従来の方法では、発生した地表異常が既知であることを前提としており、該当の地表異常特性に特化した分析を行うため、検出可能な異常の種類が限られていた。このフレームワークは正常な地球表面の特性（過去の観測データを利用して観測対象がどのように見えるべきかに関する情報を生成するプロセス）を利用し、リモートセンシングデータで様々な異常（変化）を検出する
・単一の事象に限定されず、複数の種類の地表の異常を検出することができるため、汎用性と適応性が高い
【技術や方法のポイントはどこ？】
◾️事前知識ベースの構築
・前提として、地球表面の異常のランダム性と突発性を考慮し、事前知識ベースは関心領域全体を年中網羅する必要がある
・地球表面の正常な状態を良く捉えている画像を選択
・抽出した特徴の値から、各特徴における平均値と標準偏差を計算（これらの統計処理により、特徴の正常な状態を表す平均値と標準偏差が得られる）
・得られた平均値と標準偏差を組み合わせて、事前知識ベースを構築
◾️地上の異常検出における3つのステップ
①ピクセルスケールでの強度評価
・ピクセルスケールでは、個々のピクセルに対して地球表面の”異常の強度”を評価
・具体的には、特徴の変化量と標準偏差との比率を使用して強度を決定（異常が発生した場合に特徴の値が変化する。この変化量を特徴の標準偏差で割ることで、異常の強度を定量的に評価する。この比率が大きいほど、異常の強度が高いことを示す）
②パッチスケールでの強度評価
・パッチスケールでは、複数のピクセルを組み合わせたパッチの面積と地球表面の”異常の強度”との関連を考慮して強度を決定
・地球表面の異常は、通常広範囲に影響を及ぼすことがあるため、そのため、個々のピクセルだけでなく、複数のピクセルをまとめたパッチの強度を評価する必要がある（パッチの面積が大きいほど、異常の強度が高いことを示す）
③総合的な強度指数の計算
・最終的な総合的な強度指数をピクセルスケールとパッチスケールの強度の両方を考慮して計算
【議論の内容・結果は？】
・さまざまな実験エリアにおける地球表面の異常の検出の精度は、適合率、再現率、およびF1スコアがすべて91.00%以上、88.00%以上、0.90以上であり、通常の地球表面では地球表面の異常の誤検出は非常に稀で検出の精度が高いことが示された
・また、本フレームワークでは、長いスパンをかけて同じピクセルを重点的に比較するピクセル対ピクセルの比較を行っており、これにより、リモートセンシング特徴の類似性（地滑りや土石流などの異常はは更地の通常状態と類似している等）による誤分類の発生を大幅に回避可能
Observing decoupling processes of NO2 pollution and GDP growth based on satellite observations for Los Angeles and Tokyo
【どういう論文？】
・高い人口密度を持つ地域におけるNO2（二酸化窒素）汚染の変動と経済活動の変動の関係を調査する論文
【先行研究と比べてどこがすごい？】
・長期間の衛星データを使用して、ロサンゼルスと東京の両都市におけるNO2汚染と経済成長の変動を包括的に評価
・先行研究では、地上観測データやモデルシミュレーションを主に使用していたが、ハーモニック分析とウェーブレット分析という高度なスペクトル解析手法を使用して、時間変動の特性を詳細に調査し、NO2汚染と経済成長の関係をより精密に調査
【技術や方法のポイントはどこ？】
・GOME, SCIAMACHY, MetOp-A, MetOp-Bの4つの衛星によって取得された（対流圏内の）NO2データを使用
・データの前処理は、空間分解能補正・位置補正・（対流圏のNO2は季節変動するため）季節振幅補正を実施
・ハーモニック解析を行い、時間系列データから季節変動などの周期的成分を抽出/分析（本手法は、データを複数の正弦波（sin関数）と余弦波（cos関数）の重ね合わせとして表現し、季節的な変動を取り除いたデータ（残差）を得ることができ、残差には季節変動が含まれていないため、より長期的な変動やトレンドを分析することが可能）
・ウェーブレット解析を行い、時間系列データの非定常性（時間によって変動する性質）や異なる周波数成分を抽出/分析
【議論の内容・結果は？】
・ロサンゼルスのNO2は、1996年から2000年8月まで約22％増加しているが、車両排ガス規制やエネルギー政策の導入によりその後は急激に64％減少
・東京でもNO2は緩やかに減少しており、1996年から2017年まで約40％減少
・ただし、ロサンゼルスとは異なり、減少は線形である
・東京においては1996年から2005年/2006年までは明確な季節変動があったが、その後は季節変動がほとんど見られなくなった。このことから、車両排ガス規制や他の環境対策により、年間を通して排ガスが一定になった可能性が示唆される。
・ロサンゼルスと東京のNO2の長期的な傾向は、厳格な排気ガス規制やエネルギー効率の向上など、大気汚染を改善するための政策の効果を反映している
・経済活動と大気汚染のデカップリング（互いがポジティブな方向に改善）していることがわかった
Long-term observation of global nuclear power plants thermal plumes using Landsat images and deep learning
【どういう論文？】
・Landsatの赤外線画像を使用して、原子力電所からのsurface thermal plume（産業プロセスによって生成される熱エネルギーが海等に排出され、その結果、一部水域に高い水温が発生する現象）を捉えるための実用的な手法を提案する論文
【先行研究と比べてどこがすごい？】
①広範な適用性
先行研究では、特定の原子力発電所に対して適用できなかった背景温度（平均的な水面温度）の決定方法が、本論文では世界中のさまざまな場所にある原子力発電所に適用できるアルゴリズムの構築に成功
②正確性
・ディープラーニングと位置情報を組み合わせたフレームワークにより、surface thermal plumeを自動的かつ正確に抽出することが可能となり、更に他の人間の活動等による影響などの識別も実現
【技術や方法のポイントはどこ？】
・Terra ASTERの使用（ 熱赤外線帯の放射を測定し、地表面温度を推定。火山活動や火災、地熱活動などのモニタリングに適している。空間解像度は100メートル）
・Landsatデータの使用（可視光から近赤外線までの範囲の放射を観測し、地表面の特性を評価。土地利用、植生、水質などのモニタリングに適している。本実験では複数のセンサーのデータを使用）
・各種衛星データから明確に表面温度の変化を持つ訓練データを選定（原子力発電所の周辺での温度の急激な変化が観測される領域の抽出）
・上記コアエリアを抽出した画像に対してラベリングし、画像の回転、拡大などによってデータを水増し
・損失関数はTversky lossを利用することで、二つのクラス（今回においては背面温度と変化が起こっている対象の水域クラス）のセグメンテーション結果の一致評価を実現
・surface thermal plumeの強度を評価するために、抽出されたコアエリアに関する表面温度データから、最大値、中央値、平均値、変動係数（表面熱プルームの安定性や不安定性を示すために使用）を計算
・要因分析では、原子力発電所の容量、排水タイプ（①水深が比較的大きく水域の体積が多いタイプ②水深が比較的浅く水域の体積が少ない）、場所タイプ（湾・湖など）の要因を考慮して、コアエリアの特性に対する影響を調査
※水深が浅い場合、大気との相互作用が比較的高いため、大気中のエネルギーや湿度が水面に影響を与える可能性があり、surface thermal plumeの形成や特性に影響を与える可能性が高いと考えられる
・コアエリアの面積、面積比、境界矩形の長さなどの特徴量から、surface thermal plumeの形状や大きさを比較・評価
【議論の内容・結果は？】
・今回利用した表面温度の推定アルゴリズムであるSMW（Simple Modified Water）は、surface thermal plumeの検出において、バイアス（衛星データから得られた気温値とブイによる実測値の差）が-0.45℃非常に小さく、RMSEも0.877℃と小さいことが確認でき、良い性能を示すことができた
・Landsatから得られた表面温度データを用いて、微細な表面温度の勾配を計算することで、調査対象の水域帯における、プルーム（熱帯）と水（非熱帯）を識別できた
・調査対象の排水口の隣接水域では、原子力発電所の運転サイクル中に表面温度の大きな増加が発生しており、1.73 Kから8.51 Kまでの範囲で増加が見られた
・水深が浅い排水口では、高いsurface thermal plumeの強度（影響度合い）が見られた
・大きなsurface thermal plumeは主に五大湖地域で頻繁に発生し、多くが4km2を超え、平均で1.18 km2であった。形状としては、陸側に対して平行で細長い形をしていた
Daily detection and quantification of methane leaks using Sentinel-3: a tiered satellite observation approach with Sentinel-2 and Sentinel-5p
【どういう論文？】
Sentinel-3の短波赤外線バンドを用いてメタンプルーム（大気中におけるメタンが特定の領域で濃度が高くなっている現象）を検出する研究論文
【先行研究と比べてどこがすごい？】
・Sentinel-5pのTROPOMIは大規模なメタン・プルームを検出できるものの、その粗い空間分解能のため発生源の特定が難しい。プルームローテーション技術も発生源特定に有用だが、特定の条件下でのみ使用可能である。GHGSat衛星はメタン源検出に特化しているが、観測範囲と公開データが限定的である。一方、ハイパースペクトル衛星はメタンを検出できるが、継続的な監視に制約がある。マルチバンド衛星は再訪問期間は短いものの、スペクトル分解能が低くメタン検出には課題があり、Sentinel-3もメタン検出の最適化が求められる状況である。
・本研究では、Sentinel-3の短波赤外線バンドを活用してメタンプルームの増加を検出し、Sentinel-5pとSentinel-2との組み合わせによって高精度で地球規模でのメタンリーク検出が可能であることを示した
【技術や方法のポイントはどこ？】
・メタンのリークを検出するために、Sentinel-3のTOA放射率データを使用し、SWIR-1とSWIR-2バンドの比率を計算するマルチバンドマルチパス（MBMP）法を利用
（メタンはSWIR-2バンドで吸収される特性が強く、SWIR-1バンドではあまり吸収されない）
・検出したメタンリークが大気中でどれだけ拡散・移動するかに関して、風速データを使用してクロスセクションフラックス（CSF）法によってメタンリークの発生源を推定
【議論の内容・結果は？】
・Sentinel-3のSWIR-2バンド（約50 nm、B12）はSentinel-2のバンド（約200nm）よりも狭く、メタンを吸収しやすい波長に位置しているため、メタンリークの検出においては、Sentinel-3のSWIR-2がSentinel-2よりも優れていた
・MBMP法によるメタンリーク検出精度はSentinel-3の方が2倍優れていた
・ただし、Sentinel-3は画像観測のピクセルが広いため、Sentinel-2に比べてメタンプルームの強度（の濃度）検出の精度は低くなった
・テストサイトによって、Sentinel-3が検出できるメタンの最小量が異なったが、その範囲は約8〜20 t[ton]/hであった
・また、風速はSentinel-3のメタンリーク検出に強い影響を及ぼすことが分かった（風速が高い場合、メタンガスが広い範囲に拡散し、濃度が低くなるため、リーク量の検出が難しくなった）
Unpaired spatio-temporal fusion of image patches (USTFIP) from cloud covered images
【どういう論文？】
多波長で高解像度の衛星画像を効率的かつ効果的に生成するための空間/時間的な画像フュージョン手法の研究論文
【先行研究と比べてどこがすごい？】
・先行研究では、雲のない対応ペアの画像が必要であり、衛星の再訪時間が長い場合、対応する画像ペアを見つけることが困難であった
・本研究では、USTFIP（Unpaired Spatio-Temporal Fusion of Image Patches）という手法を用いて、雲のない対応ペアの画像を必要とせず、雲の混じった中~高解像度の画像と、ターゲット日の雲のない低解像度の画像を入力として使用して、多波長で高解像度の衛星画像を生成した
【技術や方法のポイントはどこ？】
・USTFIPという以下の3つのステップから成る手法を実施
・Coarse Harmonization (CH)：（観測対象全体を捉える）粗い解像度の画像と、細かい解像度画像とがスペクトル的に一致するように調整する。この際、近傍効果を考慮し、Gaussianフィルタを用いてPoint Spread Function（PSF）の畳み込みを行い、センサーの動きや搭載されている電子機器、大気条件、リサンプリングなどによって引き起こされる物理的なぼやけ効果を軽減する。さらに、異なるセンサー間での帯域差異（例：MODISとLandsatの場合、青バンドの対応はMODISが620-670nmであるのに対し、Landsat-7とLandsat-8はそれぞれ547-605nmと655-685nm）を補正するために、相対放射校正法を使って粗い解像度画像のバンド幅を再スケーリングする。これにより、異なるセンサー間のスペクトル的な差異を減らし、画像フュージョン時のバイアスを避けることができる。つまり、センサー間のスペクトル的な不一致を解消して、粗い解像度画像を高解像度画像に適切に合わせることがこの手法の目的。
・Locally Optimal Prediction (LOP)：細かい解像度の画像とターゲット日付の粗い解像度画像から、特定の特徴やパターンの一致度が高いデータを自動的に選択する手法。選択された最適な情報を用いて、細かい解像度の画像における目標日付の粗い解像度の変化を捉えるために、特定のデータ点に対してその近傍のデータ点だけを使って線形回帰を行う。これにより、観測対象全体を捉えた高解像度の初回の解像度画像の推定を行う。
・Spatial Filtering (SF)：空間的な重み付けフィルタを適用（周囲の近傍ピクセルとの関係性を考慮しながら重みをかけてフィルタリング）して、画像の解像度の違いによって生じる特徴誤差を打ち消す。
【議論の内容・結果は？】
・定性的評価（実験者による目視確認）では、USTFIPの予測はFit-FCよりも実際の画像に近く、USTFIPの精度は参照画像と予測ターゲットの日付が離れる（時間的ギャップが大きくなる）につれて予測画像と実際の画像の類似度が緩やかに低下することが示された
・定量的評価では、USTFIPはすべてのシナリオでFit-FCよりもRMSEが小さく、場所と時間的ギャップによっては5%から13%の改善が見られた
・USTFIPはFit-FCよりも、時間ギャップに対する影響が低く、また、形状やエッジをより正確に反映した
・USTFIPの計算時間はFit-FCと比較して最大40%短縮され、ほとんどのシナリオで効率的であった
Enhancing Building Semantic Segmentation Accuracy with Super Resolution and Deep Learning: Investigating the Impact of Spatial Resolution on Various Datasets
【どういう論文？】
高空間解像度やダウンサンプリングによって作成した様々な空間解像度の画像を用いて、代表的な深層学習アーキテクチャであるUNetとFPNによるモデルのトレーニングとテストを行い、建物のセグメンテーション結果に対する空間解像度の影響を調査した論文
【先行研究と比べてどこがすごい？】
・建物のセマンティックセグメンテーションにおける深層学習と空間解像度の関係に焦点を当てた初の研究
【技術や方法のポイントはどこ？】
①データ
・Austin、Christchurch、東京の3つの地域における建物のセマンティックセグメンテーションにおける空間解像度の影響を分析
・上記データセットの元の解像度はそれぞれ約7.5 cm、15 cm、30 cm
②データ前処理
・高解像度画像（7.5 cm、15 cm、30 cm）から複数のピクセルスケールを生成する
・今回は低解像度へのリサンプリングに「ピクセル集約法」を使用。複数のピクセルをまとめて1つのピクセルとしてグループ化する
③セマンティックセグメンテーション
・UNetの利用（順に特徴を集めながら、各画像、画像内の新しい特徴を見つけて行き、逆の道を辿りながら元の場所まで戻るアルゴリズム）
・FPNの利用（ボトムアップ経路で低解像度の特徴を得ると同時に、トップダウン経路で高解像度の特徴を獲得し、異なるスケールの特徴を組み合わせて、セグメンテーションにおいて全体的な視点を得るアルゴリズム）
【議論の内容・結果は？】
・空間解像度が30 cm未満では、AustinではIoUがわずかに増加し、ChristchurchとTokyoの両方では安定するが、一定のしきい値（30 cm）を超えると、全ての研究地域でIoUが急速に低下した（建物の特徴は特定の物理的なサイズを持っており、空間解像度が一定の閾値よりもはるかに細かい場合、セグメンテーションの性能向上には寄与せず、むしろ冗長な情報を提供する可能性があると考えられる）
・また、UNetとFPNの両方が似た傾向を示した
・建物の特徴は特定の物理サイズを持っているため、空間解像度がしきい値よりも有意に細かい場合、セグメンテーション性能に役立たない可能性がある
Urban feature shadow extraction based on high-resolution satellite remote sensing images
【どういう論文？】
・衛星画像の解像度が向上するにつれて、画像内の対象物の認識や分類などにおいて影の悪影響が増えている中で、新しいMSDIという影検出指数を開発し、影領域の抽出を行う研究
【先行研究と比べてどこがすごい？】
・先行研究では、小さな影領域の検出漏れ、水域と影領域の混同、非影領域の誤検出などの問題がある中で、従来の方法と比較して平均の検出精度が94％を持つ優れた影検出結果を達成し、特に水域の識別や小さな影領域の正確な検出、非影領域の混同を改善した
【技術や方法のポイントはどこ？】
・Gaofen-1、Gaofen-2、WorldView-3 衛星が画像を利用
・RGBカラースペースの各成分（Red、Green、Blue）におけるスペクトル値を比較することにより、影領域と水域のスペクトル特性の違いを調査し、影領域と水域の特性がRGBバンド間でどのように変化するかを分析
・NDWIを用いて、画像内の水域を検出し、MWI（mixed water index） にて水域範囲を更に強調
・MSDI（Mixed Shadow Detection Index）を使って、各ピクセルに対して新しい値を計算
・MSDIによって得られた指数マップを、histogram valley thresholding methodを使用して2つのカテゴリ（影領域と非影領域）に分ける
・影の検出が行われた後、形態学的操作（開操作や閉操作）を適用して、影領域の検出精度を更に高める
【議論の内容・結果は？】
・MDSI以外の影検出手法として、LSI（影領域の明るさと非影領域の明るさの比を用いて影を検出する指標）、NSVDI（影と植生の差を示す指標）、SI（影領域の反射率と非影領域の反射率の差を用いて影を検出する指標）、SRI（影領域の反射率と非影領域の反射率の比を用いて影を検出する指標）、MC3（光の吸収と散乱に基づいて影を検出する指標）、LNMPSI（影領域の明るさと非影領域の明るさの差の対数を用いて影を検出する指標）と比較
・様々なケースでの影検出の精度データを比較すると、MSDIが全体精度およびKappa値において最も高い結果を示した
・また、誤検出率がもっとも低く、小さな影領域や混同しやすい非影領域の識別が効果的であることが示された
Flash flood detection and susceptibility mapping in the Monsoon period by integration of optical and radar satellite imagery using an improvement of a sequential ensemble algorithm
【どういう論文？】
・洪水被害を軽減する手法として、Bacterial Foraging Optimization (BFO), Cuckoo Search (CS), Artificial Bee Colony (ABC)という3つのSwarm-basedのアルゴリズムを用いて、勾配ブースティング（XGBoost）モデルを開発する研究論文
【先行研究と比べてどこがすごい？】
・先行研究では一般的にXGBoostアルゴリズムが使用されていたが、本研究ではXGBoostアルゴリズムにSwarm-basedのアルゴリズム（BFO、CS、ABC）を組み合わせる新しい手法を導入し、アルゴリズム同士の連携を通じてモデルの精度を向上させた
・先行研究では、光学もしくはSARデータのいずれかを利用していたのに対し、本研究では光学画像（Landsat-8）とレーダー画像（Sentinel-1）を統合して洪水モデリングに活用し、空間解像度や時間解像度の課題を克服し、より正確な洪水モデリングを可能とした
【技術や方法のポイントはどこ？】
①洪水検出
・過去に発生した洪水のデータをもとに、通常の状態と洪水状態の違いを見つけるための基準（ベースライン）を作る
・ベースラインとして選ばれた洪水データから、バックスキャッタ係数（地表や地形の特性を示すデータ）の平均値と標準偏差を計算し、通常の状態と異常な状態（洪水など）を区別するための指標として利用する
・バックスキャッタ係数の平均値と標準偏差を使用して、特定の時点でのバックスキャッタ係数の値の異常度を計算、更に、Zスコアという統計的な指標を使い、観測されたバックスキャッタ係数が平均からどれだけ外れているかを評価
・Landsat-8画像を用いて領域の最終的な特定
②洪水に影響を与える要因分析
・Frequency Ratio (FR) の利用：洪水関連要因の影響を評価するための手法
・多重共線性手法：要因間の相関がないことを確認するためにVariance Inflation Factor (VIF) を計算
・Particle Swarm Optimization (PSO) アルゴリズム：要因の重要度を推定
・Extreme Gradient Boosting (XGBoost) Algorithm：BFO、CS、ABCの3つのメタヒューリスティックアルゴリズムを使用してハイパーパラメータを最適化
・Bacterial Foraging Optimization (BFO) Algorithm：細菌の探索行動を模倣したアルゴリズムを使用して、要因の重要度を推定
・Cuckoo Search (CS) Algorithm：カッコウの探索行動を模倣したアルゴリズムを使用して、要因の重要度を推定
・Artificial Bee Colony (ABC) Algorithm：蜜蜂の餌探し行動を模倣したアルゴリズムを使用して、要因の重要度を推定
・最適化：XGBoostのハイパーパラメータを最適化するために3つのメタヒューリスティックアルゴリズムを使用、決定係数を最大化する最適な解を見つける
【議論の内容・結果は？】
・VIF値は全て10未満であり、要因間の共線性は存在しないことを確認した
・ROC曲線とAUC（真陽性率と偽陽性率をグラフ化するもので、AUCはROC曲線の下の面積を示す。AUCの値が高いほど、感受性マップの予測能力が高いことを示し、信頼性が高い）を使用して感受性マップの信頼性を評価し、XGBoost-CSモデルが最も高い精度（R2=0.903）を持つことが示された
SAFFNet: Self-Attention-Based Feature Fusion Network for Remote Sensing Few-Shot Scene Classification
【どういう論文？】
トレーニングデータセットでは取得できない新しい未知のクラスを分類する際に few-shot 学習方法を用いて、少数のラベル付きサンプルと大規模なトレーニングデータセット内の既知のクラスを使用して新しいカテゴリを認識する方法を研究する論文
【先行研究と比べてどこがすごい？】
・ディープラーニングは、タスク全体のプロセスを統合的に扱う「エンドツーエンドの特徴抽出」の利点を持っているが、リモートセンシング画像などテクスチャ特徴が豊富なデータの場合、限られた数の入力画像から有益なテクスチャの意味的特徴を効果的に抽出する特徴抽出器を開発することが求められる
・先行研究で使われてきたFPNは、複数の解像度の特徴マップを階層的に組み合わせて、画像内の異なるスケールの情報を統合することを可能にするが、特徴が高解像度から低解像度に伝播するときに情報が失われる可能性があった
・今回の手法では、Self-Attention Mechanismを使用して、ピラミッド特徴階層からの特徴の重要性に基づいて異なる解像度の特徴を自動的に選択し、最終的な判断に使用
・また、異なるフィルターを持つさまざまな解像度の特徴を抽出し、それらをスタックした特徴マップとして保持することで、さまざまな特徴の情報が重複せずに、効果的に抽出することを可能とした
【技術や方法のポイントはどこ？】
Self-Attention Mechanismに基づく特徴フュージョンネットワーク（SAFFNet）
・SAFFNetは以下の2つの主要なモジュールから構成される
マルチスケール特徴生成（MFG）モジュール： 畳み込みニューラルネットワーク（CNN）を用いてマルチスケール特徴を抽出する。これらの特徴量を精緻化するために、チャンネルごとのアノテーションが適用される。
Self-Attention特徴選択（SAFS）モジュール：Self-Attentionを適用して、連結されたマルチスケール特徴から有益な特徴を選択する
・学習：大量のデータを用いて、例えばResNetなどの初期のネットワーク（バックボーンモデル）を訓練する。これにより、画像の基本的な特徴が学習される。その後、新しいクラスに対する学習では、最初のバックボーンモデルを固定し、分類器のみを調整する。新しいクラスのラベル付き例を使って分類器を適応させる。バックボーンは一般的な特徴を保持し、分類器は新しいクラスの特徴を学習する。
・予測：まずクエリ画像を入力として受け取る。クエリ画像からの特徴を抽出し、サポートセットの特徴と比較し、類似性尺度を使用して、サポートセットの特徴との類似度を計算する。最も類似したサポートセットの特徴に関連付けられたクラスラベルを、クエリ画像の予測クラスラベルとして採用する
【議論の内容・結果は？】
・SAFFNetは少数の訓練サンプルを使用して、リモートセンシング画像のfew-shot分類の精度を大幅に向上させることを示した
・モデルは他のfew-shot手法および多スケール特徴フュージョンの手法と比較しても優れた性能を発揮する
・将来的な展望として、GANベースのアルゴリズムや半教師あり学習手法の適用、効率的なCNNアーキテクチャの検討が挙げられる
以上、2023年7月に公開された論文をピックアップして紹介しました。
皆様の業務や趣味を考えた時に、ピンとくる衛星データ利活用に関する話題はありましたか？
最後に、#MonthlySatDataNewsのタグをつけてTwitterに投稿された全ての論文をご紹介します。
Textural Noise Correction for Sentinel-1 TOPSAR Cross-Polarization Channel Images
Approach of SAR images simulations for target interpretations
SAR Automatic Target Recognition Using Joint Low-Rank and Sparse Multiview Denoising
Tree Species Classification of Forest Stands Using Multisource Remote Sensing Data
来月以降も「#MonthlySatDataNews」を続けていきますので、お楽しみに！
