宙畑の新連載「#MonthlySatDataNews」では、前月に公開された衛星データの利活用に関する論文やニュースをピックアップして紹介します。

実は、本記事を制作するために、これは！と思った論文やニュースをTwitter上で「#MonthlySatDataNews」をつけて備忘録として宙畑編集部メンバーが投稿していました。宙畑読者のみなさまも是非ご参加いただけますと幸いです。

2023年12月の「#MonthlySatDataNews」を投稿いただいたのは2人でした！

高解像度リモートセンシング画像用にチューニングされた画像言語モデルであるGeoChatを提案。
リモートセンシング画像用のデータセットを作成し、既存の画像言語モデルであるLLaVA-1.5をファインチューニングすることで実現。

▼ arXivhttps://t.co/5uhDiiohrj

#MonthlySatDataNews pic.twitter.com/2TzgJ7D5rf

— ぴっかりん (@ra0kley) December 5, 2023

Intelligent identification of landslides in loess areas based on the improved YOLO algorithm: a case study of loess landslides in Baoji City https://t.co/2x0nMPtzql #MonthlySatDataNews
YOLOモデルを使って黄土地域の地滑り検出の試み，検出精度は94.29%，再現率は91.67%だったとのこと

— たなこう (@octobersky_031) December 4, 2023

それではさっそく2023年12月の論文を紹介します。

Oilfield Reservoir Parameter Inversion Based on 2D Ground Deformation Measurements Acquired by a Time-Series MSBAS-InSAR Method

【どういう論文？】
・本論文は、中国の西部チベット高原の盆地に位置する油田において、地上変形のモニタリングと油田貯留層のパラメータ逆解析を行う研究である
・石油は主要なエネルギー源だが、油田の抽出作業は地上の沈下だけでなく、液体注入による地盤の隆起をもたらすことがあり、油田の生産設備を損傷するだけでなく、建物、鉄道、道路など周辺のインフラの安全性にも影響を与える

【技術や方法のポイントはどこ？】
①2021年1月から2022年12月にかけて収集されたSentinel-1A衛星のSAR画像を使用し、MSBAS-InSAR技術を適用して、垂直および東西方向の地上変形測定を取得する

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
※InSAR技術には大枠として以下の種類がある
・PS-InSAR：安定した反射点を用いて長期間の微小変形をモニタリングする。都市部などで効果的だが、地表が変化しやすい地域では制限がある
・SBAS-InSAR：短い時間間隔の画像を使用して地上変形の時間系列を抽出する。短期間で広範囲の変形を検出するのに適している
・DS-InSAR：​​不規則に分布しているレーダー反射点を利用して、PS-InSARよりも多様な地表条件で変形を検出
・MSBAS-InSAR：昇降軌道のデータを組み合わせて2次元または3次元の変形の時間系列を提供する。垂直と水平方向の両方の変形を明らかにしてより詳細な分析を可能とする
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

②MSBAS-InSARのプロセスは以下の通りである
・上昇軌道と下降軌道のデータに対するD-InSAR処理を行う
（衛星は地球を異なる方向から撮影する（上昇軌道と下降軌道）。D-InSAR（差分干渉合成開口レーダー）処理は、これらの画像を比較し、時間経過とともに起こった地表の変化（変形）を検出する）
・干渉画像の地理的コード化とリサンプリングを行う
（上記で得られた干渉画像を、地球の表面と一致するように地理的にコード化（地理座標系への変換）する。これにより、画像上の特定の点が実際の地表のどの位置に対応するかが判明する。画像は統一したグリッドサイズにリサンプリングし、全てのデータを同じスケールと解像度に揃える）
・時間的マトリックスの作成と一貫性のない画素の除去
（時間的マトリックスは、異なる時間点での地表の変形データを整理したものである。これにより、時間軸の変形の変化を把握できる。一貫性のない、つまり信頼性が低いまたは誤ったデータを含む画素は除去する）
・特異値分解（SVD）と数値積分を行う
（特異値分解（SVD）は、画像データから最も重要な特徴を抽出する数学的手法であり、これにより、各画素の2次元変形率（垂直および水平方向の変化率）を計算する。その後、数値積分を用いて得られた変形率から時間を通じての変形の全体的なパターン（時間系列）が再構築する）

③有限長楕円体モデルと傾斜ダイクモデルの実行
・地下の貯留層を楕円形の構造または傾斜した壁のような構造としてモデル化する

④非線形ベイジアン逆解析法の実行
・地表の変形データ（MSBAS-InSARで得られた2Dデータ）を用いて、地下の貯留層の特性を推定する
・マルコフ連鎖モンテカルロ法というランダムサンプリングの手法を使用して、観測データに基づいて最も可能性の高い貯留層のパラメータを見つける

【議論の内容・結果は？】
・GCG油田とYSS油田では、最大48mm/年の地上隆起と東西方向の変形が観測された
・HTG油田では、最大12mm/年の不均一な地上沈下が観測されたが、顕著な水平変位はなかった

・矩形変位面源と傾斜楕円体源という二重源モデルを用いて逆解析を行い、より複雑な地下構造を明らかにした（実際のデータとの高いフィット度を示した）

Remote Sensing Image Retrieval Algorithm for Dense Data

【どういう論文？】
・本論文は、従来の検索プラットフォームの大量のデータから最適なデータセットを選出することが困難、また冗長なデータが選ばれがちであるという問題に対処するべく、DD-RSIRA（Dense Data Remote Sensing Image Retrieval Algorithm）を提案する
・本アルゴリズムは、撮影時間、雲のカバレッジ、画像カバレッジに基づく評価指標を用いて、GreedyアルゴリズムとLocal Searchを組み合わせて最適な画像セットを選択する

【技術や方法のポイントはどこ？】
①フィルタリング条件の適用
・フィルタリング条件（地域の範囲、衛星センサータイプ、撮影時間、雲のカバレッジ）に基づき、リモートセンシング画像データベースから候補データセットを選択する
②データ正規化
・各指標（雲の量、撮影時間、カバレッジ）を0から1の範囲に正規化（𝑋𝑛𝑜𝑚 = (𝑋 − 𝑋𝑚𝑖𝑛) / (𝑋𝑚𝑎𝑥 − 𝑋𝑚𝑖𝑛)）し、異なるスケールのデータを比較可能にする
③グローバルグリッドの活用
・衛星データ（画像）とグリッドセル間の空間関係を導出するため、グローバルグリッドを使用し、各画像とそのカバーする領域（グリッド）の関係を明確にする
④Greedyアルゴリズムの適用
・Greedyアルゴリズムを用いて、カバーすべき各グリッド（要素）に対して最小コストのサブセット（画像）を選択し、初期解を求める（「最小コスト」とは、正規化された指標に基づく画像の選択に伴う相対的なコスト）
⑤ローカルサーチの実施
・加算コスト（𝐶𝑎𝑑𝑑）と削除コスト（𝐶𝑟𝑚）という、新たに画像を追加する際のコストと、既存の画像を取り除く際のコストの計算を通じて、結果セットRを最適化する
・サブセット（画像）の追加は、未カバーのグリッドをカバーするために行われ、削除は重複または不要な画像を取り除くことで冗長性を減らすために行う
・このプロセスは、すべてのグリッドがカバーされるか、設定された終了条件（例：50回の反復で最適コストが一定）が満たた時点で終了する
・本ローカルサーチで得られた最適な結果セットRが最終的な出力となる（指定された条件をカバーする最適な衛星画像となる）

【議論の内容・結果は？】
・DD-RSIRAは、グリッドベース選択法やGreedyアルゴリズムのみの場合と比較して、結果セットの数は最適化され、画像の分布密度が低減し、データの重複が少なくなり、画像の利用効率が向上した

Automated High-Resolution Bathymetry from Sentinel-1 SAR Images in Deeper Nearshore Coastal Waters in Eastern Florida

【どういう論文？】
・本論文では、SARを使ってフロリダ沿岸の深い水域の高解像度水深マップを作成し、新しい波長抽出技術を用いた効率的な自動化モデルを提案する
（電波は光と異なり、水の濁りに影響されずに反射するため、SARは濁った水域や視界が悪い条件下でも地表や海の表面を正確に観測できる）

【技術や方法のポイントはどこ？】
①SARによる海洋撮影
・海波はSARによるマイクロ波の後方散乱に必要であり、20°から60°の入射角で効果的に機能する
・海波への入射角が20°から60°の範囲で後方散乱の主要メカニズムが適切に機能する
②変調メカニズム
・SARによる海波の撮影は、傾斜変調、流体力学的変調（波が水圧の変化を引き起こし、それがさらにSAR信号に変調を加えるプロセス）、および速度分岐変調の3つのメカニズムによって制御される
・特に速度分岐変調は、SAR衛星に対する波の相対的な運動によって発生する
③方位角カットオフ波長
・SARが方位角進行波（SARと平行の海波）のうねりを検出するためのしきい値波長である
・波がSARに対して相対的な速度を持つため、特にDoppler shiftに影響される
④波長・波の方向・線形分散関係の計算
・FFTにより抽出された波長と波周期は、海底の形状に影響されるため、これらを用いて水深を推定する
・SARデータの特定の部分に2次元FFTを適用し、画像スペクトルを抽出する
（SARは悪天候や夜間でも海面を観測できるため、水深マッピングに有効）
・スペクトル上での対称的なピークを特定し、それらから波長と波の方向を計算する
・最終的に得られた波長と波周期を用いて、線形分散関係を基に水深を計算する

【議論の内容・結果は？】
①波長推定のためのパラメータ最適化
・等高線レベル（高速フーリエ変換出力における周波数の強度を視覚的に示す線）の最適な結果を得るために、等高線の数を調整し、最適な数は20と判定された
・高強度ブロブ（高速フーリエ変換出力において特に強い信号を示す領域）を隔離するための閾値（最小限の強度）を、原点に近く、最大のブロブに属する重心が最適と判定して設定した

・波長は沖合の開かれた海では大きく、沿岸に近づくにつれて小さくなる傾向があった（浅水波が屈折して発生する小さな波長によるものと考えられる）

・SAR画像を使用して得られた深度は、参照データとよく一致しており、特に60m以下の深度で地域的な深度変動がよく再現されている

・現在のFFT分析を使用したSAR海底推定の最良の解像度は320 m~500 mだったが、本研究では深い沿岸地域で50 mの解像度を実現した（多くのFFTベースのSAR海底推定研究では、支配的な波長を決定する際にピーク位置の派生に関する分析が不十分だったが、本研究で提案されたアプローチは、ピーク周波数強度位置の決定における不明瞭さと分析の不足を解消した）
・Sentinel-1 SAR画像は、深い沿岸地域での高分解能海底推定において一貫した高精度と高解像度を提供する

Estimating Fine Fuel Load Using Sentinel-2A Imagery and Machine Learning: A Case Study in the Mountainous Forests of Changsha, China

【どういう論文？】
・本論文では、森林火災のリスクを評価するための燃料負荷（FFL）の推定に関して、低コストで広範囲の観測が可能なSentinel-2衛星画像と、効率的なランダム畳み込みに基づく機械学習アプローチを採用した、より低コストかつ大規模なFFLの推定とマッピング手法を提案する

【技術や方法のポイントはどこ？】
①衛星データの活用

・Sentinel-2からの複数のスペクトルバンドを含む画像データを使用する
・植生指数（NDVI、NDWI、NDMI）を利用して、植物の健康状態や水分含有量などを推定し、これらがFFLと関連している可能性がある地域を特定する
②ランダム畳み込みアルゴリズムによる特徴抽出
・画像データセットからランダムに選ばれた畳み込みカーネルを使用して、画像から多様な特徴を抽出する
③機械学習モデルによるFFL推定
・抽出された特徴を基に、Random Forest、SVM、Ridge Regression、Lasso Regressionなどの機械学習モデルを用いてFFLを推定する

【議論の内容・結果は？】
・NDVIを使用したFFL 推定では、RFモデルが最も高い予測能力を示した
・NDWIでは、R2が0.427、Rが0.67で最高のパフォーマンスを達成した
（地表レベルでの可燃性物質の存在との有意な相関関係を示唆している）
・NDMIも有効で、R2は0.386、Rは0.624であった
・しかし、NDVIは有効性に遅れがあり、森林植生の下層での可燃物の蓄積と有意な相関関係がない可能性があることを示した
・NDVI は通常、林床の微細な燃料物質の指標ではなく、植生の健全性と密度の尺度です。 これらの発見に基づいて、研究では、RF モデルと併用すると NDWI が FFL 推定により適した指標であると結論付け、FFL マップの生成に RF と NDWI を採用する決定に繋がった
・カーネルサイズが小さいほど（特に2×2ピクセルと4×4ピクセル）、FFLの推定においてより良い結果が得られることがわかった

SSCNet: A Spectrum-Space Collaborative Network for Semantic Segmentation of Remote Sensing Images

【どういう論文？】
・セマンティックセグメンテーションは、画像内の各ピクセルにそれが何を示しているのか（例えば道路、建物、植物など）を識別する技術だが、従来の方法では、このプロセスにおいて画像の「空間的」な側面（つまり、物体の形や位置など）に重点を置いてたものの、それだけでは十分な精度が得られないことがあった
・本論文では、画像の「空間的」な側面に加えて、「スペクトル」（光の波長や色など）の情報も利用することで、より精度の高いセグメンテーションを目的とするSSCNet（Spectrum-Space Collaborative Network）という手法を提案する

【技術や方法のポイントはどこ？】
①スペクトル-空間アテンション分析（JSSA）
・特徴マップを周波数ドメインに変換し、スペクトル特性を分析する
・これにより、画像内の異なる物体やテクスチャが持つ光の波長の違いを捉える
・各画像位置にセルフアテンションを適用し、空間的な文脈を明確に理解することで、物体の位置や形状の関係を高精度に把握し、精度の高いセグメンテーションを行う
②アテンション融合
・スペクトルと空間情報のアテンションマップを結合し、両方を考慮した統合アテンションマップを生成する
・ここの統合マップを利用することで、画像のセグメンテーション時に空間的な配置とスペクトル的な特性の両方を考慮し、より正確なクラス予測を行う

【議論の内容・結果は？】
・SSCNetは、ISPRSというデータセットにおいて、U-Net、DeepLabV3+、CBAM、ResUNet-a、HCANetなどの他の方法のパフォーマスを上回った
・特に、建物、木、車のカテゴリーで、それぞれ97.16%、91.41%、93.26%のF1スコアを記録した

・LoveDAデータセットでは、SSCNetはベースラインモデルを大部分のクラスで一貫して上回り、特に水、不毛地、農業のクラスで91.10%、56.66%、85.35%のF1スコアを達成した
・SSCNetは、様々な風景に対して優れたパフォーマンスを示し、多様な土地被覆タイプの大規模な衛星画像セグメンテーションにおけるその堅牢性と適応性を示唆した

・スペクトルアテンションモジュールを省略した場合、ISPRSとLoveDAの両データセットでのパフォーマンス指標が著しく低下した

GeoChat: Grounded Large Vision-Language Model for Remote Sensing

【どういう論文？】
・本論文は、衛星画像に特化した新しい大規模言語モデル（VLM）、「GeoChat」に関する論文である
・GeoChatは画像内の特定の地域や部分（例えば、画像内の特定の建物や地形））に関しても対話を行うことができる
・また、対話の中で特定の物体や地点を空間座標を用いて特定し、それを視覚的に示すことができる

【技術や方法のポイントはどこ？】
◾️GeoChatのアーキテクチャ
①グローバル画像エンコーダー
・CLIP-ViT(L-14)という、テキストと画像データを組み合わせて訓練された、画像から有意義な特徴を抽出するためのモデルを使用する
・本エンコーダーは、画像を576個の小さなセグメント（パッチ）に分割し、それぞれのパッチから情報を抽出する
・画像解像度は元々336×336ピクセルだが、衛星画像の詳細を捉えるために、504×504ピクセルに拡大しパッチ数を1296に増やす
②多層パーセプトロン（MLP）アダプター
・CLIP-ViTからの出力（視覚データの特徴）を言語モデルが理解できる形に変換する役割を果たす
・基本的には、画像データと言語データの間の橋渡しをするコンポーネントである
・本アダプターは1024次元の入力を受け取り、4096次元の出力を生成する
・上記の変換過程でGeLU（Gaussian Error Linear Unit）と呼ばれる活性化関数を使用する
③大規模言語モデル (LLM)

・Vicuna-v1.5(7B)という、多様なテキスト入力に基づいて訓練された大規模な言語モデルを使用し、視覚データと組み合わせたテキスト応答を生成する

◾️LoRAを用いたLLMの微調整
・LoRA（Low-Rank Adaptation）という、大規模なモデルのパラメータを効率的に微調整するための手法を利用する
・具体的には、事前訓練されたモデルの重要なパラメータを特定のランクに制限して調整する

【議論の内容・結果は？】
・モデルが事前に訓練データで見たことのないクラス（シーンのカテゴリー）を正確に分類する能力を測定する指標において、GeoChatは、UCMercedデータセットで84.43％、AID データセットで72.03％の高いゼロショット精度を達成した
・視覚質問回答タスク用のデータセットにおいて、GeoChatは他のモデルに比べて平均精度が3.9％向上した

Remote Sensing and Analysis of Tropical Cyclones: Current and Emerging Satellite Sensors

【どういう論文？】
・本論文はSARセンサや散乱計、マイクロ波サウンダーなどの衛星センサーなどを使った熱帯サイクロンの微細構造、風場、時間的進化を観測することに関する最近の進展などを報告する

【現在の利用されている主なセンサーは？】
①SAR (Synthetic Aperture Radars)
・極めて高解像度で海面を直接観測することができるため、熱帯サイクロンに関する重要な情報源となる
・Cバンドのマイクロ波レーダーを送信し、反射された信号の振幅と位相を記録することで、レーダー後方散乱の高解像度2D画像を生成する
・Sentinel-1やRADARSAT-2などが熱帯サイクロンの詳細を観測している
・また、風の最大速度や最大風半径などのサイクロンの重要なパラメーターの決定にも役立つ

②L-band Radiometers: SMAP/SMOS
・強い風速でも感度を失わず、雨による影響も少ないため、最大70m/sの風を観測できる
・SMAPとSMOSは空間解像度は低いものの、非常に広い観測範囲（約1000km）を持つ
・SMAPとSMOSからのデータは、熱帯サイクロンの強度分析に広く使用されている

③C/X-band Radiometers: AMSR2 TC-winds
・AMSR-2は、熱帯サイクロン専用の新しいアルゴリズムを使用している
・CバンドとXバンドのチャンネルを組み合わせて、嵐における雨の影響を除去する

④Scatterometers
・CバンドとKuバンドの散乱計は、海面の風向風速を提供するため、熱帯サイクロンの発達段階を捉えるのに役立つ
・ASCATやHY2A散乱計などが、熱帯サイクロンの位置や強度、構造の分析に使用されている

⑤Microwave Imagers/Sounders
・SSMIS、GMI、AMSR2などのマイクロ波イメージャーは、熱帯サイクロンの位置や構造の分析に有用である
・サイクロンの中心、雲のパターン、などを明確に識別できる

⑥Geostationary sensors
・新しい世代の静止衛星（Himawari-8、GOES-16、Meteosat-9など）は熱帯サイクロンの迅速な変化を監視している

⑦Aeolus, wind profiler lidar
・Aeolusは、Doppler Wind Lidar（光（レーザー）を大気に向けて発射し、その光が大気中の粒子に反射されて戻ってくる際のドップラー効果（光の周波数の変化）を利用して、風の速度と方向を測定する技術）を採用しており、水平方向の風のベクトル成分の情報を取得することができる

⑧GNSS Reflectometry: CYGNSS
・CYGNSSは、GNSSネットワークを利用して海面風を測定する新しい手法である

⑨Small and Cube Satellites
・TROPICSやCOWVRなどのキューブサットは、高コストのGEO/LEO衛星センサーの代替として有効で、熱帯サイクロンの監視に利用されている

【各機関が利用している衛星・センサーは？？】
①Joint Typhoon Warning Center (JTWC)
・2019年から合成開口レーダー（SAR）データを熱帯サイクロン（TC）の強度推定に利用している
・JTWCはまた、SMAPやSMOSデータも利用し、これらのセンサーによるデータが65ノットを超えるサイクロンの風速に対して高い精度を持つことを確認している
・さらに最近、短波赤外線と夜間可視光線の複数のチャンネルまたはプロキシを利用することで、夜間の可視画像に近い衛星画像を作成する新技術ProxyVisを導入した

②National Hurricane Center (NHC)
・新世代のGOES衛星（GOES-16および-18）の使用を開始した
・夜間の可視画像に近い衛星画像を作成する新技術ProxyVisを導入した

③Bureau of Meteorology, Australia (BoM)
・Dvorak技術やADT（Advanced Dvorak Technique）、SATCON（Satellite Consensus）などの伝統的な手法がうまく機能しない状況（例えば、熱帯サイクロンが形成され始めたときや、目が覆われて見えないとなど）において、以下のセンサーを組みわせることでサイクロンを補足する
– ASCAT（Advanced Scatterometer）: Cバンドの散乱計であり、海面の風速と風向を測定する
-HSCAT-Bおよび-C：海面の風を測定する散乱計であり、さまざまな周波数帯を利用して風を観測する
-SMAP（Soil Moisture Active Passive）：Lバンドの放射計であり、雨や強風による影響を受けにくいため、熱帯サイクロンの中でも信頼性の高い風速データを提供することができる
-SMOS（Soil Moisture and Ocean Salinity）：Lバンドの放射計であり、SMAPと同様に海面風を観測する
-AMSR2（Advanced Microwave Scanning Radiometer 2）：CバンドとXバンドの放射計を利用し、特に熱帯サイクロンに特化した風速データを提供する

④Japan Meteorological Agency (JMA)
・Himawari-8からの大気運動ベクトル（AMV）を利用する
・Himawari-8のRGB合成画像を活用して中・上層大気の湿潤・乾燥領域を観測する

Performance evaluation of HY-2 series satellites in marine gravity field recovery

【どういう論文？】
・本論文は、Haiyang-2（HY-2）シリーズの衛星を使用した海洋重力場の調査における、HY-2A/HY-2B/HY-2C/HY-2Dの各衛星の性能を評価した
・海面高度の交差差、垂直偏差、重力異常の計算を行うことで性能を評価した

【技術や方法のポイントはどこ？】
①利用するデータは以下の通りである

・衛星から参照楕円体までの距離（altitude）と衛星から海面までの距離（range）を測定する
・上記の距離から、様々な環境因子による誤差を補正することで海面の高さ（SSH）を算出する
・海面高さ（SSH）からジオイド高（地球の理想的な物理的形状）を推定する
・ジオイド高から垂直偏差（実際のジオイド表面が理想的な楕円体形状からどれだけずれているか）を計算する・最後に、垂直偏差から重力異常（地球の重力が平均的な値からどれだけ逸脱しているか）を計算する

【議論の内容・結果は？】
・衛星の上昇軌道と下降軌道が交差する点での海面高さの測定値には、理論的には差が存在しないはずだが、実際には測定誤差や環境要因により、それらの値にはクロスオーバー不一致という差違が生じる
・上記の不一致を分析することで、衛星データの品質や精度を評価することができる
・以下のグラフの通り、HY-2B/ERMデータのクロスオーバー不一致のRMS（平均二乗平方）が最も低く、HY-2DはHY-2Cよりも若干優れている

・また、全HY-2衛星データを組み合わせることで、HY-2A単独よりも0.3 mGal高精度な海洋重力場を得ることができ、精度は2.55から3.21 mGalの範囲になった（mGal：1mGalは地球の重力加速度の1千分の1を表す単位であり、非常に小さな重力の変動を検出するために使われる単位である）

以上、2023年12月に公開された論文をピックアップして紹介しました。
皆様の業務や趣味を考えた時に、ピンとくる衛星データ利活用に関する話題はありましたか？

来月以降も「#MonthlySatDataNews」を続けていきますので、お楽しみに！