宙畑の新連載「#MonthlySatDataNews」では、前月に公開された衛星データの利活用に関する論文やニュースをピックアップして紹介します。

実は、本記事を制作するために、これは！と思った論文やニュースをTwitter上で「#MonthlySatDataNews」をつけて備忘録として宙畑編集部メンバーが投稿していました。宙畑読者のみなさまも是非ご参加いただけますと幸いです。

2024年6月の「#MonthlySatDataNews」を投稿いただいたのはこの方でした！

The geospatial modeling of vegetation carbon storage analysis in Google earth engine using machine learning techniques #MonthlySatDataNews

炭素貯留の空間的および時間的変動を詳細に解析し、土地利用と土地被覆の変化が炭素貯留に与える影響を評価 https://t.co/8sv3vM41qD

— たなこう (@octobersky_031) June 30, 2024

それではさっそく2024年6月の論文を紹介します。

Groundwater Storage Variations across Climate Zones from Southern Poland to Arctic Sweden: Comparing GRACE-GLDAS Models with Well Data

【どういう論文？】
・本論文は、ポーランドからスウェーデンの北極圏に至る、異なる気候帯における地下水レベルの変動を、井戸での直接観測とGRACE衛星とGLDASモデルを用いた地下水貯留異常（GWSA）の計算結果を比較して評価することを目的とする

【技術や方法のポイントはどこ？】
◾️前提
①GRACEミッション
・GRACE（Gravity Recovery and Climate Experiment）ミッションは、重力の微小な変動を測定することによって地球全体の総水貯蔵異常を計測する
・総水貯蔵異常は、地下水貯蔵（地下に存在する水の量）、土壌水分（土壌中の水分）、積雪水当量（積雪に含まれる水分）、植生水分（植物が保持する水分）を含む総体的な水量の変化を示す

②GLDASモデル
・GLDAS（Global Land Data Assimilation System）は、NASAとアメリカ海洋大気庁の共同プロジェクトであり、衛星観測と地上観測を統合して地表面の水分動態をシミュレートするためのモデルである

◾️実験手法
①総水貯蔵異常（TWSA）の取得
[GRACE衛星観測のデータ取得]
・GRACE衛星およびその後継機であるGRACE-FOのデータを使用する
・基準データ（全球データ）として2004年から2009年における総水貯蔵量の平均値、対象地域データ（ポーランド・スウェーデン）に関しては2002年〜2022年の分の総水貯蔵量を取得する

[GLDASモデルのデータ取得]
・GLDASモデル（NOAHおよびCLMモデル）を使用して、2002年~2022年における、土壌水分（SM）、積雪水当量（SWE）、および植生水分（BM）のデータを取得する

[データの平均値との差し引きによる総水貯蔵異常（TWSA）の計算]
・研究対象地域の各月の総水貯蔵量から、2004年から2009年の基準平均値を引くことで、各月の総水貯蔵異常（TWSA）を計算する

②地下水貯蔵異常（GWSA）の計算
[総水貯蔵異常からの他成分の差し引き]
・総水貯蔵異常（TWSA）から地下水貯蔵異常（GWSA）を算出するために、以下の他の水成分の影響を差し引く
– 土壌水分（SMA）：土壌に含まれる水分量の変動
– 積雪水当量（SWEA）：積雪に含まれる水分量の変動
– 植生水分（BMA）：植生に保持される水分量の変動

[地下水の変動のみを抽出]
・上記の成分を正確に差し引くことで、地下水の変動のみを抽出する

【議論の内容・結果は？】
◾️前提
①WELL_GWLA
・WELL: 井戸（観測井戸）
・GWLA: Groundwater Level Anomaly（地下水レベル異常値）
・井戸観測によって得られた地下水レベルの異常値を指す

②CSR_CLM_GWSA
・CSR: Center for Space Research（宇宙研究センター）
・CLM: Community Land Model（コミュニティランドモデル）
・GWSA: Groundwater Storage Anomaly（地下水貯蔵異常値）
・CSRによって計算されたCLMモデルを使用した地下水貯蔵異常値を指す

③JPL_NOAH_GWSA:
・JPL: Jet Propulsion Laboratory（ジェット推進研究所）
・NOAH: Noah Land Surface Model（ノアランドサーフェスモデル）
・GWSA: Groundwater Storage Anomaly（地下水貯蔵異常値）
・JPLによって計算されたNOAHモデルを使用した地下水貯蔵異常値を指す

◾️ポーランドの結果
①井戸観測値とモデル値の比較
・井戸観測データ（WELL_GWLA）の変動幅は、モデル計算による地下水貯蔵異常値（CSR_CLM_GWSAおよびJPL_NOAH_GWSA）の変動幅よりも大きい

②相関関係
・CSR_CLM_GWSAとWELL_GWLAの相関係数は約0.8であり、高い同期性を示している
・一方、JPL_NOAH_GWSAとWELL_GWLAの間には3～4ヶ月のシフトが見られ、同期性が低いことが示されている
・つまり、モデル間の不一致の主な原因は、GRACEデータ自体ではなく、GLDAS NOAHモデルによる補正の違いと考えることができる

◾️スウェーデンの結果
①井戸の観測値とモデル値の比較
・スウェーデンでも、WELL_GWLAの値範囲はCSR_CLM_GWSAの値範囲よりも大きい
・ただし、CSR_CLM_GWSAとWELL_GWLAの一致は南部スウェーデン（Region 3,4）ではポーランドと同様に良好だが、北部スウェーデン（Region 1,2）では不良である
・仮説原因としては、（北部スウェーデンの）地表の霜や永久凍土による浸透遮断が存在する条件下では、地下水レベルの動態と季節性を正確に表現できない（衛星データで観測できない）と考えられる

#地下水 #GRACE #GLDAS #地下水貯留異常 #GWSA

Spectral enhancement of PlanetScope using Sentinal-2 images to estimate soybean yield and seed composition

【どういう論文？】
・本論文は、大豆の収穫量と種子成分を推定するために、PlanetScopeの高空間分解能とSentinel-2の高スペクトル分解能を統合する新しいスペクトルフュージョン技術「マルチヘッドカーネルベーススペクトルフュージョン（MKSF）」を提案する

【技術や方法のポイントはどこ？】
◾️先行研究の課題
①空間解像度の問題
・ Sentinel-2は高いスペクトル分解能と時間分解能を持つが、空間解像度が10〜20メートルと低いため、小規模な植生変化を検出する能力に限界がある

②スペクトル帯域の不足
・PlanetScopeは3メートルという高い空間解像度を持ちながらも、使用できるスペクトル帯域が限られている（青、緑、赤、近赤外の4バンドのみ）
・上記により、植物の水分状態や成長段階を理解するのに重要な可視近赤外（VNIR）や短波赤外（SWIR）領域の詳細な分析ができない

③データフュージョン技術の課題
・ 伝統的なデータフュージョン技術（IHS変換、PCA、Brovey変換など）では、高解像度画像と低解像度のマルチスペクトル画像を組み合わせることはできるものの、プロットレベル（作物が植えられている数メートル四方の小区画）ごとでの正確な情報を得ることが難しかった
・また、ディープラーニングを用いた融合技術も高い計算コストや、異なるデータソースの特徴を適切に統合できない問題がある

◾️実験対象
①ミズーリ大学コロンビア校 H1G地区
・プロット数: 91プロット
・畑の大きさ: 77m × 65m
・列間隔: 38cmまたは76cm

②ミズーリ大学コロンビア校 L2 地区
・プロット数: 191プロット
・畑の大きさ: 228m × 61m
・プロットの大きさ: 6.1m × 6.1m
・列間隔: 38cmまたは76cm

③栽培バリエーション
・主な品種は「Pana」、「Dwight」、および「AG3432」であり、非遺伝子組み換えの品種も含まれている

◾️使用データ
①フュージョンモデルの開発用
・使用衛星: Sentinel-2とPlanetScope
・データ収集時期: 7月、8月、9月
・目的: 作物の重要な生育期と生殖期を捉えるため7-9月を選択しており、広範な農業地域を訓練データセットとして使用した

②実験対象場所の詳細情報用
・データ収集時期: 播種後約15日から開始し、5日ごとに画像を取得

③現地データ収集
・収穫時期: 大豆の成熟時
・方法: 種子成分分析のために採取
・分析機器: DA 7250 NIRアナライザ（PerkinElmer社製）

◾️MKSF（マルチヘッドカーネルベーススペクトルフュージョン）の要素
①マルチヘッドアーキテクチャ
・複数の出力を同時に予測するマルチヘッドニューラルネットワークを採用している
・各スペクトルバンドが独自の予測モデルを持つのではなく、一つのネットワークが複数のバンドの特性を同時に学習し、予測する
（各出力ヘッドがPS画像におけるS2の特定のスペクトルバンドを予測するよう設計されている）
・本アプローチにより、ネットワークはバンド間の関係をより効果的に捉えられるようになる

②カーネルベースの特徴抽出
・カーネル法を用いて、画像の局所的な空間情報をキャプチャする
・本方法では、画像の小さな領域（カーネルウィンドウ）に対して畳み込みを行い、その結果をもとにPlanetScopeの高解像度画像とSentinel-2のスペクトル情報を融合する

【議論の内容・結果は？】
◾️種子成分データの解析
①成分の分布
・タンパク質、油、糖（スクロース）、灰分の成分はヒストグラムで示され、二峰性（bimodal pattern）の分布を示している
・これは、2つの異なるピーク、つまり2つの異なる集団や成熟段階を示唆している可能性がある
・繊維とデンプンはほぼ正規分布していると報告されており、正規分布は自然界や生物学的プロセスにおいて一般的な分布であり、一定の条件下で均一な特性を示す集団を反映している

②統計的な変動性
・タンパク質は、標準偏差が1.76と報告され、種子サンプル間でタンパク質含有量にかなりのばらつきがあることを示している
・油は標準偏差が1.60で、タンパク質ほどではないものの一定の変動があることが示されている
・タンパク質の最小値は36.1％、最大値は45.94％とされており、油の含有量は16.61％から25.39％の範囲にあるとされていて、個々のサンプル間の成分含有量の多様性を示している

◾️スペクトル知識
・VNIR（Visible Near-Infrared）バンド1 (705 nm)
・VNIRバンド2 (740 nm)
・VNIRバンド3 (783 nm)
・SWIR（Short-Wave Infrared）バンド1 (1610 nm)
・SWIRバンド2 (2190 nm)

◾️MKSFによる各バンドの予測性能
①VNIR（可視近赤外）バンド
・VNIR3が最も高い予測性能を示し、次いでVNIR2、VNIR1の順となった
（本バンドは植生の健康状態やクロロフィルの含量を反映する重要な指標である）

②SWIR（短波長赤外）バンド
・SWIR1とSWIR2は、VNIRバンドと比較して性能が劣ると報告されている
・特に高い値の予測において、実際の値を大幅に下回る結果が出ている
・上記理由としては、SWIRバンドが主に水分含量に敏感であるため、フュージョンプロセスでの精度が低下する可能性が考えられる

③予測課題
・特にVNIR1バンドで、反射率の実測値が0.2を超える高い値を予測できていないとの指摘がある
・上記問題はVNIR2とVNIR3にも見られるが程度は小さく、モデルが特定の範囲外の値に対して調整されていない可能性がある

◾️MKSFによってフュージョンしたデータを用いた大豆成分の推定結果
・四つの機械学習モデル（PLSR、SVR、RFR、GBR）の性能比較を行なった
・それぞれのモデルは大豆の種子成分（タンパク質、繊維、デンプン、糖質など）に関する予測を行い、異なる成長段階での性能を評価する
・糖質 (Sucrose): RFR（Random Forest Regressor）モデルが他のモデルよりも顕著に優れた性能を示し、成長日数(DAS)全体にわたって一貫して良い結果を示した
・収量 (Yield): RFRはDASの範囲においても一貫した性能（R² = 0.36〜0.49）を保ち、特に93 DAS（成長段階R4からR5）でピーク性能を達成した
・タンパク質 (Protein): 全体的に低い性能を示したものの、RFRは成長後期（108から118 DAS、R6段階）で比較的良い結果を示した
・多くのモデルで成長初期段階（18から33 DAS）では性能が低く、特定の段階で性能が向上する傾向が見られた
・これは成長段階によって植物の生理的特性が変化し、一部の成分が予測しやすくなるためと考えられる
・油 (Oil): 性能は初期に低かったものの、33 DASと53 DASでピークに達した
・灰分 (Ash): モデル間での性能のばらつきが最も少ない成分であり、ほとんどのモデルが似たような性能を示した
・繊維 (Fiber) とデンプン (Starch): これらの成分は予測が最も困難であり、モデルによる性能のばらつきも大きかった

#PlanetScope #Sentinel-2 #マルチヘッドカーネルベーススペクトルフュージョン #MKSF #VNIR #SWIR #IHS変換 #PCA #Brovey変換

A High-Resolution Digital Bathymetric Elevation Model Derived from ICESat-2 for Adam’s Bridge

【どういう論文？】
・本論文は、衛星画像から高解像度のデジタルバチメトリックエレベーション（水中地形の高さ）モデル（DBEM）を生成する手法を提案する

【技術や方法のポイントはどこ？】
◾️先行研究の課題
・主に船舶ソナーによる音響信号を利用して海底を測定していたが、浅瀬でのデータ取得は困難であり、信号の歪みが測定精度に影響を与える問題があった
・さらに、船舶による音響データが得られない地域が多く、データの欠如に繋がっていた
・従来の衛星派生のバチメトリック手法では、上記のデータ（問題）を補完するには不十分であり、特に詳細な地形の描出には限界があった

◾️データリソース
・ICESat-2の光子データが主要なデータソースとなる
・ICESat-2は非太陽同期軌道で運用されており、昼夜問わずデータ取得が可能である

◾️分析手法
①概要
・ICESat-2は、ATLAS（Advanced Topographic Laser Altimeter System）と呼ばれるセンサーを装備しており、532nmの緑色レーザーを10kHzで発振している
・本レーザーは六つのビームに分割され、それぞれが90m間隔で配置されている
・反射した光子は、地球（表面）上の高さや位置情報を提供する
・上記を使用してデジタルバチメトリックエレベーションモデル（DBEM）を生成する

②光子の反射と減衰係数 (Kd)
・ICESat-2から放出されるレーザー光は、水面で反射されるものが多いが、水の光学特性に応じて一部は水柱や海底からも戻ってくるため、水深を含む地形のデータを収集できる
・減衰係数 (Kd)は、光の波長に基づいて水中での光の減衰を示す係数であり、水の透明度を測定するために使用され、光が水中でどれだけ強く減衰するかを示す
・特にICESat-2のデータで海底を検出する際、Kd(490)が0.12 m^-1以下であることが望ましいとされている

③データ収集のタイミング
・太陽光による背景ノイズを避けるため、夜間にデータを収集することが推奨されている

④データの処理
・取得した光子データを、地上、水面、水柱、海底からの反射光と分類する
・DBSCANは、密度ベースのクラスタリング手法で、特定の範囲内に密集している点をクラスタとして識別し、孤立した点を外れ値として除外しつつ分類を可能にする
・光が水と空気の界面を通過する際に速度が変わるため、屈折補正を行う
・上記により、実際の海底からの距離を正確に算出することができ、デジタルバチメトリックモデルに反映できるようになる

【議論の内容・結果は？】
①データビジュアライゼーション
・図4aでは、ICESat-2からの光子データの一部が高解像度の衛星画像上にオーバーレイされている
・図4bは、CESat-2のデータから生成された2次元プロファイルを示しており、X軸はICESat-2の地上トラックに沿った緯度、Y軸は楕円体高（メートル）を表していて、地形の変化を詳細に観察することができる
・図4cは、海底と見なされる光子（実際の海底と屈折補正後の海底）の深さの違いを示しており、水の屈折率による影響を考慮した正確な海底の深さが計算されている

②質的評価
・GEBCOの450m解像度とGMRTの100m解像度のグリッドに比べ、ICESat-2を使用した10m解像度のDBEMがより高いディテールとリアルな地形表現を提供した
・上記により、アダムス・ブリッジの狭い水路や隆起したリッジが明瞭に観察され、他のデータセットでは見られない特徴が確認された

③量的評価
・DBEMの精度は、予約されたチェックポイントを用いてRMSEを計算することで測定した
・Table 2によると、逆距離加重（IDW）法を用いたDBEMが最も誤差が少なく（0.79m未満）、他の補間法よりも優れた結果を示した
・上記結果により、ICESat-2のデータから生成されたDBEMが高い信頼性を持つことを確認できた

#デジタルバチメトリックエレベーション #DBEM #船舶 #ICESat-2 #光子反射

Revolutionizing urban mapping: deep learning and data fusion strategies for accurate building footprint segmentation

【どういう論文？】
・本論文は、高解像度の航空写真と衛星画像から建物を精密に抽出するための新しいアプローチを提案する

【技術や方法のポイントはどこ？】
◾️先行研究との違い
・高解像度のRGBオルソモザイクとデジタル表面モデル（DSM）を組み合わせることで、単一の情報源からの高品質なデジタル標高モデルを作成し、追加のデータソースを必要とせずに精密な建物の足元抽出が可能とした
・DeepLabv3という先進的なディープラーニングアーキテクチャを採用することで、様々なスケールのコンテキスト情報を効率的に捉え、セグメンテーションの質を高めた

◾️データセット
①RGBオルソモザイク（可視光スペクトルの画像）
・赤、緑、青の3つのバンドを持ち、地上サンプリング解像度は25cm/ピクセルとなっている
②DSMレイヤーDSM（デジタル表面モデル）
・高さ情報が含まれており、解像度は50cm/ピクセルとなっている
・航空写真の立体測量プロセスを通じて導出され、建物の足元セグメント化において高さ情報を提供する

◾️データフュージョン
①概要
・RGBとDSMのオルソモザイクを組み合わせて、スペクトルと高さ情報を強化した4バンドの統合データセットを作成する
・本プロセスには、DSMレイヤーの解像度をRGBオルソモザイクと一致させるために最近隣法を使用してリサンプリングするステップ、クロッピング、スタッキング、そしてmin-max正規化が含まれる

②リサンプリング
・最近隣法を用いてDSMレイヤーの解像度をRGBオルソモザイクの解像度に合わせることを目的とする
・最近隣法とは、元のピクセルの値を新しいピクセルに直接コピーする最も単純な画像補間法の一つであり、画像のシャープネスを保つのに役立つ一方で、エッジのジャギー（デジタル画像において直線や曲線がギザギザに表示される現象）を発生させる可能性がある

③クロッピング
・RGBとDSMのオルソモザイクを同じ範囲とサイズに揃えることを目的とする
・RGBオルソモザイクを基準にして、DSMオルソモザイクを必要な範囲にクロップし、データの一貫性が保たれるようにする

④スタッキング
・RGBとDSMデータを統合して、4バンドのデータセットを作成する

⑤min-max正規化
・各バンドのピクセル値を0から1の範囲にスケーリングし、モデルがデータをより効率的に処理できるようにする

◾️ディープラーニングモデル
①U-Netの適用
・エンコーダー: 画像の解像度を段階的に下げながら重要な特徴を抽出する
・デコーダー: 抽出した特徴を基に、元の解像度に戻しつつセグメンテーションマップを再構築する
・スキップ接続: エンコーダーからの詳細情報をデコーダーに直接渡すことで、細部の情報が失われるのを防ぐ
・利点: 多様な入力サイズに対応し、局所的な詳細から全体的な特徴までを捉えることがきる
・固定されたカーネルサイズにより、大きな受容野からの情報を捉えるのが苦手であり、境界が不鮮明になることがある

②DeepLabv3の適用
・アトラス畳み込み: 異なるレートで畳み込みを行うことにより、広範なスケールの情報をキャプチャする
・ASPP: 複数のスケールで情報を処理することができ、詳細から全体までを均一に捉えることができる
・利点: 広い受容野を効率的に扱い、建物の複雑な境界や細部を精密に識別できる
・制限: ダウンサンプリング操作により出力の解像度が低下し、粗いセグメンテーションが生成されることがある

【議論の内容・結果は？】
・DeepLabv3 Integrated（統合データセットを使用したDeepLabv3）は、再現率0.925、F1スコア0.926、IoU0.873という成績を達成した
・上記はDeepLabv3 Primary（プライマリーデータセットを使用）に比べてそれぞれ1.9%、1.6%、3.1%向上している
※プライマリーデータセット・・・RGBオルソモザイク（3バンド：赤、緑、青）のみを含むデータセット
・統合データセットが建物の詳細な特徴を捉えることができ、特に建物のサイズが異なる領域での性能が向上していることを示している

・DeepLabv3はU-Netに比べて、計算上の効率も優れており、プライマリーデータセットでは訓練時間を68.6%削減し、統合データセットでも64.4%の時間短縮を実現している
・上記はDeepLabv3のアトラス畳み込みが効率的に機能しているためであると考えられる

#建物抽出 #DSM #DeepLabv3 #リサンプリング #クロッピング #スタッキング #min-max正規化 #U-Net

Internal solitary waves in the central Andaman sea observed by combining mooring data and satellite remote sensing

【どういう論文？】
・本研究は、内部孤立波（ISW）の特性（伝播速度と振幅の変動）を、係留（ブイ）観測データと衛星画像を組み合わせて分析する手法を提案する

【技術や方法のポイントはどこ？】
◾️先行研究の課題
①データの限界
・以前の研究は主に衛星リモートセンシングに依存しており、実際の海中での観測データが不足していた

②空間的・時間的解像度
・衛星データは広範囲をカバーできるものの、その時空間解像度の制約により、ISWの発生や伝播の短期間の変動を捉えるのが困難であった
・特に、ISWの瞬間的な生成時間や正確な発生源を特定することが難しい問題があった

③理論モデルと実データの不一致
・地形や潮流などの複雑な相互作用を模擬する理論モデルが存在していたが、モデルを実際の海洋データで検証することが困難であり、モデルの予測と実際の観測との間にはしばしばギャップが存在していた

◾️研究データ
①研究地域
・アンダマン海中央部を対象地域とする
・本海域は複雑な海底地形と強い潮流を有しており、ISWsが発生しやすい条件を備えている
・ISWはこの地形を通過する際、深海域から浅海域へと進むことで最終的には消散する

②衛星データ
・観測にはMODIS L1Bデータ（解像度は250メートル、スキャン幅は2330キロメートル）とSentinel-1データ（空間解像度が20メートル）を使用し、それらを地上の観測データと同期して解析する

【議論の内容・結果は？】
◾️MODIS画像の解釈
・以下の2013年3月14日の画像は、中央アンダマン海のISWの実際の動きを示している
・本画像では、ISWがカーニコバル島周辺から発生し、東海岸に向かって550km以上も伸びている様子が描かれている
・画像に映る6つのISWパケットは、それぞれが成長段階にあること、およびそれらがどのようにして分裂し、エネルギーが増大していくかを示している
・深い水域から浅い水域へと進むにつれて、深さの減少とともに波の相互作用が増えるため、ISWの伝播速度が減少し、ソリトンの数（波が分裂）が増加している

◾️Sentinel-1 SAR画像の解釈
・以下の画像a（2019年9月29日）と画像b（2019年12月24日）では、中央アンダマン海のISWの発生源が明確に示されている
・MODIS画像で得られた情報と同様に、 ISWが浅い海域に進むにつれて、地形の影響で水深が浅くなり、波のエネルギーが広がることで波の伝播速度が自然と遅くなり、結果的に以前の周期の波と後続の波が遭遇してソリトンが分裂していることが観察できる（東海岸近くで小さく弱いISWが多く観測される）

◾️ISWの垂直方向の特性
①温度プロファイルとISW
・以下の画像では、2019年1月19日から1月23日までの5日間の温度プロファイルが示されている
（ISWは、海水の層を垂直に動かすため、通常は深いところにある冷たい水が上に移動したり、逆に暖かい水が下に移動したりする中で、ブイが水温の変化を記録する）
・本図では、温度が上から下へ27°C、19°C、14°C、12°C、11°Cとなっており、最大振幅が14°Cの等温線で観測された（振幅102m）
・上記はISWsが特定の水温層で強いエネルギーを持ち、その結果、大きな振幅を生じさせることを示している

#内部孤立波 #ISW #伝播速度 #係留 #ブイ #MODIS #Sentinel-1

Internal solitary waves in the central Andaman sea observed by combining mooring data and satellite remote sensing

【どういう論文？】
・本論文は、広範囲におけるナツメヤシの詳細なマッピングを行う複数の手法を提案する

【技術や方法のポイントはどこ？】
◾️実験地域
・UAEの複数の都市で行われた
・上記地域は様々な樹木や植生を含んでおり、特にデーツヤシが豊富である

◾️実験データ
①データセット
・使用する20枚のWV-3衛星画像タイルは、異なる時期に異なる場所で取得した

②スペクトルバンドとGSD
・WV-3は8つのスペクトルバンドを持ち、高い空間解像度（1.24mと最大0.31mの地上サンプル距離）を提供する
※地上サンプル距離（Ground Sample Distance, GSD）・・・衛星画像や航空写真において地表面のどれくらいの範囲が一つの画素（ピクセル）によって表現されているかを示す

◾️比較検証手法
①概要

② UperNet-ViT
・特徴ピラミッドネットワーク（FPN）を利用しており、異なるスケールの画像特徴を捉える能力が高いため、高解像度の衛星画像に適している
・Vision Transformer（ViT）をバックボーンとして使用することで、広範囲のコンテキスト情報を活用し、セグメンテーションの精度を向上させることができる

③UperNet-Swin Transformer
・「シフトウィンドウ」技術を採用しており、これにより局所的なウィンドウ内でセルフアテンションを計算し、計算効率を向上させつつ情報の階層的な統合を可能にする
・他の一般的なトランスフォーマーモデルよりも空間的な情報をより効果的に活用できる

④Mask2Former
・セグメンテーションだけでなく、パノプティックセグメンテーションとインスタンスセグメンテーションにも対応可能な汎用性の高いアーキテクチャである
・マスク付きアテンションメカニズムを使用し、予測されるセグメント周辺の局所的な特徴に集中することで、非常に精密なオブジェクトの境界を描出できることが大きな利点である

⑤SegFormer
・軽量のデコーダーを使用しているため、高い計算効率を実現できる
・ミックスフィードフォワードネットワークを採用しており、固定された位置エンコーディングではなく、データ依存の方法で位置情報を統合することで、よりダイナミックなシーン理解が可能とする

⑥UniFormer
・CNNとトランスフォーマーの利点を組み合わせ、それぞれの欠点を補う設計がされており、計算効率と精度のバランスが取れたモデルとなっている
・動的位置エンベディングを使用しており、ビデオモデリングなどの時間的な情報も効果的に扱うことができる
・また、深層と浅層で異なる学習アプローチを採用しているのも特徴である

【議論の内容・結果は？】
◾️モデル訓練のプロセスと評価
①訓練期間
・RGBデータを使用した場合よりもマルチスペクトルデータを使用した場合の方が訓練期間が長くなる傾向にある
・上記はマルチスペクトルデータがより多くの情報を含んでいるため、モデルがより複雑な特徴を学習する必要があるためと考えられる
・しかし、UniFormerやUperNet-Swinのような一部のモデルは、マルチスペクトルデータでも訓練時間が短いことが観察できた

②損失グラフと性能指標
・訓練が進むにつれて、モデルの損失値は徐々に減少し、これはモデルが適切に学習していることを示している
・モデルのピーク性能は訓練が進行するにつれて向上し、mIoUは71.54%から78.03%、mF-scoreは80.44%から86.1%の範囲で推移した
・これは、訓練データに基づいてモデルが適切に一般化していることを示唆している

③モデルの効果性
・特にマルチスペクトルデータに基づいて訓練されたモデル（Mask2Former、UperNet-Swin、UniFormer、SegFormer）は、バリデーションデータセットにおいて高い効果を示した
・上記モデルは、異なるスペクトルデータの特性を捉え、より精確なセグメンテーションを実現する能力があることを確認できた

◾️モデルごとのパフォーマンス
・特にUniFormerとUperNet-Swinモデルは、スペクトルデータの追加によって顕著な性能向上を確認できた
・UperNet-ViTモデルはマルチスペクトルデータに対する性能が相対的に低かった
・上記は、モデルのアーキテクチャがスペクトル情報を効果的に活用するための最適化が不十分であることを示唆している

◾️転移性評価
・RGBデータと8つのマルチスペクトルバンドデータで訓練したモデルを未知のテストデータセットで評価した
・Mask2Former、UniFormer、UperNet-Swinモデルは、マルチスペクトルデータで特に高い転送性を示した
・上記モデルは、mIoUスコアでそれぞれ84.36%、84.25%、83.17%、mFスコアはそれぞれ90.95%、90.87%、90.13%であった
・UperNet-ViTとSegFormerに関しては、RGBデータでの性能がマルチスペクトルデータと比較して優れていた
・つまり、モデルのアーキテクチャが追加のスペクトル情報を最適に活用するのに十分適応していない可能性を示唆している
・ 評価されたトランスフォーマーの中で、UniFormerモデルは、様々なテストデータセットで顕著なパフォーマンス、最小のパラメータ数、最短の訓練時間で際立っている

#ヤシ #セグメンテーション #WV-3 #GSD #UperNet-ViT #UperNet-Swin-Transformer #Mask2Former #SegFormer #UniFormer #転移

以上、2024年6月に公開された論文をピックアップして紹介しました。
皆様の業務や趣味を考えた時に、ピンとくる衛星データ利活用に関する話題はありましたか？

最後に、#MonthlySatDataNewsのタグをつけてTwitterに投稿された全ての論文をご紹介します。

Earthquake prediction using satellite data: Advances and ahead challenges

Groundwater Storage Variations across Climate Zones from Southern Poland to Arctic Sweden: Comparing GRACE-GLDAS Models with Well Data

来月以降も「#MonthlySatDataNews」を続けていきますので、お楽しみに！