・Earth-OneVision: Extending Remote Sensing Multimodal Large Language Models to More Sensor Modalities and Tasks
（本論文は、光学、SAR（レーダー）、赤外、マルチスペクトル、時系列、動画という6種類のセンサ画像と、それらを組み合わせた融合入力を、1つの2Bパラメータモデルでまとめて扱える衛星画像理解AI「Earth-OneVision」を提案する）

・RSICCLLM: A Multimodal Large Language Model for Remote Sensing Image Change Captioning
（本論文は、同じ場所を異なる時期に撮影した2枚の衛星画像（バイテンポラル画像）の変化を自然言語で説明するタスクであるRSICC（Remote Sensing Image Change Captioning）に、大規模視覚言語モデルの後訓練を初めて本格導入したフレームワーク「RSICCLLM」を提案する）

・BELDE: Building a Large-scale Earth-observation Land-cover Dataset for Europe
（本論文は、新しいモデルや手法を提案するものではなく、RGB画像による土地被覆セマンティックセグメンテーションのためのベンチマークデータセット「BELDE」を構築・公開したデータセット論文である）

宙畑の新連載「#MonthlySatDataNews」では、前月に公開された衛星データの利活用に関する論文やニュースをピックアップして紹介します。

実は、本記事を制作するために、これは！と思った論文やニュースをX（旧Twitter）上で「#MonthlySatDataNews」「#衛星論文」をつけて備忘録として宙畑編集部メンバーが投稿していました。宙畑読者のみなさまも是非ご参加いただけますと幸いです。

それではさっそく2026年6月の論文を紹介します。

Earth-OneVision: Extending Remote Sensing Multimodal Large Language Models to More Sensor Modalities and Tasks

【どういう論文？】
・本論文は、光学、SAR（レーダー）、赤外、マルチスペクトル、時系列、動画という6種類のセンサ画像と、それらを組み合わせた融合入力を、1つの2Bパラメータモデルでまとめて扱える衛星画像理解AI「Earth-OneVision」を提案する
・24のベンチマークで、4B〜72Bという最大36倍大きいモデルと同等以上の性能（光学画像の位置特定でP@0.5 = 87.52%、SAR画像の質問応答で80.68%）を達成した
・さらに、光学とSARを混ぜて入力すると、どちらか単独より精度が上がる（80.70% → 81.94%）というセンサ融合の相乗効果を、単一のモデル上で定量的に示した

【技術や方法のポイントはどこ？】
◾️先行研究の課題
・衛星画像向けのMLLM（RS-MLLM）はすでに多数存在するが、どれも対応センサは1〜3種類、タスクは3〜5種類止まりで、「光学しか読めないモデル」「検出しかできないモデル」が乱立している状態であった

・上記原因は以下の3つに分類できる

[課題1: 視覚と言語の接点がLLMの入り口の1箇所しかない]
・従来のRS-MLLMは、画像エンコーダの最終層の出力だけをプロジェクタ経由でLLMの入り口に1回渡していた
・上記設計では、中間層が持っていた情報は使われずに捨てられ、LLM側も入り口より奥の層は画像に直接触れる機会がない
・衛星画像では「小さな車」「細い道路の境界」のような細部の見極めが勝負になるため、捨てられた情報が位置特定精度の頭打ちを招く

[課題2: 空間出力の形式ごとに専用の出力装置が必要になる]
・前提として、衛星画像のタスクは、水平の枠（HBB）、傾いた枠（OBB：斜めに停泊した船を囲む回転矩形）、ピクセル単位の塗り分け（マスク）という、トークンでは表すことが難しい空間出力を要求する
・そこで従来モデルは、枠には座標回帰ヘッド、マスクにはSAM型デコーダというように、LLMの外側に形式ごとの専用装置を接続していたが、その結果、出力空間が分断され、損失関数（学習の採点基準）もバラバラになり、全タスクを1つの目的関数でまとめて鍛えることができなかった

[課題3: 日常写真から衛星画像までの2段の隔たりを一気には越えられない]
・MLLMの土台となる部品は、日常の写真とテキストで事前学習されている
・上記を衛星画像に適応させるには、視点の隔たり（目線の高さ vs 真上からの俯瞰）と、イメージング物理の隔たり（可視光の反射 vs マイクロ波の後方散乱 vs 熱放射という、記録している物理量そのものの違い）という2段の隔たりを越える必要がある
・従来は全モダリティのデータを一度に混ぜて訓練していたため、上記2段が合成された大きな隔たりを一気に飛ぶことになり、適応しきれなかった

◾️本研究のアプローチ
・Earth-OneVisionは、画像エンコーダにSigLIP-2（0.3B）、LLMにQwen3（2B）を採用したうえで、3つの壁に1つずつ仕掛けを用意する。課題①にはFGVLA、課題②にはSLIS、課題③にはPCMAという対応関係である

[土台: 6種類のセンサ画像を2つの入力モードに揃える]
・センサごとに専用エンコーダを用意する設計にするのではなく、入力データを組み替えることで、6種類すべてを普通のRGB画像エンコーダに通せる形に揃えた
・光学画像をそのまま入力、SARと赤外は1チャンネルの白黒画像なので、同じ値を3回複製して擬似RGB画像に仕立てる
・マルチスペクトルはバンドを3本ずつ束ねることで複数枚の擬似的なRGB画像に仕立て上げ、動画はフレームを一定間隔でサンプリングして画像の列にする
・時系列ペアや光学-SAR融合は、各画像を独立にエンコードし、できた画像トークン列を順に連結してLLMに渡す

[FGVLA: 視覚と言語の接点を1箇所から7箇所に増やす（課題①への対策）]
・課題①で捨てられていた中間層の情報を、2つの経路でLLMに届ける仕掛けとなる
・ACSA（Adaptive Cross-Scale Attention）という、LLMに渡す前に最終層の特徴を中間層の情報で強化する経路を用意し、最終層の特徴を「探し手（クエリ）」、中間層の特徴を「引き出される側（キー/バリュー）」とするクロスアテンションで、各中間層から関連情報を取り出し、最終層の特徴に足し合わせる
・もう1つ、DeepStackという、LLMの内部に中間層の情報を直接注入する経路を用意し、中間3層の特徴をそれぞれ専用のMLPで変換し、LLMの浅い層の隠れ状態に残差加算で足し込む
・上記2つの経路は同じ中間層から情報を引くが、作用する場所が異なっており、ACSAは「プロジェクタの手前」で特徴を豊かにし、DeepStackは「LLMの内部」に直接届ける
・効果はアブレーションで確認されており、FGVLAを外すと位置特定（OPT-RSVG）が2.79ポイント、質問応答（RSVQA-HR）が1.98ポイント低下する

[SLIS: 枠もマスクも「語彙」に翻訳する（課題②への対策）]
・課題②の「専用の出力装置」を全廃するために、空間出力そのものを「次のトークンを選ぶ」操作で表せる形に翻訳する
・具体的には、LLMの語彙を「通常の言語 + 座標 + マスク」の3種類に拡張する
・座標トークンは、座標を0〜1に正規化したうえで1000段階に量子化し、その0〜999の各値を専用トークンとして語彙に追加するが、ポイントは「”3″,”4″,”7″という数字の文字列」ではなく独立した1トークンである点で、文字列方式で起こる「複数トークンへの分割による誤差の蓄積」や「自然言語の数字との混線」を避ける工夫が挙げられ、座標予測は「1000クラスの分類を1回解く」ことに帰着し、水平の枠は4トークン、傾いた枠は8トークン、点は2トークンで書くことができる
・セグトークンは、マスクはそのままでは巨大すぎるので、まず24×24のラベルグリッドに縮小し（max pooling）、次に各行を「連続する同じ値をまとめる」ランレングス符号化で圧縮（例：「建物,建物,建物,背景,背景」は「建物×3, 背景×2」）、その上で「ラベル×個数」ペアの1つ1つを語彙の1トークンとして扱い、`ラベル*個数, …; …`という形式（`,`が区間、`;`が行の区切り）で並べれば、マスク全体を短いトークン列として扱うことができるようになる

[PCMA: 2段の隔たりを1段ずつ越える訓練カリキュラム（課題③への対策）]
・光学衛星画像は可視光の反射を記録するという物理を日常写真と共有しており、違いは主に視点のみとなっているため、本論文では、自然画像と光学RSの分布間距離が、自然画像と全モダリティの距離より小さい、という形で定式化を行う
・Stage 1（視点の隔たりを越える）では、日常写真の指示データ（LLaVA-OneVision-Data、LLaVA-Instruct-150K）と光学衛星データを同時に訓練し、俯瞰視点・地上物体の認識・衛星画像上での空間推論といった基礎を確立する
・Stage 2（物理の隔たりを越える）では、SAR・赤外・マルチスペクトル・時系列・動画・融合を投入し、Stage 1で空間理解の土台ができているため本ステージは物理量の違いへの適応に集中する
・SLISが座標もマスクもトークンにしてくれているため、両ステージを通じて損失関数はクロスエントロピーただ1つである

【議論の内容・結果は？】
◾️前提
・評価は、タスクごとに用意された公開のテスト用データセット（ベンチマーク）で行う
・比較相手は大きく3種類存在しており、専用特化モデル、次に先行のRS-MLLM（EarthDialやEarthMindなど、衛星画像向けの先行汎用モデル。中でもEarthDial（4B）は本論文以前で最も広くセンサに対応）、最後にGPT-4oやGeminiなどの商用汎用AIである
・位置を当てるタスクはP@0.5（予測した枠と正解の枠の重なりが50%以上なら正解とみなしたときの正解率。P@0.25なら重なり25%以上で正解とする緩い基準）で測る
・領域を塗り分けるタスクはmIoU（予測した領域と正解領域の重なり率の平均。100%で完全一致）で測る
・文章生成の質はCIDErやROUGE-1という「人間が書いた正解文との一致度」スコア（高いほど良い）を用いる

◾️結果の概要
・2Bという小型モデルが、24ベンチマークで4B〜72Bの大型RS-MLLMと同等以上の性能を示した
・特に従来モデルが苦手だった非光学（SAR・赤外・動画）で大差をつけている
・そして、光学とSARを混ぜると単独より精度が上がるという点が、融合ベンチマークで数値として確認された

◾️詳細
[光学タスク]
・「川の左にある白い飛行機」のような文章から対象の位置を枠で当てるタスク（ビジュアルグラウンディング）では、光学衛星画像の標準ベンチマークOPT-RSVGでP@0.5 = 87.52%となり、このタスク専用に作られた特化モデルの最高記録（86.51%）を上回った
・同種のベンチマークDIOR-RSVGでは94.41%で、特化モデルの最高記録（84.35%）を10ポイント以上引き離している
・画像内の物体を種類ごとに枠で検出するタスクでも、飛行機・船舶など10カテゴリの検出ベンチマークNWPU-VHR-10でP@0.5 = 59.23%と、直接のライバルであるEarthDial（16.65%）を42.58ポイント上回った
・ただし、グラウンディングのベンチマークの1つRSVGでは65.06%と特化モデル（84.48%）に届かず、本論文内では対象が極端に小さいためと分析されている
・汎用モデルが特化モデルに勝つのは本来は難しい中で、捨てられていた中間層の情報をFGVLAが届けたことが効果的に寄与したと考えられる

[セグメンテーション]
・セグメンテーションは「洪水で使える道はどこか」のような問いに対し、該当する領域をピクセル単位で塗り分けるタスクであるが、ここではSLISの24×24グリッドという粗さのデメリットが最も試されるテストとなる
・結果としては、R-RLEトークンだけで出力した場合はmIoU = 57.97%（推論型のベンチマークEarthReason）と52.82%（文章指定型のRRSIS-D）で、それぞれの既存最高記録（70.96%、71.75%）には届かなかった
・しかし、R-RLEが出した粗いマスクを下書きとして、汎用の輪郭切り出しモデルSAM2（何でも塗り分けられるよう訓練された既製モデル）に清書させると、EarthReasonで74.20%、RRSIS-Dで71.91%となり、既存最高記録をそれぞれ3.24ポイント、0.16ポイント上回った

[SAR]
・SAR（雲を透過し夜でも撮れるレーダー画像。人間が見ても白黒のザラついた模様にしか見えない）では、SAR画像の言語理解ベンチマークSARLANG-Benchの質問応答で80.68%を記録し、質問応答・複雑キャプション・簡潔キャプションの3サブタスクすべてで首位となった（なお、比較対象はQwen2.5-VLなど7Bクラスの汎用モデルであり、その3.5分の1のパラメータ数での達成である）
・赤外では差がさらに大きく、ドローン撮影の赤外画像ベンチマークHIT-UAVの「対象を説明しながら位置も当てる」タスクでP@0.25 = 79.48%と、EarthDial（13.86%）を65.62ポイント引き離した
・指定領域の説明文生成でも一致度スコアROUGE-1 = 91.62%（EarthDial比+29.79ポイント）である
・土台の入力設計で述べた通り、上記は擬似RGB化という入力の工夫だけで、SAR・赤外専用の部品を一切持たずに達成することができた

[動画・時系列]
・ドローン動画から「火事」「野球の試合」など25種類のイベントを判別するベンチマークERAで89.14%となり、動画専用に設計された特化モデル（84.70%）と、Googleの商用AIであるGemini-2.5-Flash（84.91%）の両方を上回った
・上記では、動画専用エンコーダは使っておらず、フレームを間引いて画像の列として入れているだけである
・同じ場所を撮った過去と現在の衛星画像を見比べて「何がどう変わったか」を推論するベンチマークDVL-Benchでも平均42.47%で、OpenAIの商用AIであるo4-mini（36.28%）を6.19ポイント、時系列特化のRS-MLLMであるDVLChat（7B）を8.44ポイント上回った

[クロスセンサ融合]
・EarthMind-Benchは、同じ場所を光学とSARの両方で撮影したペア画像を使い、「光学だけ」「SARだけ」「両方同時」の3通りの入力で多肢選択問題を解かせる、本論文の主張の検証に最適なベンチマークである
・上記結果、正答率は光学単独80.70%、SAR単独76.10%に対し、光学-SAR融合が81.94%で最高となった
・本ベンチマークを提案した先行モデルEarthMind（4B、光学-SAR融合を扱う数少ない先行RS-MLLM）に対しても、光学で+19.00、SARで+14.80、融合で+11.94ポイントの差をつけた
・「センサとタスクを1つのモデルに統合するほど、知識が相乗して強くなる」という本論文の主張を、最も直接に裏付ける結果である

[アブレーション]
・FGVLAを外すと位置特定が2.79ポイント、質問応答が1.98ポイント低下した
・SLISを外すと位置特定が2.18ポイント低下する一方、分類はほぼ不変であった
・PCMAを外すと最大の低下（SARの質問応答-3.82、動画キャプション-2.46）となった
・つまり、FGVLAは細部の理解に、SLISは空間推論に、PCMAは非光学の習得に対応する形で効いており、分担が数値で裏付けられた形となる

[限界]
・2時期の画像から変化した建物を塗り分ける変化検出では、特化モデルの最高記録（建物変化ベンチマークLEVIR-MCIでmF1 = 92.58%。mF1は検出の正確さと網羅性を兼ねた指標）に対し85.85%と及ばない
・仮説原因としては、R-RLEの24×24グリッドという解像度上限であると考えられる
・ハイパースペクトル（数百の波長帯を細かく観測するセンサ）とLiDAR（レーザーによる3次元計測）のモダリティは未対応で、今後の課題とされている

#RS-MLLM #EarthOneVision #マルチモーダル大規模言語モデル #SAR #赤外画像 #マルチスペクトル #クロスセンサ融合 #ビジュアルグラウンディング #変化検出 #セグメンテーション #自己回帰モデル #SigLIP2 #Qwen3 #FGVLA #SLIS #PCMA #MMRSOneVision #指示チューニング

RSICCLLM: A Multimodal Large Language Model for Remote Sensing Image Change Captioning

【どういう論文？】
・本論文は、同じ場所を異なる時期に撮影した2枚の衛星画像（バイテンポラル画像）の変化を自然言語で説明するタスクであるRSICC（Remote Sensing Image Change Captioning）に、大規模視覚言語モデルの後訓練を初めて本格導入したフレームワーク「RSICCLLM」を提案する
・わずか7Bパラメータで、235B〜241Bという最大34倍大きい汎用モデルを全8指標で上回り（BLEU-4 = 62.78、文の意味的一致度SBS = 82.72）、推論速度も約6倍を達成した

【技術や方法のポイントはどこ？】
◾️前提
[変化検出と変化キャプショニングの違い]
・従来の変化検出（RSICD）は、2枚の画像を比較して変化したピクセルを塗り分けたマップを出力することで「どこが変わったか」は示せるが、それが何を意味するかの解釈は人間に委ねられる
・本論文が扱う変化キャプショニング（RSICC）は、視覚的な差分を意味へ写像し、「空き地に建物が3棟新築された」のような文章として出力するため、災害対応や環境アセスメントの報告にそのまま使える形式になる点が実用上の価値となる

[後訓練とは]
・第1段階のSFT（Supervised Fine-tuning、教師ありファインチューニング）では、「入力とお手本の答え」のペア（指示データ）を使い、タスクの形式と知識を教え込む
・第2段階の選好最適化では、同じ入力に対する「良い答えと悪い答え」のペア（選好データ）を使い、両者の差を教え込む
・代表的な手法がDPO（Direct Preference Optimization）と呼ばれ、良い答えの生成確率を上げ、悪い答えの確率を下げるように学習する（SFTだけでは身につかない答えの質の良し悪しを仕込む段階となる）

◾️先行研究の課題
①課題1: モデル容量の天井
・既存のRSICCLLM手法（SAMベースの双画像エンコーダを持つSemantic-CC、変化検出ブランチで疑似ラベルを注入するPix4Cap、画像レベル変化分類器を使うPrompt-CCなど）は、いずれも従来型の小規模な深層学習アーキテクチャの上に構築されている
・モデル容量の小ささが性能の上限を規定してしまい、「微細で多様な土地被覆の変化を、正しい言語表現に対応づける」という目的に、設計をいくら工夫しても到達できない

②課題2: 指示データも選好データも存在しない
・前提で述べた後訓練の2段階には、それぞれ指示データと選好データが必要であるが、RSICCには第1段階用の指示データセットがほぼ存在せず、第2段階用の選好データセットは皆無だった
・特に選好データが作れない構造的な理由として、変化の説明文には複数の正しい言い方があり（「建物が3棟建った」も「空き地が住宅地になった」も正しい）、唯一の正解が定義できないため、どの答えが良いかという品質評価自体が難しい
・上記結果、既存のリモートセンシング基盤モデル（RS-GPT、Falconなど）もRSICC向けの後訓練は行われてこなかった

③課題3: 汎用モデルは時間変化を理解できない
・汎用の視覚言語モデルは「1枚の画像に何が写っているか」の記述には強いが、2枚を突き合わせて実際の変化だけを抽出することが苦手である
・照明条件、天候、センサ姿勢のずれといった非意味的な差異を変化と誤認し、本当の土地被覆変化と区別できない
・上記課題の深刻さはベンチマークのベースラインとなるQwen2.5-VL-7BがBLEU-4 = 0.61という結果に表れており、タスクとしてほぼ成立していない水準にとどまっている

◾️本研究のアプローチ
・本研究の骨格は、SFT（写経）→ 選好最適化（良し悪しを教える）という後訓練を、容量に余裕のあるQwen2.5-VL-7Bに適用することである

①指示データを作る
・既存の変化検出データに存在する変化マスク（変化ピクセルの正解図）を「答えの場所」としてQwen-VL-Maxに渡し、その領域の変化だけを説明させる
・マスクで対象を縛るため、汎用VLMが陥りがちな「無関係な領域や存在しない変化を語る」という誤りを構造的に防ぐ
・さらに、品質検査（ハルシネーション等の棄却＋専門家の全件確認）を経て指示データセットとして以下の工程にパスする

②SFTしつつ変化を見る目を植える
・RSICIで写経させるだけでは課題3（照明・天候のノイズを変化と誤認する）が残るため、照明に左右されない変化表現を組み込む
・具体的には、2時期の差分で変化候補を粗く出し、CDConv（周囲との輝度差分をとり明るさに依存しない畳み込み）とHough変換で照明不変の幾何構造を取り出し、両者をクロスアテンションで融合してから言語生成へ渡す

③選好データを作って仕上げる
・選好最適化には「良い答え／悪い答え」のペアが要るが、悪い答えの集まりがない
・そこでSFTモデル自身に生成させた候補から紛らわしいものを選ぶ戦略Fと、正解の要点語（対象物・方向・変化動詞・数量）を1つ差し替える戦略Rを用いて補い合い、合わせた選好データセットであるRSICPでDPO学習して最終モデルを得る
・要するに後訓練に必要なデータを自給する連鎖を一周させ、7BモデルにRSICCを解かせた点が本アプローチとなる

【議論の内容・結果は？】
◾️前提
・BLEU-1とROUGE-1は重要語が合っているか、BLEU-2とROUGE-2は局所的な言い回しの一致、BLEU-3/4は文レベルの一貫性、ROUGE-Lは文全体の構造の一致を測る
（いずれも正解文との一致度で、高いほど良い）
・ただし変化キャプションには複数の正しい言い方があり、字面の一致だけでは不公平になるため、本論文はSBS（Sentence-BERT Similarity）という、文全体を意味ベクトルに変換して正解文との近さを測る指標を利用する
・比較対象は、汎用巨大モデル（Qwen3-VL-235B、InternVL-3.5-241B、GLM-4.5Vなど、パラメータ数で30倍前後上回る商用級モデル）、RSICC・地球観測特化の先行モデル（TEOChat-7B、CCExpert-7B）、ベースライン（後訓練前のQwen2.5-VL-7B。本手法との差分がそのまま後訓練の効果を表す、最も重要な比較対象）の3種類となる

◾️結果の概要
・in-domain、out-of-domain両テストセットで全8指標の首位を獲得し、上記3種類の比較相手すべてを相対約10〜60%上回った
・そして、同一の7BモデルではBLEU-4 = 0.61から62.78というベースライン比較での改善も確認された

◾️詳細
①in-domain（訓練データ内）テスト
・今回のモデルであるRSICCはBLEU-1 = 81.28、BLEU-4 = 62.78、ROUGE-1 = 53.54、ROUGE-L = 38.30、SBS = 82.72という結果であった
・汎用巨大モデルのBLEU-4に関しては、Qwen3-VL-235Bで2.82、InternVL-3.5-241Bで2.83、GLM-4.5Vで3.73という形となっており、数十倍の規模を持つモデルでも「2枚を比較して変化を言語化する」というタスク形式自体を解けていないことがわかる
・興味深いのは、巨大モデル群のSBSは69〜73と壊滅的ではない点であり、巨大モデルは「意味的に遠くはないが、RSICCの報告文として求められる形式・粒度で書けていない」という示唆が得られている
（タスク特化の後訓練が埋めているのはまさにこの部分である）

②out-of-domain（訓練データ外）テスト
・今回のモデルは、BLEU-4 = 47.84、ROUGE-1 = 43.03、SBS = 73.86
・農村シーンやoff-nadir、季節変動という未見の条件でも、RSICCLLM（BLEU-4 = 47.84）が2位（Qwen-VL-Max: BLEU-4 = 3.16）を大きく引き離して全指標で首位を維持した

#RSICC #変化キャプショニング #RSICCLLM #マルチモーダル大規模言語モデル #VLM #Qwen25VL #SFT #DPO #選好最適化 #DNPO #指示チューニング #CDConv #Hough変換 #クロスアテンション #変化検出 #LEVIRCD #SYSUCD #S2Looking #RSICI #RSICP #バイテンポラル画像

BELDE: Building a Large-scale Earth-observation Land-cover Dataset for Europe

【どういう論文？】
・本論文は、新しいモデルや手法を提案するものではなく、RGB画像による土地被覆セマンティックセグメンテーションのためのベンチマークデータセット「BELDE」を構築・公開したデータセット論文である
・Sentinel-2の真のカラー画像（TCI）とESA WorldCoverのラベルから、ヨーロッパ全域をカバーする1,088,385枚のimage-maskペア（256×256px、空間分解能10m）を整備、公開されているRGB土地被覆セグメンテーションデータセットとして最大級である

【この論文が提示するもの】
①大規模RGBベンチマークの構築
・ヨーロッパ全域を対象に、108万枚超のRGB image-maskペアを整備・公開した。既存最大級のBigEarthNet（549,488枚）の約2倍で、RGB土地被覆セグメンテーションでは最大規模

②ドメインシフト評価用の域外データセット
・BELDE-K（16,607枚）とBELDE-CA-NV（88,155枚）を追加し、欧州で学習したモデルの他地域への転移性能を制御された条件で測定できるようにした

③17アーキテクチャによるベースライン整備
・CNN系、Transformer系、軽量モデルの17構成でin-domain／cross-domainの基準スコアを提示

【技術や方法のポイントはどこ？】
◾️先行研究の課題
・マルチスペクトル画像の方がセグメンテーション性能は高いが、実運用の衛星や航空機、アーカイブ画像ではRGB（可視3バンド）が依然として最も広く利用されている
・一方、既存のセグメンテーション用ベンチマークは地理的範囲・規模・多様性・公開性のいずれかに制約があり、大規模かつ地理的に多様なRGBベンチマークが存在しなかった

◾️データセット構成
①BELDE（本体）：1,088,385枚
・Sentinel-2 TCI ＋ ESA WorldCover 2021から生成。256×256px・10m分解能、対象面積約713万km²
・取得範囲は西経13°〜東経50°、北緯33°〜60°で、地中海性・大陸性・海洋性・亜寒帯・高山の各気候帯を含む
・クラス比率：樹木35%・草地28%・農地26%・裸地6%・水域2%・市街地2%・低木1%（不均衡が大きい）

②BELDE-K：16,607枚（韓国、108,835km²）／ ③BELDE-CA-NV：88,155枚（米国CA・NV、577,732km²）

【議論の内容・結果は？】
◾️評価設定
・17アーキテクチャ（パラメータ1.5M〜117M）を同一の学習条件で訓練し、F1スコア等で評価
・in-domain（欧州テストセット）とゼロショットのcross-domain（BELDE-K／BELDE-CA-NV）を比較する

◾️主要な結果
①in-domain性能（欧州）
・Transformer系のEfficientFormer-L7がF1=83.0%で最高、MaxViTが82.9%（いずれも60〜100Mの大型）、CNN系UNetは31MでF1=81.8%となった
・軽量モデルLALE-S22.6MではF1=78.2%と、精度と計算コストのトレードオフで優位
・クラス別では樹木（約92%）と水域（約94%）が高精度な一方、低木は全モデルで最低（約48〜52%）であった

②cross-domain性能（ゼロショット）
BELDE-Kでは最高F1=58.3%（EfficientFormer-L7）、BELDE-CA-NVでは最高F1=66.4%（MaxViT）と、in-domainの83.0%から大幅に低下した
・主因はクラス構成の相違と考えられ、欧州（樹木35%・草地28%・農地26%）に対しBELDE-Kは樹木59%と分布が大きく異なり、転移を困難にしたと思われる

③支配要因はモデル容量ではなく地理的変動
・アーキテクチャによらず全モデルが一様に劣化した
・すなわちcross-region汎化を制限するのはモデルの表現力ではなく地理的変動であり、in-domainの性能向上は域外に直接は転移することはできない
・RGB単独モデルは地域固有の空間的/テクスチャ的手がかりに強く依存しており、大陸をまたぐ汎化は未解決の課題となっており、地理的に多様なベンチマークで頑健性を評価する必要性を、本データセットが定量的に裏付ける

#Sentinel2 #ESAWorldCover #土地被覆分類 #セマンティックセグメンテーション #RGB衛星画像 #ベンチマークデータセット #ドメインシフト #ゼロショット汎化 #EfficientFormer #地球観測

来月以降も「#MonthlySatDataNews」「#衛星論文」を続けていきますので、お楽しみに！