宙畑の新連載「#MonthlySatDataNews」では、前月に公開された衛星データの利活用に関する論文やニュースをピックアップして紹介します。

実は、本記事を制作するために、これは！と思った論文やニュースをTwitter上で「#MonthlySatDataNews」をつけて備忘録として宙畑編集部メンバーが投稿していました。宙畑読者のみなさまも是非ご参加いただけますと幸いです。

2023年1月の「#MonthlySatDataNews」を投稿いただいたのは5人でした！

衛星データを用いて森の下の古墳を見つけるという論文。最初はSAR衛星を使うのかな？と思ったのですが、古墳が地面にあると森林の生育にも影響を与えるらしく、SAR衛星と光学衛星の合わせ技のようです。https://t.co/SSg7SuUBDe#monthlysatdatanews pic.twitter.com/PfzaJbL6N0

— 🛰ナカムラトモヤ（宙畑、sorano me）🛰 (@tomoucky) January 22, 2023

単一視点のリモセン画像から3D建物モデルを再構築。
建物検出モデルとDSM推定モデルの結果から点群の再構成を実施し、CityGMLやSurfaceの再構築を行う。
建物検出モデルはDeepLav v3+を、DSM推定モデルは論文内で提案されているSFFDEモデルを使用#MonthlySatDataNewshttps://t.co/OoRsv5SZeB

— まぬある (@lTlanual) January 12, 2023

リモセン画像を用いた自然災害時の建物損傷評価の論文。

建物の抽出+損傷の評価という2つのタスクを効率良く行うために、siamese構造のU-Netを採用。
また、教師数が不足するという問題に対して二重平均教師という半教師あり学習を用いることで解決。https://t.co/lSXbaDX1Cn#MonthlySatDataNews

— ぴっかりん (@ra0kley) January 15, 2023

Building Coverage Estimation with Low-resolution Remote Sensing Imagery https://t.co/fDhcR9hKds #MonthlySatDataNews
提案モデルは、Sentinel1/2の衛星画像から正確に建物を予測し、未知の国や地域にも汎化できた、つまりは全世界の建物被覆率の推定の可能性を示唆できた。
ってすごいな

— たなこう (@octobersky_031) January 8, 2023

衛星データの圧縮度合が、機械学習の精度にどの程度影響を与えるかを調べるツール。衛星ハードウェア側は高分解能多波長を追求している印象だけど、データ量大きくなり過ぎて、処理側は高効率追求しているの面白い。落としどころはどこなんだろう？https://t.co/fA4Zg9oqNh#MonthlySatDataNews

— むた (@MutaAzusa) January 22, 2023

それではさっそく2023年1月の論文を紹介します。

Simulation and forecasting of atmospheric CO2 using RAMS

Regional Atmospheric Modeling System (RAMS V6.2) と Simple Biosphere (SiB-2) サブモデルを用いてCO²濃度のシミュレーションを実施。衛星データからの構築モデルを比較対象に評価してる。

Counterfactual Explanations for Land Cover Mapping in a Multi-class Setting

GANで反実仮想（counterfactual）のアプローチをとることによって、解釈可能な解が得られる、とのこと。この例では、Sentinel-2の土地被覆分類のタスクを実施。

Virtual earth cloud: a multi-cloud framework for enabling geosciences digital ecosystems

地球規模の状況把握(Big Earth Data Science)の仕組みを支えるデジタル基盤の話。

Building Coverage Estimation with Low-resolution Remote Sensing Imagery

提案モデルは、Sentinel1/2の衛星画像から正確に建物を予測し、未知の国や地域にも汎化できた、つまりは全世界の建物被覆率の推定が可能であることを示唆できた。

Mapping Forest Growing Stem Volume Using Novel Feature Evaluation Criteria Based on Spectral Saturation in Planted Chinese Fir Forest

GF-1とSentinel-2を用いて光学飽和度と生長茎葉量（GSV）の関係性を評価。

Online Fusion of Multi-resolution Multispectral Images with Weakly Supervised Temporal Dynamics

異なる解像度のマルチスペクトル画像のオンラインフュージョン。Temporal Dynamics modelを使うと大規模なデータセット不要で、2つの画像のみで校正される、ベイズフィルタとスムージングを使って複雑性を低減。LandsatとMODISで評価。

Elevation Estimation-Driven Building 3D Reconstruction from Single-View Remote Sensing Imagery

単一視点のリモセン画像から3D建物モデルを再構築。建物検出モデルとDSM推定モデルの結果から点群の再構成を実施し、CityGMLやSurfaceの再構築を行う。建物検出モデルはDeepLav v3+を、DSM推定モデルは論文内で提案されているSFFDEモデルを使用。

Dynamic Loss Reweighting Method Based on Cumulative Classification Scores for Long-Tailed Remote Sensing Image Classification

リモセンデータでよくあるLong-tail問題（無視できないイレギュラーが多い）に対してLossの再重み付けによる画像分類法を提案、サンプルの少ないカテゴリの精度を向上させる。各カテゴリのサンプル数ではなく累積分類スコアを用いて重みを構築。

Mapping burn severity and monitoring CO content in Türkiye’s 2021 Wildfires, using Sentinel-2 and Sentinel-5P satellite data on the GEE platform

GEEを用いて、トルコで発生した森林火災を調査。Sentinel-2を用いて、差分正規化焼失率指数（dNBR）および差分正規化植生指数（dNDVI）により焼失深刻度マップを作成した。

また、Sentinel-5Pデータを用いて、火災後の一酸化炭素（CO）カラム数密度を決定した。

火災後のNDVI時系列解析では、全焼域でNDVI値が0.8から0.1まで急激に減少していることが確認された。対流圏CO柱数密度は、火災前の全焼域で0.03mol/m²であったが、火災後は0.14mol/m²まで増加していることが確認された。

さらに、Sentinel 5Pのデータでより広範囲を調べると、COの量が最大で0.333mol/m²まで増加していることが観測された。

MS4D-Net: Multitask-Based Semi-Supervised Semantic Segmentation Framework with Perturbed Dual Mean Teachers for Building Damage Assessment from High-Resolution Remote Sensing Imagery

リモセン画像を用いた自然災害時の建物損傷評価の論文。建物の抽出+損傷の評価という2つのタスクを効率良く行うために、siamese構造のU-Netを採用。

また、教師数が不足するという問題に対して二重平均教師という半教師あり学習を用いることで解決。

Fishery Resource Evaluation with Hydroacoustic and Remote Sensing in Yangjiang Coastal Waters in Summer

音響調査から魚類の密度や海藻の空間分布を把握し、衛星データと組み合わせ魚類密度と環境の関係を評価。

Dynamic Detection of Forest Change in Hunan Province Based on Sentinel-2 Images and Deep Learning

Sentinel-2から森林変化箇所を検出。いくつかのモデルとLossを試し、U-Net++とCEがよかったとのこと。森林領域の管理に使える。

Coastal flood vulnerability assessment, a satellite remote sensing and modeling approach

以下の二つの観点で海岸域を分析
・気候変動による海面上昇に対する沿岸の脆弱性指標（CVI）
・異常気象による沿岸の洪水に対する洪水脆弱性指数（FVI）

Exploring the Effect of Balanced and Imbalanced Multi-Class Distribution Data and Sampling Techniques on Fruit-Tree Crop Classification Using Different Machine Learning Classifiers

Sentinel-2のデータを用いて南アメリカで「マカダミア ナッツ、アボカド、バナナ、グアバ、マンゴー、松……」の果樹分類を行うため、複数パターンのデータサンプリングと5 つの機械学習アルゴリズムを試したというもの。最高の分類精度は71%。

Discovering the Ancient Tomb under the Forest Using Machine Learning with Timing-Series Features of Sentinel Images: Taking Baling Mountain in Jingzhou as an Example

衛星データを用いて森の下の古墳を見つけるという論文。古墳が地面にあると森林の生育にも影響を与えるらしく、SAR衛星と光学衛星の合わせ技で解析を実施。

Object Detection performance variation on compressed satellite image datasets with iquaflow

衛星データの圧縮度合が、機械学習の精度にどの程度影響を与えるかを調べるツールを開発。

Construction of an Integrated Drought Monitoring Model Based on Deep Learning Algorithms

降水量、植生、気温、土壌水分などの干ばつ影響要因を統合的に解析し、複合干ばつ指数（CDI、composite drought index）を算出し、他の指標と比較した 。

Estimation of Instability of Mountainous Slopes in Alamut River Basin Based on Soil Texture with Remotely Sensed Data

山岳地域において、土壌の質をsentinelのデータから判断し、斜面の地滑りリスクを判定。地滑り被害は日本でも毎年のように目にするものなので、各自治体での導入が進むことを期待したいし、個人でも引越しする際などに注目されるデータになるとよさそう。

Training Methods of Multi-label Prediction Classifiers for Hyperspectral Remote Sensing Images

ハイパースペクトル画像において、マルチラベル分類を行うための学習方法を提案。Autoencoderによる次元圧縮と分類子による分類という2つの構成を、1つのアルゴリズムとみなして同時に学習する手法が1番パフォーマンスが良くなったとのこと。

ViTs for SITS: Vision Transformers for Satellite Image Time Series

衛星の時系列画像(SITS)を時空間Vision Transformer(TSViT)で処理。SITSを時間と空間の非重複パッチに分割しトークン化したあと、時間と空間それぞれのエンコーダーに従って処理され、セグメンテーションや分類を実施。

SUES-200: A Multi-height Multi-scene Cross-view Image Benchmark Across Drone and Satellite

ドローンと衛星のCross-View Image Matchingのデータセット。ドローン側は４つの異なる高さで撮影された画像で構成。論文内でベースラインの作成を実施。

Investigation of Antalya forest fire's impact on air quality by satellite images using Google earth engine

BAI（Burned Area Index）NDVI、SAVI（Soil Adjusted Vegetation Index）の指標を用いて、林野火災の影響範囲を検出＋大気への影響を評価。

Badi: a Novel Burned Area Detection Index for SENTINEL-2 Imagery Using Google Earth Engine Platform - NASA/ADS

BADIという焼失エリアを検出する指標を開発。(Sentinel-2のB4, B5, B6, B7, B8, B8A, B11, B12を利用した複雑な式)NDWIとNDVIを使って精度向上。

Toward Foundation Models for Earth Monitoring: Generalizable Deep Learning Models for Natural Hazard Segmentation

自然災害のセグメンテーションを発生場所と災害の種類、観測波長に依らず実施可能なモデルの提案。4つのU-Net(ResNet-34/SetNet-154/SeResNeXt-50/DPN-92)を使ってFine-tuningなしで実施可能とのこと。

Evaluating the effect of the incidence angle of ALOS-2 PALSAR-2 on detecting aquaculture facilities for sustainable use of coastal space and resources

だいち2号のデータについて、養殖施設を検知するためにはどの入射角が最適化を検討したもの。論文によれば最適な入射角は 33.8° ～ 45.1° とのこと。

Remote Sensing Monitoring of Terrestrial Ecosystem Carbon Budget based on Machine Learning and Big Data Platform

フラックスデータと衛星データを用いて炭素収支の推定モデルを提案し、南北60度の範囲で全球で解析を実施。

GAN-Based Object Removal in High-Resolution Satellite Images

GANを使った衛星画像からの物体除去のアプローチ。おそらく世界初のGANの偽画像データセットも作ったとのこと。

以上、2023年1月に公開された論文をピックアップして紹介しました。
皆様の業務や趣味を考えた時に、ピンとくる衛星データ利活用に関する話題はありましたか？

来月以降も「#MonthlySatDataNews」を続けていきますので、お楽しみに！