宙畑 Sorabatake

機械学習

第4回Tellus Satellite Challenge開催!テーマは「海岸線抽出」

衛星画像を用いたセグメンテーションのコンペ第4回Tellus Satellite Challengeについて、コンペの詳細と参考になる論文や資料をまとめました。

今年も「Tellus Satellite Challenge」の開催を発表しました。第4回目のテーマは「SARデータを用いた海岸線の抽出」です。

海岸線の抽出といってもどのようなことを実際に行うのか、この抽出によってどのようなことができるのかなど、コンテストの概要とテーマの意義を本記事では紹介します。

1.コンテスト概要

まずは、コンテストの概要を紹介します。

・タスク:衛星画像からの海岸線抽出
・データ:
– LバンドSAR画像
– 衛星:ALOS2(JAXA)
– 大きさ(縦×横):600×600~10000×10000
– 画像数:(学習用)25枚、(評価用)30枚
– 偏波:HH
※偏波とは電波の性質を表す一つの指標で、電界の振動方向の向きを表します。HHは水平偏波を送信し水平偏波で受信します。
– 観測波長:約24cm
– 解像度:3m × 3m
– エリア:17海岸(55シーン)
– アノテーション
– 形式:JSON
– 海岸線が存在するピクセル座標の集合
・賞金:
– 1位:100万円
– 2位:60万円
– 3位:40万円
・開催期間:8月6日(木)~11月6日(金)

コンテストの詳細は以下でご覧いただけます。

The 4th Tellus Satellite Challenge:海岸線の抽出
https://signate.jp/competitions/284

2.「海岸線抽出」の意義

海岸線とは

海岸は、波の力を弱まらせることで津波被害を防ぐ防災上の役割があります。また、海岸を生育環境とする動植物にも影響を与えます。
全国で深刻化する海岸浸食の原因は、地震や台風といった災害、気象の変化による波向きや風向きの変化、温暖化に伴う海面上昇、港湾整備やダム開発などの人為的要因によって、正常な砂の供給サイクルが崩れることにより生じるとされています。
海に囲まれた島国である日本は、総延長約3万5000kmにも及ぶ海岸を有しています。これは世界で6番目であり、国土面積あたりの長さではフィリピンに次いで2番目となっています。
また、日本の砂浜の面積は全国で約19,000haとされていますが、この15年間で約13%に当たる2,400haほどの海岸が浸食により消失しており、今後も毎年160haが失われると言われています。砂浜が消失に近い状態になってしまうと、その再生には莫大なコストがかかります。

「海岸線」を抽出することの意義と期待

現在、国土技術政策総合研究所は、手遅れになる前に対処できるよう、人工衛星によって全国の海岸の健康状態をモニタリングし、砂浜の侵食の兆候を早期に発見する研究を行っています。海岸線の長期的な傾向、短期的な変動を把握するために は、広域・高頻度な観測が必要とされています。人工衛星を使用すれば広範囲の海岸領域を高頻度にモニタリングが可能となります。

しかし、観測データから海岸領域を判読するには高度なスキルが必要なのが実情です。そこで今回のチャレンジではSARデータから海岸線をより高い精度で抽出するアルゴリズムの開発を目指します。

3.使用データ(SAR画像)の紹介と注意事項

SAR画像例。白黒のざらざらとした画像となる。 Credit : JAXA

SAR画像とは

今回のコンペで用いる衛星データはSAR(サー)データと呼ばれるデータです。

SARデータは、衛星から能動的に電波を発射し、地面での跳ね返りをみているデータです。(SARデータについての詳細は「合成開口レーダ(SAR)のキホン~事例、分かること、センサ、衛星、波長~」をご覧ください)

太陽光の反射を撮影している光学画像と異なり、夜でも、雲がかかっていても地上の状況を把握することができるという特徴があります。

海岸線検出の場合、光学画像でももちろん検出することができますが、雲がかかっていると撮影をすることができないので、観測頻度を高めるためにSAR画像を用いた検出が注目されています。

さらに詳しく、SARについて理解をしたい方は以下の記事をご覧ください。

「だいち2号」(ALOS-2)に搭載のセンサPALSAR-2

今回のコンテストで使用するデータは、国内の一部の海岸における陸域観測技術衛星2号「だいち2号」(ALOS-2)搭載センサPALSAR-2による観測データを用います。
PALSAR-2は、電波を地表面に照射し、地表面から反射される電波を受信することで情報を得る、合成開口レーダ(SAR)と呼ばれるセンサです。SARは昼夜を問わず天候に依らず地表を撮影できるといった特長があります。

SAR画像で地表を見るということ

SARデータでは、ざらざらした表面ほど多く電波が散乱し衛星の方へ返ってきて白く見え、水面などつるつるした表面では電波が全反射してしまうため黒く見えます。

水面は暗く(黒く)、人工物など複雑な表面は明るく(白く)みえる Credit : JAXA

気を付けなければ行けないのは、海面が荒れているときです。

穏やかな時は海面は滑らかなため暗く見えますが、風が強くなり波が高くなると表面が粗くなるため明るく見え、陸地との区別がつきにくくなると考えられます。

HH偏波とは

SARセンサの電波は上図に示すようにその振動方向によって、水平偏波(H)・垂直偏波(V)に分けられます。

水平偏波で電波を出して水平で受けることをHH、垂直で受けることをHVといい、垂直偏波で電波を出して、垂直で受けることをVV、水平で受けることをVHと言います。

細かいことは割愛しますが、要するにどの偏波で強く反射するかは物体の特性(表面特性や塩分の含有量など)によって異なります。

第6回津波防災地域づくりと砂浜保全のあり方に関する懇談会資料4-2 衛星画像を活用した海岸モニタリングに関する技術開発より抜粋。右下の4枚で示すようにHHまたはVVが最も海岸線を抽出しやすいと考えられる Source : https://www.mlit.go.jp/river/shinngikai_blog/tsunamiKondankai/dai06kai/pdf/doc_4-2.pdf

今回はこれまでの研究から、もっとも海岸線が区別しやすいと考えられ、なおかつ画像の枚数が最も多いHH偏波が用いられます。

一般的な画像と衛星画像の違いと注意事項

①一般的な画像よりもノイジーである

これまでのTellusのコンペや機械学習のアプローチの中で、衛星画像は一般的な画像と比較して生データに近く、ノイズが多いという特徴が見えてきています。

例えば、これまでのチャレンジでは前処理として画像のダウンスケールを行っている参加者が多くいました。画像のダウンスケールは、データがもつ細部の情報を多少捨てることになりますが、細部に含まれるノイズを除去するという意味があります。

②データセットの数が少ない

衛星画像は学習用のデータの整備が十分とは言えず、少ないデータセットから如何に精度の高い学習を行うかがポイントになります。

前回のチャレンジでは学習用データが少なかったため、ImageNetによる転移学習を適用する入賞者が多く見られました。そこでは、SOTA(state of the art)なセグメンテーションモデルが用いられました。そして、精度をさらに向上させるため、アンサンブルを用いる傾向も見られました。

4.参考になるコンペ・論文

以降では本チャレンジの参考になると思われるコンペや論文を紹介します。

● 境界抽出技術に関連する論文

A non-local algorithm for image denoising

https://www.iro.umontreal.ca/~mignotte/IFT6150/Articles/Buades-NonLocal.pdf

Non Local means (NL-means)と呼ばれるノイズを除去するためのフィルタについて提案しています。

Source : https://www.iro.umontreal.ca/~mignotte/IFT6150/Articles/Buades-NonLocal.pdf

そもそもノイズ除去は周辺の値と混ぜてぼかすことで平滑化を図るという技術です。

NL-meansフィルタは、その混ぜ合わせ方として、対象となるポイントと周辺の絵が似た絵であれば重みづけを大きくし、似ていなければ重みを小さくするというものです。

例えば上図では左側の縦に3つ並んだ四角は似ているため重みづけが大きくなりますが、これらと右側の四角で囲んだ箇所は似ていないので小さな重みとなります。

Source : https://www.iro.umontreal.ca/~mignotte/IFT6150/Articles/Buades-NonLocal.pdf

こちらの図では左側の図が元の絵、右側の図が重み(白いほど重みが大きく、黒くなると重みが小さくなる)を表しています。

このように平滑化を行う際の、混ぜ方の割合として「対象点と似ているか否か」で重みを付けるのがNL-meansフィルタです。

Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images

https://www.csd.uwo.ca/~yboykov/Papers/iccv01.pdf

Source : https://www.csd.uwo.ca/~yboykov/Papers/iccv01.pdf

画像の領域を分割する(セグメンテーション)手法として、以下の資料でも登場するのがグラフカットです。

AdobeのPhotoshopなどで背景を消して被写体だけをくり抜く技術です。

上図で示すように、画像をピクセル毎に分割し、色の差などの要素からピクセル間のコストを算出し、そのコストが最小になるように領域を分割していく手法です。

● 衛星SAR画像を使った海岸線抽出に関する論文/文献

第6回津波防災地域づくりと砂浜保全のあり方に関する懇談会資料 4-2 衛星画像を活用した海岸モニタリングに関する技術開発

こちらの資料ではSAR画像を用いて海岸線抽出をする時のフィージビリティスタディについてまとめられています。
SAR画像自体が高分解能化してきていることによって、SAR特有のノイズや波峰線(波の山の部分が連なった線)や砂浜の模様により、海岸線が誤って抽出される可能性があることを指摘しています。

第6回津波防災地域づくりと砂浜保全のあり方に関する懇談会 資料4-2 衛星画像を活用した海岸モニタリングに関する技術開発より抜粋。 Source : https://www.mlit.go.jp/river/shinngikai_blog/tsunamiKondankai/dai06kai/pdf/doc_4-2.pdf

従って、本研究では空間パターンの違いに着目し高精度に海岸線の抽出ができないかという試みが行われています。
前章でも偏波について触れましたが、海岸線抽出の精度は以下のパラメータに左右されることを述べています。

① 偏波

第6回津波防災地域づくりと砂浜保全のあり方に関する懇談会 資料4-2 衛星画像を活用した海岸モニタリングに関する技術開発より抜粋。右下の4枚で示すようにHHまたはVVが最も海岸線を抽出しやすいと考えられる。
Source : https://www.mlit.go.jp/river/shinngikai_blog/tsunamiKondankai/dai06kai/pdf/doc_4-2.pdf

② 撮影時の衛星の角度

第6回津波防災地域づくりと砂浜保全のあり方に関する懇談会 資料4-2 衛星画像を活用した海岸モニタリングに関する技術開発より抜粋。 Source : https://www.mlit.go.jp/river/shinngikai_blog/tsunamiKondankai/dai06kai/pdf/doc_4-2.pdf

SAR衛星はその撮影原理から自分の真下ではなく、常に斜め方向に撮影をしています。その際の斜めになる角度として30~50度が適切であると述べています。

③砂浜の粒径、波高

第6回津波防災地域づくりと砂浜保全のあり方に関する懇談会 資料4-2 衛星画像を活用した海岸モニタリングに関する技術開発より抜粋。 Source : https://www.mlit.go.jp/river/shinngikai_blog/tsunamiKondankai/dai06kai/pdf/doc_4-2.pdf

また、砂浜の粒径や波の高さをパラメータとしたP値という指標を定義し、このP値が0.75より大きい画像が海岸線抽出に適していると述べています。

第6回津波防災地域づくりと砂浜保全のあり方に関する懇談会 資料4-2 衛星画像を活用した海岸モニタリングに関する技術開発より抜粋。「スペックル」はSAR特有のノイズのこと。
Source : https://www.mlit.go.jp/river/shinngikai_blog/tsunamiKondankai/dai06kai/pdf/doc_4-2.pdf

より詳しく知りたい方は、以下の論文をチェックしてみてください。

Study on characteristics of SAR imagery around the coast for shoreline detection, Coastal Engineering Journal, 61:2, 152-170,2019.
https://doi.org/10.1080/21664250.2018.1560685

Study on shoreline monitoring system based on satellite SAR imagery, Yoshimitsu Tajima, Lianhui Wu, Takashi Fuse, Takenori Shimozono & Shinji Sato, Coastal Engineering Journal, 61:3, 401-421, 2019.
https://doi.org/10.1080/21664250.2019.1619252

衛星SAR画像からの海岸線自動抽出の適用性と誤差要因の分析

衛星SAR画像からの海岸線自動抽出の適用性、渡邊 国広・加藤 史訓・佐野 滝雄、土木学会論文集B2(海岸工学),Vol.75, No. 2, I_1285─I_1290, 2019
https://doi.org/10.2208/kaigan.75.I_1285

この論文では、国内の代表的な18海岸を対象に衛星SAR画像を用いて海岸線の抽出を行っています。
海岸線の抽出方法は以下の通りです。

また、論文では前項の資料と同様に抽出の成功率や誤差の要因として撮影時の入射角や砂浜の粒径が挙げられることを述べています。
さらに、それ以外の誤差要因として以下を挙げています。


①バームの状況

バーム Credit : Omotehama_Blog2020 Source : http://www.omotehama.net/Report/2015/2016/02/post-227.html

バームとは、砂浜海岸にある微地形のひとつで、満潮位よりもやや高い箇所にできる少し盛り上がった堆積地形のこと。高波浪時に削られ、波が穏やかなときに徐々に堆積するものです。
バーム周辺では頻繁な波浪のうちあげ等によって湿潤状態が保たれていることや、礫浜のバーム頂周辺には、粒径が大きい礫が堆積していることなどが、画素値の急変を生んでいるため、陸側に抽出誤差が偏ると推察されるようです。

②地物の影響

大きく陸側に外れて抽出されるものの中には、陸上の消波ブロックや海浜植生の前縁部が誤認識されていたと述べています。
こういったものの誤検出をいかに避けるかがポイントになるようです。

● 衛星SAR画像を使った機械学習系のコンペ

The 3rd Tellus Satellite Challenge「海氷領域の検知」

Source : https://signate.jp/competitions/183

前回のチャレンジでは、同じくSAR画像を用いて海氷領域の抽出を行いました。

入賞者のアプローチについては、以下の記事で解説を行っています。

この時のポイントは2点で①1枚の画像サイズが大きいことと②コントラストの低さで、これらは今回のチャレンジにも通じるところがあるのではないかと思います。

Statoil/C-CORE Iceberg Classifier Challenge

Source : https://www.kaggle.com/c/statoil-iceberg-classifier-challenge/data

kaggleでこれまでに衛星SAR画像を使った、セグメンテーション関係のコンペとしては、Statoil/C-CORE Iceberg Classifier Challengeが挙げられます。

こちらは海氷と船舶を識別するコンペになります。こちらのコンペは以前宙畑でも解説をしていますので、興味をお持ちの方はご覧ください。

SN6: Multi-Sensor All-Weather Mapping

Source : https://spacenet.ai/sn6-challenge/

これまで7回の衛星画像を用いたコンペを開催しているSpaceNetですが、SAR画像を使ったコンペは多くありません。

6回目のMulti-Sensor All-Weather Mappingでは、0.5m解像度の衛星SAR画像と光学画像を組み合わせて建物の検出を行うコンペを実施しています。

5.まとめ

本記事では2020年8月6日より開始されたSAR画像を用いた海岸線抽出のコンペについて、コンペの概要と、データセットとして用いるSAR画像の概要、また、参考になるコンペや論文についてご紹介しました。
衛星SAR画像は、光学画像と比べてまだまだ出回るデータが少なく、開催されているコンペも数えるほどしかありません。また、SAR画像の特徴からなかなか一般の人が目で見て読み解くことは難しいのが現状です。
しかし、だからこそ機械学習を用いたSAR画像の解読には非常に大きな可能性があると思います。
多くの人のご参加をお待ちしています。

The 4th Tellus Satellite Challenge:海岸線の抽出
https://signate.jp/competitions/284

宙畑の機械学習関連おすすめ記事