第1回衛星データ解析コンテスト、上位3名の解析手法と第2回への期待
2018年12月18日に行われた第1回衛星データコンテスト「Tellus Satellite Challenge」の結果発表。本記事ではコンテストの運営を行う株式会社SIGNATEの齊藤さんに解説いただいた上位3名の解析手法と講評をご紹介します。
衛星データ解析コンテスト「Tellus Satellite Challenge」の第1回上位入賞者の表彰が2017年12月18日に行われました。
※当日の様子はこちら
本記事では第1回「Tellus Satellite Challenge」結果について「Tellus Satellite Challenge」を運営する株式会社SIGNATEの代表取締役社長、齊藤秀さんにいただいた講評を紹介します。
記事執筆協力：齊藤 秀(SIGNATE)、向井田 明(RESTEC)
(1)「Tellus Satellite Challenge」とは~概要と実施の背景~
「Tellus」は日本政府が掲げる「宇宙産業ビジョン2030」で述べられている「2030年代早期に宇宙産業全体の市場規模の倍増する」という目標達成に向けて、衛星データの産業利用を目的とした衛星データプラットフォーム事業。
Tellus事業の一環として、衛星データの利活用事例を可視化し、優秀なデータサイエンティストの発掘、衛星データの周知・啓蒙等を行うことで「Tellus」の利活用促進を目的としたデータ分析コンテストが「Tellus Satellite Challenge」です。
(2)第1回コンテストのテーマとルール
まずは今回のコンテストのについておさらいしましょう。
第1回のテーマは「2016年に起きた熊本地震におけるSARデータを用いた土砂崩れ検出」でした。
今回のコンテストでは、地震発生前後のPALSAR-2データから生成した2枚の画像を用いました（下図の左側）。
該当シーンは約65km X 75kmの範囲をとらえています。それぞれ100m四方で約50万枚のグリッド画像に分割し、不要な画像を除去した約38万枚が対象。
そのうち65%の25万枚を学習用データ（答えを開示）し、残りの13万枚を評価用データ（答えを非開示）とし、評価用データの各グリッド画像に土砂崩れが含まれるか否かの判定精度を競うコンテストでした。
精度の評価方法は、IoU (Intersection over Union)を用いています。
TP(True Positive)：「土砂崩れ」を正しく「土砂崩れ」と予測した数 ＝ 「正解！」
FN(False Negative)：「土砂崩れ」を誤って「土砂崩れでない」と予測した数 ＝ 「見逃し」
FP(False Positive)：「土砂崩れでない」を誤って「土砂崩れ」と予測した数 ＝ 「勘違い」
IoUは完全正答時には1.0を示し、分母のFNやFPが増えるとスコアが下がることがわかります。「見逃し」も「勘違い」も許さない評価方法です。
(3)コンテスト結果~優勝者正答率30%について講評~
コンテストの結果、優勝者のIoUは0.303でした。まずはこの結果について、齊藤さんの講評を紹介します。
これまで多くのコンテストを見てこられた齊藤さんにとってこの数値はどのように感じられているのでしょうか。
【結果についての講評】
今回の結果は、２つの観点から評価できると考えます。
・技術的観点
そもそも今回の土砂崩れの「正解データ」は国土地理院による航空写真からの判読に基づいて設定しています。そのため、衛星データ、特に合成開口レーダー：SARでは見えないものも含まれています。
どの程度衛星から判読できたかは、今回用いたIoUではなく、再現率（Recall）と呼ぶ指標で評価できます。
実際に「土砂崩れ」であるもののうち、「土砂崩れ」であると予測できたものの割合を表します。今回の優勝者のRecallは0.57でした。
つまり、57%の土砂崩れを見つけることができたということ。この数値は、どの衛星データを用いるかによっても変わりますが、目視判読の経験者の感覚とも大きく離れていないようです。
また、今回の対象データに土砂崩れが含まれる割合はおおよそ0.6%程度でした。機械学習の世界では、この割合が小さいほど難しい問題。ことわざ「干し草の中から針を探す」のようなものです。
むやみに「土砂崩れ」と判定してしまうと、IoUの分母のFP（勘違い）が大きくなってしまいます。今回の問題はとても難しい設定で、IoU=0.303は決して低い数字ではないと思います。
・実用的観点
実際に使う立場になってみると適合率（Precision）という指標で検討できます。
「土砂崩れ」と予測したうち、実際に「土砂崩れ」である割合、を表します。今回のPrecisionは0.39でした。予測のうち約4割は本当の土砂崩れが見つかるわけです。
今回の対象画像を専門家が目視判読をすると、条件にもよりますが、おおよそ１時間程度はかかる作業。
入賞アルゴリズムはこの作業を自動的に人手に比べると高速に実行することが可能です。災害時に安定して迅速に土砂崩れの場所のあたりをつけることが可能になると評価できます。
今回は100m四方で土砂崩れの存在を判定しましたが、実際の土砂崩れは100mを超える大きさのものも存在します。そのため、上記の精度評価はおおよその目安として見ていただければと思います。
(4)上位入賞者の解析手法について
では、実際に上位入賞された方は衛星画像をどのように解析し、見事今回の結果を手にされたのか。齊藤さんに気になる解析手法を解説いただきました。
【解析手法解説】
今回のコンテストには544名の国内外の方々に参加いただき、3400モデルの応募をいただきました。厳しい競争を勝ち抜いた入賞者３名の解析手法を以下の表にまとめました。
まず、一言で講評すると、驚くほどモデリング戦略が類似しています。
今回の設定におけるモデリング戦略は、この方法でほぼ間違い無いようです。コンテストの1つの利点として沢山の試行錯誤を経てベストプラクティスが可視化されることがあります。
以下、3つのポイントに分けて解説します。
【前処理】
すべての入賞者が100m四方40px X 40pxの画像を位置情報に基づき、１km四方400px X 400pxに連結する処理を行っています。
そのうえ10 X 10のグリッドのそれぞれに「土砂崩れ」が含まれる確率を出力する形式をとっています。
これは、100mという範囲ではなく、周辺の状況も考慮して判定する戦略と考えられます。土砂崩れも大小さまざまあり、100mを超える大きさも存在することからリーズナブルです。
また、地震前後の画像を利用することは当然ですが、差分を取ることで変化した場所の情報を表す画像を生成するといった工夫がみられました。
【モデリング】
やはり深層学習（Deep Learning）が採用されています。使用されたネットワークはResNetおよびSENetでした。
それぞれ画像認識の世界大会ILSVRCにおける2015年、2017年の優勝モデルです。
また、前述したとおり、「土砂崩れ」のケースは全体の0.6%すぎなく、そのまま学習してしまうと、すべて「土砂崩れでない」と判定してしまうので、提示するデータの比率を1:1あるいは1:3に調整されています。
【後処理】
前処理で生成された複数の画像をもとに、多数の深層学習モデルを構築し、予測結果を平均して最終予測としています。このようなアプローチをアンサンブルと呼びます。「三人寄れば文殊の知恵」のようなイメージです。
(5)今回のコンテストを通して得られたこと
今回のコンテストを通しての、最終講評を齊藤さんにいただきました。
【最終講評】
「Tellus Satellite Challenge」の目的は、様々な分野の技術者に衛星データの分析にチャレンジいただき、衛星データでできることを広く発信することにあります。
光学・SAR、観測頻度や分解能が異なる様々な衛星データで、技術的にはどこまでのことができるのか？
それはやってみなければ誰にもわからないことです。
その意味でTellusはテストベットの役割があると思っています。今回のチャレンジでいえば、PALSAR-2のデータともに光学衛星であるLandsat-8のデータも提供しました。
これは、異なる種類の衛星データの組み合わせが有用かどうかの検討を期待するものです。
ただし、運用上の制約から土砂崩れの判定のタイミングではLandsatデータの利用は禁止とし、モデリング時の参考程度にとどめるルールとしました。
参加者の方々にはLandsatデータをうまく利用すべく創意工夫をしていただきましたが、結果的には精度向上に寄与しなかったというレポートをいただきました。
また、前述の入賞者の解析手法が驚くほど類似していたことからも、衛星データの持つポテンシャルを最大限に引き出すアルゴリズムのベストプラクティスが得られるという手応えを感じています。
このような知見を広く発信することで、衛星データに関わる技術的ハードルを下げ、Tellusを介した衛星データの産業利用の活性化にコンテストが大きく貢献できると確信を持ちました。
(6)第2回「Tellus Satellite Challenge」への期待
最後に、現在開催中の第2回「Tellus Satellite Challenge」についても、齊藤さんよりコメントをいただきました。
【第2回「Tellus Satellite Challenge」について】
第1回目のコンテストは、SARデータを用いました。SARは光学と異なり、雲などの気象条件によらず観測可能な利点がある一方で、衛星の専門家以外には敷居が高いのも事実かと思います。
一方、第2回コンテストで使用するデータは、50cm分解能を誇る光学衛星ASNARO-1のデータです。眺めていると色々なものが見えてとても楽しいです。
たとえば、下図はJR田端車両基地周辺のシーン。新幹線が沢山停車しています。画像認識に関係する知見をもつ技術者にとっては扱いやすいデータですね。衛星データ利用者の裾野もより広がりそうです。
第2回目のテーマ検討において、RESTECさんと日本らしいテーマがいいなとアイデアをだしあった結果、「高分解能光学衛星データを用いた水域における船舶検出」をテーマとすることにしました。
堅苦しいタイトルですが、要は宇宙から船を見つけよう！という話です。
水上の船などの活動を広くモニタリングできれば水運・漁業などの産業活動や安心・安全のために活用することができます。
日本は世界６位に相当する広大な領海・排他的経済水域を有しています。
あまりに広域なため船のモニタリングは簡単な話ではありません。
その点、衛星データのよいところとして観測域が広いことがあげられます。
さらに今回利用するASNARO-1の高分解能特性により船が動いているかどうかや、どんな種類の船かを判別できるのではないかと期待されます。
第2回のコンテストはこの仮説を検証することを狙っています。得られた成果をもとに、さらなる船種や船籍の詳細な判定が可能なモデルへと発展させることで、様々な目的への利用が拡がることを期待しています。
以上、第1回「Tellus Satellite Challenge」結果についての講評と第2回へのコメントを齊藤さんにいただきました。
第2回以降の「Tellus Satellite Challenge」への参加をお待ちしています！
