2023年2月に中国の偵察気球がアメリカ上空で発見、撃墜されたのは皆さんの記憶にも新しいニュースかと思います。
その裏側で衛星データと、最先端のAI技術が使われてたことはご存知でしょうか。
偵察気球の追跡を行ってきたPlanet Labs社（以下、Planet社）と、Synthetaic社に、宙畑編集部が単独インタビューを実施、詳しくお話を伺うことができました。

Planet社は、現在200機以上の衛星を運用して地球観測を行い、農業、インフラ管理、気候・環境モニタリングなど多岐にわたる分野で衛星データサービスを提供しています。Synthetaic社は、現CEO Corey Jaskolski氏の絶滅危機にあるスマトラサイの援助活動をきっかけにAIソリューションを提供する企業として、2019年に設立されました。

地球観測衛星データ活用の最前線を進み続けるPlanet社と、気球追跡の鍵となるAIサービス「RAIC（Rapid Automatic Image Categorization, レイク）」を開発したSynthetaic社による衛星データのAI利用の最先端について、事例を基にご紹介します。

【インタビューを受けて下さった方】

▼Jim Thomasonさん／VP Product, Imagery and New Missions, at Planet
Planetの副社長であり、衛星データを活用した製品、新プロジェクトの担当者として、革新的な衛星画像と衛星データソリューションを構築するグローバルチームを監督する。CiscoやSchneiderなどの企業で技術チームのマネジメントを行ったのち、2017年にPlanetに入社。農業、政府、金融、保険などさまざまな分野の顧客と連携し、Planetのミッションである「Using Space to Help Life on Earth」を目指す。

▼Corey Jaskolskiさん／CEO Synthetaic
マサチューセッツ工科大学を卒業し、Synthetaicの創業者兼CEOとして、グローバルな探査、環境保全、安全保障のためのテクノロジー開発に取り組む。具体的には、高解像度のエベレストLIDARマッピングや、氷河期のクマの骨格標本のデジタル化などのプロジェクトを牽引。National Geographic Fellowとしても活動を行い、2020年には自然保護への先駆的貢献が認められ、 Rolex National Geographic Explorer of the Year Awardを受賞した。

（１）中国の偵察気球追跡プロジェクトとは

2023年2月、中国の偵察気球がアメリカ上空で見つかり、日本でもニュースで取り上げられました。サウスカロライナ州沖で戦闘機に撃墜された後、その出所と経路についても様々な推測が出るなかで、Planet社では、自社が保有するあらゆる地点の約2,400 枚を超える衛星データから気球を見つけ出すことはできないか、と考えたといいます。しかし毎日約400枚にもなる衛星画像を1枚ずつ、人が見て気球を見つけ出すことは難しいでしょう。
そこでRAICをもつSynthetaic社との追跡プロジェクトが始まります。Planet社とSynthetaic社は、本プロジェクト以前にも温室効果ガス排出量を調査する取り組みなどを一緒に行ってきたといいます。

では、RAICは従来のAI技術とどのように違うのでしょうか。従来のAIアルゴリズムでは、機械学習の過程で多くの教師データを必要とするため、企業によっては数十億枚のラベル付けされたデータを使用してAIが特定の物体を検出できるようトレーニングを行うといいます。

しかし今回のケースでは、衛星画像上で誰も確認できていない気球を見つける必要があり、教師データを準備することはできませんでした。ここでRAIC（Rapid Automated Image Categorization）が活躍します。RAICの特徴は、ラベル付けされたデータや、データ検出の事前トレーニングを不要とし、AIと人間のサポートで画像データに含まれる任意の物体を即座に検出・分類することです。実際に、気球が撃墜される前のサウスカロライナ州上空で撮影されたたくさんの画像から、RAICは2分以内に気球を捉えたといいます。RAICが、人のサポートによってどのように気球を検出したのかについては、次の章で詳しくご説明します。

気球がRAICによって検出できたのちは、気球の目撃情報、風予測などを用いてアメリカ大陸上を逆算しながら気球を追跡しました。アラスカ上空で追跡できなくなってからは、7日間分約60テラバイトにもなる地球観測データをRAICに読み込ませ、気球の追跡と中国の南シナ海の島にある気球の発射地点までつきとめることができました。最終的にRAICは、合計で中国から南カロライナ州までの気球の2週間の行程を12回検出しています。

なぜRAICは教師データがない中で、気球を見つけ出すことができたのでしょうか。
RAICの真骨頂であるAIと人間のサポートについて、2章以降はインタビューの内容をご紹介します。

（２）RAICはどのように衛星画像から気球を追跡したのか

Syntetaic社が開発したAIパイプライン「RAIC」は、ラベル付けされていない画像データを取込み、ユーザーが見つけ出したい対象に似ているもの提示し、対話形式でその精度を上げていき、本当に欲しい対象を見つけるためのAIモデルを簡単に生成することが出来ます。

今回のプロジェクトでは、このRAICを使って、手書きのイラストをインプットとして、広範囲に亘る衛星データの中からたった一つの気球を見つけ出したとのこと、その過程を詳しくお伺いしました。

宙畑：RAICがどのように気球を追跡したのか、詳しく教えてください。中国の偵察気球を見つける最初の手がかりになったのは、赤、青、緑の3色の円のイラストだったと記事で拝見しました。このアイデアは、Planet社、Synthetaic社どちらのアイデアだったのでしょうか。

Synthetaic社：私たちのアイデアでした。過去にPlanet社と一緒にプロジェクトを行う中で、Planet社の衛星に搭載されたセンサが、どのように動く物体を写すのかを知っていました。私たちのプロジェクトは、偵察気球が撃墜されたサウスカロライナ州の衛星データと、自分で描いた手書きの気球の絵をRAICに読み込ませたことから始まります。

まずPlanet社の衛星が様々な角度で上空から、赤、青、緑のバンドで撮影した時に気球がどのように見えるのか予想しながら絵を描きはじめました。結果として、上図のような赤、青、緑の雪だるまのような形になりました。

実際にRAICが検出した気球は、衛星画像で見ると赤、青、緑の円はくっついておらず、ひとつずつ離れていました。しかしRAICは私の描いた絵から赤、青、緑の円を検出し、気球を見つけることができたのです。一度衛星データ上で気球を見つけると、RAICはPlanet社のデータに写る実際の気球の画像を次々に見つけ、中国の気球の発射地点まで遡ることができました。

宙畑：RAICのAIエンジンでは、初めに手がかりとなる情報を読み込ませることが、検出する上での重要になるんですね。

Synthetaic社：その通りです。どんなものでも、手がかりになり得ます。例えば、軍事施設を探しているのであればどのような場所で、どのような見た目かがわかれば、絵や3Dモデル、生成AIのデータを用意することで、それらを手がかりにRAICで全世界を検索することができます。

宙畑：つまりRAICで気球を見つけ出す方法は、手描きの気球の絵以外に他の手がかりを使うこともできたのでしょうか。

Planet社：私たちはこれまで多くの飛行機を衛星で撮影してきた背景から、気球が赤、青、緑の円を描いたのと同じように、飛行機が赤、青、緑にズレて見えることを知っていました。従って、RAIC に飛行機を読み込ませてもデータから気球を見つけ、それ以降は気球だけを識別するように調整することもできたでしょう。

宙畑：気球を追跡する際に、他に手がかりを追加するようなことはありましたか。

Synthetaic社：気球を見つけるにあたりデータによって、円の見え方が変わる場合があることが分かりました。飛行機など物体が早いスピードで移動している場合は、その物体を赤、緑、青で見ることができます。一方、気球は衛星速度に対する物体の速さが遅いため、雪だるまのように各色の円が重なり、黄色含む複数色で確認できます。私たちは気球が、黄色と緑の2つの速度が円で見えることもあることに気づきました。従って私たちが赤、青、緑色のみの気球を探していた場合には、一部の気球を見逃していたでしょう。

だからRAICは、AIと人間のコラボレーションと呼んでいます。ビッグデータから、手がかりに最も似ているものを選択し、探している物体が正確に見つかるまでそれを繰り返します。

初めから完璧な手がかりがなくても、見つけるまでRAICを操作し調整することができます。今回のケースでも気球が必ずしも綺麗な丸い気球ではなく、太陽の当たり方によって片側だけが明るい場合、またそうでない場合もありました。厳密にAIがどう動くか、RAICがどのように機能するのかばかり考えてしまうと、様々な写り方をする気球を何度も見逃していたでしょう。RAICではAIと人間が対話できるので、学習中のものをそのままガイドすることができます。

従来のAI技術では、データのラベル付けを行い、AIをトレーニングしてやっと使える状態になりますが、RAICでは、分析までに数ヶ月の期間が必要となることはありません。

宙畑：RAICを操作できる人は社内で何人くらいいるのでしょうか。

Synthetaic社：当社には47名の従業員がいますが、ほぼ全員がRAICを使用できます。15分もあれば使い方を教えることができ、中国の気球も見つけられるでしょう。それくらい使い方は簡単です。

宙畑：RAICの性能を活かして、偵察気球を追跡するにはどのような空間分解能、時間分解能（観測頻度）の衛星画像が必要になるでしょうか。またその他の要素もあるのでしょうか。

Synthetaic社：気球の追跡においては、時間分解能が最も重要な部分でした。なぜなら、地球全体の毎日分の衛星データが必要だったからです。高解像度のデータを使用していたら、撮像できる範囲が小さくなってしまうため、逆に時間分解能が不足して気球を見つけることはできなかったでしょう。今回のプロジェクトで気球を追跡できたのは、 Planet社の衛星データの時間分解能のおかげでした。

Planet社：私たちは最初の衛星を設計したときから空間分解能と、時間分解能のバランスにこだわり、撮像範囲を確保して、毎日地球全体の衛星画像を取得できることを目指してきました。特定の地域のみを撮像するのが一般的であるのに対し、私たちの中解像度の地球観測衛星DOVEでは地球全体を撮像します。これは衛星データ利用の可能性を高める時間分解能だと考えています。

空間分解能と撮像範囲、そして時間分解能のバランスをとることで、毎日地球上のあらゆる場所を撮像できる体制を構築してきました。特に時間分解能では、全世界を少なくとも1日1回は撮像できることを目標にしています。

現在では高解像度のSkySatを使用することで、毎日のデータを取得する中解像度と、詳細データを取得できる高解像度とで切り替えることが可能となりました。より高い空間分解能の衛星画像を利用して、データを補完することができます。具体的には広範囲を毎日衛星で監視しながら、より多くの情報を知りたい場合には高解像度のSkySatを使用して特定の場所を拡大して撮像できます。中解像度と高解像度の衛星の使い分けは、より詳細な情報を取得し、物事を判断するために必要だと考えています。

SkySatを使用すると1日に最大12回特定の場所を撮影できますが、私たちの次世代高解像度衛星ペリカンではその観測頻度を向上させることが重要だと考えており、特定の場所を最大30回撮像できます。

Synthetaic社：多くの国が独自の衛星を持っていますが、私たちが知るかぎりPlanet社のように毎日地球の全てのデータを収集できている国はありません。

Planet社：もう一つ重要なことは、アーカイブに保存したすべての画像を公開することだと考えています。全ての画像を公開している私たちだからこそ、RAICの性能を最大限活用できます。

高解像度の衛星をもつ企業の一部は、衛星画像を民間向けには公開していないところもありますよね。そういった企業は防衛省などと契約していて、衛星画像は非公開となります。私たちは衛星データが広く社会で活用されるように、豊富なデータセットをあえて公開しています。

宙畑：Planet社が全てのデータを公開する理由について教えてください。Planet社と、その他企業の考え方の違いは何でしょうか。

Planet社：私たちは透明性を非常に重要視しています。将来的には全ての顧客、全てのパートナー企業が、私たちの収集している衛星データのアーカイブにアクセスできるようにしたいと考えています。なぜなら、提携企業先へその企業がもつ独自の機密情報を公開することなく、Planet社の衛星データを共有できるからです。この点は多くのパートナー企業や、防衛関係の顧客からも高く評価をいただいております。

私たちがデータの透明性を維持して全ての衛星画像を公開することは、顧客がアーカイブを自由に閲覧できること以上に多くのメリットがあります。例えば各国が協力する必要がある場合に、それぞれの国家機密情報を共有することなく、私たちの衛星データを使用してプロジェクトを進めることができます。顧客にデータの透明性を提供することで、私たちは世界の平和と持続可能性を向上させたいと考えています。

（３）衛星データ活用におけるAI技術の価値

宙畑：膨大な衛星データをもつPlanet社にとって、AIを用いて必要な物体を検索できることは画期的だったのではないでしょうか。衛星データ活用におけるAI技術の価値について教えてください。

Planet社：RAICのようなAI技術の開発は、私たちは少なくとも5年前から必要としていました。衛星を使って地球全体を収集し始めたときから、人間が衛星データを分析するには多すぎるデータ量だと感じていました。人間が衛星画像を調べるには、数百人もの人が必要になるでしょう。膨大な衛星データから迅速なデータ処理と、意思決定を行える体制を構築する必要があると考えておりました。

私たちは、顧客が衛星画像の変化を目に見える形で把握し、地球で起こっていることを理解できるツールを求めていたため、Synthetaic社とのパートナーシップに期待しています。加えて過去の衛星画像を使用すれば、過去を遡って必要なものを調べることもできるため、RAICはとても有効的なツールだと考えています。

Synthetaic社：私たちも、物事を迅速に判断するためにAIを活用したいと考えています。AIが物事を判断するには、私たちが持っているアルゴリズムと、データが必要です。私たちのアルゴリズムだけでは、目的は果たせません。

宙畑：衛星データを機械学習にかける時、もちろんデータ量が多ければ多いに越したことはないと思いますが、その分、大量の計算機が必要になってしまいます。この点については、いかがですか。

Synthetaic社：大切なのはデータ量の多さだと考えています。地球全体の1日分の衛星データを取得して、RAICで一度検索することに成功すれば、その後は何でも検索できるようになります。RAICは気球を見つけるだけのAIモデルではないんです。一度RAICで検索するデータセットを作成すれば、別のものを見つけたいときにもRAICを使って調べることができます。

従来教師データありの機械学習では、何かを見つけるために多くのデータを必要としましたし、調べる物体が変わるたびにその都度学習し直しが必要でした。一方、教師データを必要としない機械学習システムのRAICでは別の物体を検出する時にも、作成したデータセットを応用できる仕組みになっています。従って、読み込むデータ量が増えても今話題のchatGPTのような原理で、作成したデータセットを使って、新たな学習無しに別の物体を見つけることができます。

現在は、今回のようにプロジェクト単位で必要なときに、衛星データを読み込んで検出していますが、将来的には撮影された衛星データを日々端からすべて読み込んでおけば、検索精度や速度はもっと上がると考えています。

宙畑：確かにデータ量が多いほど正確な情報が得られると思いますが、その分GPUなどのコンピューティングリソースが必要にならないのは驚きです。データ量が増えるにつれて保存に必要なストレージ容量が増加しますが、ストレージ費用の課題はありますか。

Planet社：仰る通り衛星画像のデータ量は日々増加していますが、クラウドのコストはより効率化されているように感じています。クラウドサービスの発展により、データ処理から保存まで適切に利用できています。

Synthetaic社：RAICを利用して、衛星データがさらに有効活用されることで、新たな価値が生まれていくと考えています。つまりデータ量が増えるにつれて、データを使用する顧客も増えると考えており、ストレージ費用を課題だと感じていません。

宙畑：AIを使って衛星画像を調べるためには、画像の質など衛星画像のどのような点が大事なのでしょうか？

Planet社：私たちは、AIで分析しやすいデータを整備するために社内で多くの処理を行っています。昨日の衛星画像と今日の画像、明日の画像をAIが比べやすいように、すべての画像の色味を調整しています。

例えば衛星画像から建物を見る場合、アーカイブ全体を通してその建物が一貫して同じ場所にあることを確認できるように、多くの処理を行っています。これは人間とAIの両方が、データを使用できるようにするための標準的な処理です。この問いは私たちにとっても興味深いです。特に、バンドレジストレーション（※）がAIにとってどの程度重要であるかを確認したいと考えていました。

Synthetaic社：AI側の観点では、RAICは画像がどのように見えるかをそれほど気にしていません。例えば衛星データが赤、青、緑ではなく白黒になったとしても、青のRAICはまだ機能するでしょう。多少の画像の違いであればRAICで検索できるようになっていて、人間が画像を操作する必要はありません。

宙畑：RAICは、データフュージョンなしに複数のデータを取り込めるということですか。

Synthetaic社：その通りです。衛星データではありませんが、現在関連する実験として、地上に設置されたカメラ、ドローン、車に搭載したカメラの異なる3種類の画像から1つの物体を探す実験を行っています。画像の調整は不要で、特定のデータセットに合わせてRAICが調整します。

中国の偵察気球の追跡では光学画像を使用しましたが、SAR画像では人間も判読が難しくなるようにRAICの場合にも、詳細な情報を見つけられるように再トレーニングは必要でしょう。しかし、それ以外に再トレーニングする必要はほとんどありません。

同じアルゴリズムを使ってSkySatだけでなく、MAXARなどの別の衛星画像にも同じRAICを使用することができます。

宙畑：日本には株式会社アクセルスペースや、株式会社QPS研究所のような衛星を運用し、データを販売している会社があります。Planet社と比較すると少数の衛星をもつ日本の衛星会社とも将来的に連携する可能性はあるのでしょうか。

Planet社：できると思います。RAICではないですが、既に私たちは日本のSARデータ会社と協力しており、衛星データを組み合わせた新たな視点での判断や分析サービスを提供しています。

宙畑：ハイパースペクトル画像はどうでしょうか。Planet社には、ハイパースペクトルセンサを搭載した衛星の開発計画 ”Tanager”があると思いますが、同じくRAICの利用など検討されていますか。

Synthetaic社：私たちは、Planet社のハイパースペクトル衛星にとても期待しています。RAICは、赤、青、緑の3 つの波長のみで動作するわけではありません。理論的には200の波長をRAICで扱うことができ、これまで不可能だった衛星データから何か新しいものを見つけられるのではないかととても興奮しています。

宙畑：中国の気球追跡で用いたのは、赤、青、緑の3つの波長だけですか。

Synthetaic社：気球の検出には3波長を使用しています。Planet社の全世界を捉える衛星群Doveはの8つの波長で観測を行っているので、8つの波長を使用して、より良い画像の取得ができないか検討しています。

（４）日本における衛星データ×AI技術の活用について

宙畑：日本での衛星データとAI技術の展開について、どのような可能性を感じていますか。

Planet社：安全保障分野への展開が重要だと考えています。安全保障分野の予算が多いこともあり、衛星データだけでは解決できない、AI技術と共同で提供すべきサービスとして、膨大な衛星データアーカイブから必要な情報を検索する方法が日本でも求められていくと考えています。

必要な情報や、利用者が興味を持ちそうなことを何でも探すことができる機能を膨大な衛星データと組み合わせることで、安全保障分野以外も応用ができると考えます。

例えば、日本には多くの商社がありますが、世界中の木材の山を衛星データから見つけて、木材の備蓄量をAI技術で推定できるようになれば、商社にとっては非常に強力な情報になるでしょう。衛星データとAIを組み合わせた木材のトレーサビリティサービスも、 RAICを使用すると非常に簡単に実行できます。

宙畑：衛星データとAI技術の導入において、日本における課題は何でしょうか？Planet社とSynthetaic社が今後、日本で展開していくにあたってご意見をください。

Planet社：現段階で、課題があるとは感じていません。日本の市場でも、衛星データをAIで処理していくなど新しいテクノロジーに対して前向きだと捉えています。政府が推進するDXが、地方自治体や企業などあらゆるレベルに浸透すると、さらに動きは加速するでしょう。

Synthetaic社：多くの国では、新しいテクノロジーを導入するのに何年もかかることがありますが、日本はそれらの国と比較して、新しい技術を取り入れる環境は整っているように感じています。

Planet社：確かに日本は決めるまでに時間はかかりますが、一度導入を決めるとそれ以降の動きは早いですよね。また新型コロナウイルス感染症の流行は、社会や私たちの生活に大きな変化をもたらしましたが、新しいテクノロジーを導入するきっかけにもなったと考えています。今後の日本での展開にも期待をしています。

（５）まとめ

ニュースで見ていた中国の偵察気球撃墜事件の裏に、Planet社とSynthetaic社の技術的な強みが可能にした全球レベルでの気球追跡と、インタビューを通して各社が思い描く衛星データ×AIの未来像を知ることができました。

AIや機械学習と聞くと、実際に使えるようになるまでにデータの学習に時間がかかる印象でしたが、RAICはそういったこれまでの常識を覆すAIサービスです。衛星データの利活用場面では、衛星データの判読に人手がかかること、特にSAR衛星の場合には解読できる人を育てる難しさもあると言います。RAICを利用して、これまで人の目では追いきれなかった地球上の変化を迅速に特定できることで、膨大な衛星データを効率的に分析できるのではないかと可能性を強く感じました。

インタビューの中でもお話がありましたが、これらの技術は災害対応や、環境保全など様々な分野で価値創造できる可能性があると考えています。また今回の気球検出には、赤、青、緑の3波長が用いられましたが、近赤外などを含む波長数が多いハイパースペクトル衛星の画像にRAICを使用することで、可能性はさらに広がるでしょう。
今回の中国の偵察気球追跡プロジェクトの成功は将来の可能性を切り拓くものであり、AI技術の進化によって衛星データの価値も高まるのではないかとわくわくしました。

Planet社とSynthetaic社の今後の活躍に注目していきたいと思います。