はじめに

今回紹介するのは、衛星データを用いたアートチャレンジ。オープンな環境で、誰でも簡単にアートを楽しめるようにガイドさせていただきます。本記事を担当するのは、「社会課題を先端技術で解決し、新しい社会を創造する」をビジョンに掲げるテックファームRidge-iの畠山です。

Ridge-iでは、機械学習・Deep Learningの技術を持っている他、問題設定から導入までワンストップで行えるプロジェクト実行能力でも高い評価をいただいております。

これまでにも、衛星データを活用したプロジェクトとして、無料で衛星データの変化を簡単に確認できるサービスGRASP EARTHや衛星画像から駐車場をAIで検出するTellus VPLを駐車場予約アプリ「akippa」を運営するakippa株式会社(あきっぱ)、さくらインターネットとで研究開発し、リリースしています。※詳細はこちらのページをご確認ください

今回の記事では宙畑編集部の方と話し合い、実ビジネスへの応用観点以外に、多くの皆様に衛星画像を身近に楽しんでもらうことに重点を置いて記事を執筆いたしました。楽しんでいただければ幸いです。
※実装コードはこちらで公開しておりますので、ぜひ、試してみてください。

(1)衛星でアート作品を作る方法

今回、アートを作成する方法として、Style transferという技術を使用します。

これは、Gatysらによって2016年に発表された技術で[1]、画風の元となる絵の画風の特徴を学び、その画風を実際に撮影された写真などに適用し、あたかも絵の作者が写真で撮影された部分を描いたかのように見せることができる技術です。

例えば、下の図では、A部分の写真をB、C、Dの左下の画像で学ばせた結果を示しています。Deep Learningを使用するとこのような絵を描くことも容易となります。この記事では、スタイルを変化させたい画像（ここでは衛星画像）のことをコンテンツ画像、スタイルを移送させる元の画像のことをスタイル画像と呼びます。

※本記事では、技術の詳細説明は省略いたします。冒頭でコードを公開しておりますので、詳しく学習されたい方はそちらのコードをご覧いただくか、「@space_waku」までコンタクトいただけますと幸いです

(2)衛星データの用意

まず、衛星データを用意します。衛星データは複数のソースからダウンロードすることが可能ですが、今回はTellusを用いる方法とSentinel-2を用いる方法の2種類を紹介します。

１．Tellusを用いる方法
現在、Tellusから無料で衛星データをダウンロードすることができます。

こちらに、Tellus上でASNAROで撮影された東京湾のデータをpng化し、保存する部分までをまとめたコードを示しております。

※ダウンロードできる衛星データの場所・期間については、仕様をご確認ください
※衛星データをダウンロードするためには、自身の開発環境を作成し、Tokenを発行する必要があります（コード中”PASTE YOUR TOKEN”と記載されている箇所にペーストが必要）。
※Tokenの発行方法はこちらへ

２．Sentinel-2を用いる方法
Sentinel-2の画像はEO browserからダウンロードすることが可能です。

詳しいダウンロード手法についてはこちらの記事やこちらの記事にて見ることができます。

今回、コンテンツ画像として下記のような東京駅周辺の画像を使用します。Sentinel-2の分解能は10m程度であり、皇居から国立競技場まで広く見えることが特徴です。この後の記事では、こちらの衛星画像をコンテンツ画像として取り扱います。

(3)衛星データ×芸術！ Style transferの実行

ではさっそく、任意の衛星データと様々な絵を組み合わせてアートを生成してみましょう。

今回使用したコードはGoogle Colabで作成しており、こちらに公開しています。Google Driveをマウントすることで任意の画像でStyle transferができますので、ぜひ試してみて下さい。コード中にも適宜コメントを残しております。

ゴッホ x 東京

まず、下に示すゴッホ作の「星月夜」という絵画を元にスタイルを変換していきます。こちらの絵は、渦巻き状で今にも動きだしそうな空が特徴です。

こちらの画像を元にスタイルを変更した画像が以下となります。各所に渦巻き状のスタイルが見えており、ゴッホの絵のスタイルを上手く反映させていることが分かります。

次に、以下に衛星画像とその土地にゆかりのある人物による絵画や作品を組み合わせてアート作品にした例を複数示します。

横山大観 x 秩父の雲海

秩父は、三峯神社周辺から見える非常にきれいな雲海が有名な町としても知られています。

横山大観もその景色に魅了された一人で、描かれた絵でも神々しい山々の中に雲海が広がる様子が表現されております。

では、薄雲がかかった秩父市街を横山大観の『秩父霊峰春暁』を元にStyle transferをした結果を示します。出力された絵を見てみると、衛星写真中の薄雲と秩父市街の様子が霧の中にたたずむ山のように表現されており、非常に味のある表現となっていることが分かります。

佐賀県六角川河口 x 銭湯に描かれた富士山

次に示すのが、佐賀県六角川河口付近の衛星画像を用いてStyle transferしたものです。

もともと、六角川河口付近は富士山のようなきれいな形をしていることで知られております。銭湯の富士山を用いると、それ通りになるのかという仮説の元Style transferを行ってみました。

残念ながら、富士山ぽくはなりませんでしたが、一方で、明るい春の雰囲気をまとう絵が出力されたのではないかと思います。

狭山丘陵 × となりのトトロ

ジブリアニメの傑作「となりのトトロ」のの舞台のモデルの一つといわれている狭山丘陵と、スタジオジブリでオープンに配布されている名シーン画像を用いて画風変換を行うと以下のようになります。

結果を見ても、上手くジブリの世界観を移植できているように見えます。よーく見ると、数箇所トトロが見えますね。

油絵っぽい出力ができる画風変換技術

本記事では、Style画像から画風を学習し、Contents画像に画風を移すことを行いました。

最新の論文[8]では、画家が一筆一筆描いたような絵を出力するモデルも紹介されております。この論文では、従来の論文と違い、ピクセル単位で推論結果を出すのではなく、筆のストロークを模したvector dataを絵の最小単位として構成させるように学習させるアーキテクチャを構築したところに新規性があります。

このモデルを使うと、Style画像が不要です。詳しい説明は論文に譲り、ここでは、実例をご紹介します。

今回、公開しているコードでは(a)の油絵風画風変換を実装しています。皇居周辺の画像を画風変換した結果は以下となります。

タッチは非常に粗いですが、油絵っぽくなっていることが分かります。さらに、こちらに紹介されているコードを用いると、油絵っぽい絵が描かれる過程を可視化することもできます。以下にムービーを紹介します。
⇒ムービーを見る

簡単に試すことができますので、皆さんもぜひ挑戦してみてはいかがでしょうか？

最後に

今回は、皆様により衛星データに慣れ親しんでいただきたく、衛星データを活用したちょっとした遊びに関する記事をご提供させていただきました。

これをきっかけに、ご自身がお住まいの地域、及び文化に触れてみてはと思います。

また、お子さんのお絵描きの画風と衛星データを用いて変換することも可能です。こちらのコードを使用して、自分の住む地域についてより興味を持っていただくきっかけになればと思います。

参考文献
[1] Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. “Image style transfer using convolutional neural networks.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
[2] 「キュビスム」『フリー百科事典　ウィキペディア日本語版』アクセス日: 2021/9/22, URL:
https://ja.wikipedia.org/wiki/%E3%82%AD%E3%83%A5%E3%83%
93%E3%82%B9%E3%83%A0
[3] 『泣く女』, 西洋絵画美術館, アクセス日: 2021/9/22, URL: https://artmuseum.jpn.org/mu_nakuonna.html
[4] 『星月夜』, Explore France, アクセス日: 2021/9/22, URL: https://jp.france.fr/ja/paris/list/190716-vangogh
[5] 『秩父霊峰春暁』, UAG美術家研究所, アクセス日: 2021/9/22, URL: https://yuagariart.com/uag/ibaraki22/
[6] 銭湯の富士山の壁絵, elooopa photos, アクセス日: 2021/9/22, URL: https://elooopa.com/archives/201710/2349
[7] となりのトトロ, スタジオジブリ, アクセス日：2021/9/22, URL:https://www.ghibli.jp/works/totoro/#frame&gid=1&pid=25
[8] Zou, Zhengxia, et al. “Stylized neural painting.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.