より良いエンジニアを目指して

1日1つ。良くなる!上手くなる!

論文感想文「ディープネットワークを用いた白黒写真の自動色付け」

概要

ディープラーニングで白黒写真をカラーにするという論文を読んでみることにしました。

英語は得意ではないですが、チャレンジしてみます。

2016年にテレビや新聞などでも取り上げられたそうですね。

iizuka.cs.tsukuba.ac.jp

感想

大域的特徴と局所的特徴

  • global feature…大域的特徴
  • local feature...局所的特徴

大域的特徴と局所的特徴を分離して把握する考え方のようです。

写真全体で、天候や季節を判断し、大域的特徴を決めます。

大域的特徴で夕暮れとなると、(局所的特徴)浜辺だったら、夕暮れのハイライトで浜辺として色付けをするという。

言われてみれば、そうですね。同じ被写体を撮るにせよ、光の加減で全然違いますよね。

その他

  • データセットは大域的特徴として205のクラス分けをしている
  • 平均二乗誤差(MSE)で評価してトレーニングする
  • RGB,YUV,Labについて試したところ、難しいケースではLabが良い結果となった
  • テントの色など答えが曖昧な問題はある

論文の素晴らしさに触れてみる

非営利目的という前提で、試してみることができます。

研究成果を身近な形で体験できるというのは素晴らしいですね。大学に入る前に、研究とか聞いても何をするのかは想像でしかわからないので。

Automatic Image Colorization・白黒画像の自動色付け

試してみることにしました。やや待たされます。

白黒写真だと今時はありませんので、名作「ローマの休日」の画像を拝借させていただくことに。

f:id:rimever:20190120153426p:plain

ん、うーん。

偉大な科学者アインシュタインでも試してみました。

f:id:rimever:20190120162716p:plain

それっぽくはありますが、どうしてもセピアっぽくなってしまいますね。

論文を読んだところ、データセットの多くは自然のようですから、自然の白黒写真で試すことにしました。

下記の素晴らしい写真を拝借

領海 白黒写真 自然 · Pixabayの無料写真

f:id:rimever:20190120171151p:plain

これは、かなりの出来栄えですね!!

日本が誇る富士山も素材を拝借して試すことにします。

[フリー写真] モノクロの富士山と雲の風景でアハ体験 - GAHAG | 著作権フリー写真・イラスト素材集

f:id:rimever:20190120172116p:plain

こちらも良いですね。

[フリー写真] ダグラス・スチュアート記念碑とエディンバラの街並みでアハ体験 - GAHAG | 著作権フリー写真・イラスト素材集

f:id:rimever:20190120172946p:plain
ダグラス・スチュアート記念碑とエディンバラの街並み

大局的特徴を把握して、夕暮れを表現してくれました。

というわけで、自然の写真が良さそうですね。

最初の2枚を試した時は、こんなもんかとガッカリしていましたが、この論文とサービスの素晴らしさを体験できて良かったです。