概要
ディープラーニングで白黒写真をカラーにするという論文を読んでみることにしました。
英語は得意ではないですが、チャレンジしてみます。
2016年にテレビや新聞などでも取り上げられたそうですね。
感想
大域的特徴と局所的特徴
- global feature…大域的特徴
- local feature...局所的特徴
大域的特徴と局所的特徴を分離して把握する考え方のようです。
写真全体で、天候や季節を判断し、大域的特徴を決めます。
大域的特徴で夕暮れとなると、(局所的特徴)浜辺だったら、夕暮れのハイライトで浜辺として色付けをするという。
言われてみれば、そうですね。同じ被写体を撮るにせよ、光の加減で全然違いますよね。
その他
- データセットは大域的特徴として205のクラス分けをしている
- 平均二乗誤差(MSE)で評価してトレーニングする
- RGB,YUV,Labについて試したところ、難しいケースではLabが良い結果となった
- テントの色など答えが曖昧な問題はある
論文の素晴らしさに触れてみる
非営利目的という前提で、試してみることができます。
研究成果を身近な形で体験できるというのは素晴らしいですね。大学に入る前に、研究とか聞いても何をするのかは想像でしかわからないので。
Automatic Image Colorization・白黒画像の自動色付け
試してみることにしました。やや待たされます。
白黒写真だと今時はありませんので、名作「ローマの休日」の画像を拝借させていただくことに。
ん、うーん。
偉大な科学者アインシュタインでも試してみました。
それっぽくはありますが、どうしてもセピアっぽくなってしまいますね。
論文を読んだところ、データセットの多くは自然のようですから、自然の白黒写真で試すことにしました。
下記の素晴らしい写真を拝借
これは、かなりの出来栄えですね!!
日本が誇る富士山も素材を拝借して試すことにします。
[フリー写真] モノクロの富士山と雲の風景でアハ体験 - GAHAG | 著作権フリー写真・イラスト素材集
こちらも良いですね。
[フリー写真] ダグラス・スチュアート記念碑とエディンバラの街並みでアハ体験 - GAHAG | 著作権フリー写真・イラスト素材集
大局的特徴を把握して、夕暮れを表現してくれました。
というわけで、自然の写真が良さそうですね。
最初の2枚を試した時は、こんなもんかとガッカリしていましたが、この論文とサービスの素晴らしさを体験できて良かったです。