白黒写真に色付けする手法とは?人工知能が100年前の情景も自然に再現 GitHubでコード公開
早稲田大学
白黒写真に色付けする手法とは?人工知能が100年前の情景も自然に再現 GitHubでコード公開
早稲田大学理工学術院の石川博教授、飯塚里志研究院助教、シモセラ・エドガー研究院助教らの研究グループは、ディープラーニングと呼ばれる人工知能技術を応用し、白黒写真を自然に彩色する「ディープネットワークを用いた大域特徴と局所特徴の学習による色付け」の手法を確立しました。
研究の背景
従来の白黒写真への色付け方法ではユーザーによる介入を必須としていましたが、本研究では自動で白黒画像に色付けを行うことができる手法を確立しました。本手法では、大量の白黒・カラー画像の組から色付けの手掛かりとなる特徴をディープラーニング技術により学習し、その特徴を使って与えられた白黒画像をカラー画像に変換します。特に本研究で開発した新しい手法として、画像全体から抽出される大域特徴と、より小さな領域から算出される局所特徴とを結びつけて利用します。
大域特徴からは、屋外か屋内か、また昼か夜か等の写真全体についての情報を得ることができ、また局所特徴からは、例えば砂か葉か水か等の物体の持つ質感により、その領域をどのように色付けするのが最も適当かという推測をすることができます。これらの組み合わせが、夕暮れの空や人の肌等の、より状況にあった自然な色付けを、人による介入を必要とせずに可能にしました。
モデル構造
図1が本手法におけるディープネットワークモデルの構造図です。提案モデルは(1) 低レベル特徴ネットワーク(紫)、(2) 中レベル特徴ネットワーク(青)、(3) 大域特徴ネットワーク(橙)、(4) 色付けネットワーク(緑)の4つのネットワークから構成されます。白黒画像が入力されるとモデルは入力画像の1/2サイズの彩度画像を出力します。この彩度画像を2倍にスケーリングし、入力画像と統合することでカラー画像が生成されます。
研究結果に関する評価と社会的影響
今回の研究により、100年前の白黒写真をはじめ、様々な画像において自然な色付けを実現できるようになりました。なお、彩色の結果はユーザーテストにより評価され、約90%の色付け結果が自然であるという回答を得ました。
研究結果詳細URL: http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/
また、ソースコードはGitHubにて公開されています。
本研究は、科学技術振興機構(JST)による戦略的創造研究推進事業CRESTの研究領域「現代の数理科学と連携する数理モデリング手法の構築」(研究総括:坪井俊)に属するプロジェクト「認識の数理モデルと高階・多層確率場による高次元実データ解析」(研究代表者:石川博)の成果です。
本研究の成果は、7月に米ロサンゼルスで開催されるコンピューターグラフィックスの国際会議SIGGRAPH 2016で発表されると共に、次の論文として公表されます:
Satoshi Iizuka, Edgar Simo-Serra, and Hiroshi Ishikawa. “Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification,” ACM Transaction on Graphics (Proc. of SIGGRAPH 2016), to appear.
研究内容に関するお問い合わせ先
早稲田大学 理工学術院教授 石川 博
キャベツが1個1000円超えとの報道多数、実際にはそこまででも……スーパーに聞いてみた
白濱美兎17歳、はじける美バストが丼の影からのぞき「沖縄そばよりあなたのそばがいい」と反響
日銀、現紙幣から新紙幣の単純交換には応じず HPで注意喚起
大阪府、事業者に補助金など4966万円返還請求 旅行支援で不正請求
性的関係のあった教え子らを刺した75歳元教員に執行猶予判決
堀田茜が結婚後初の公の場「SDGsは奥深い」ナビゲーターを務めるJ-WAVE番組公開収録
V弾アシストの久保建英、文句なしのマッチMVP クラブ史上初の5季連続欧州カップ戦進出
【阪神】大山悠輔の23打席ぶり適時打に甲子園大歓声 2戦ぶり「4番一塁」で8度目マルチ安打
一世風靡した元ギャル38歳タレントが桃色ロングヘアで生放送登場、長男はもう16歳高1
広瀬アリスが34歳お笑い芸人に“ラブコール”「実家のご飯食べたいな」本人歓迎「是非いらして」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
吉野家が「マスク外し強要疑惑」でプチ炎上、店員さんに聞いてみると……
時代劇の常識を覆す!仇討ち・無礼討ちの厳格なルール
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
藤田ニコル「脱ぐ予定なかったのですが気づいたらノリノリで…」ヒョウ柄水着姿に大反響
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
3度逮捕の38歳小向美奈子「今はやってないですよね?」の直撃質問に”回答”
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
キャベツが1個1000円超えとの報道多数、実際にはそこまででも……スーパーに聞いてみた
白濱美兎17歳、はじける美バストが丼の影からのぞき「沖縄そばよりあなたのそばがいい」と反響
日銀、現紙幣から新紙幣の単純交換には応じず HPで注意喚起
大阪府、事業者に補助金など4966万円返還請求 旅行支援で不正請求
性的関係のあった教え子らを刺した75歳元教員に執行猶予判決
堀田茜が結婚後初の公の場「SDGsは奥深い」ナビゲーターを務めるJ-WAVE番組公開収録
V弾アシストの久保建英、文句なしのマッチMVP クラブ史上初の5季連続欧州カップ戦進出
一世風靡した元ギャル38歳タレントが桃色ロングヘアで生放送登場、長男はもう16歳高1
【阪神】大山悠輔の23打席ぶり適時打に甲子園大歓声 2戦ぶり「4番一塁」で8度目マルチ安打
広瀬アリスが34歳お笑い芸人に“ラブコール”「実家のご飯食べたいな」本人歓迎「是非いらして」