深層ニューラルネットで画像からテキストキャプション生成のデモをトロント大が公開
Nitish Srivastavaさんというトロント大の博士課程の学生さんが深層ニューラルネットをつかった機械学習で画像から自動で説明書きのテキストを生成するというデモを公開しています。
画像を適当にクリックするとトレーニングセットのテキストから一番近い文章、いくつかの自動生成されたキャプションのテキストがでてきます。
説明書きと写真の大量のセットがあればこれくらい可能なのはわりと今では普通かもしれませんが、わりとまともな英語の文章でキャプションが生成されるのがすごいですね。俺の英語よりうまい(;ω;)。
画像を検索するときとか、こういうアルゴリズムで自動でタグをつけたりできるととてもいいですね。グロ系とかを効果的に除外するフィルターとか作れそうです。
おそらくdeepnetという彼が作ったPythonベースでGPUを使用した機械学習のライブラリーをつかったデモなんだと思います。実際のコードを全部公開してくれるといいんだけど、こういうのってIEEEとかで論文にしてアルゴリズムを数式で書いて、図にちょこっと結果を載せて終りなんだよなぁ。
とはいえ、CaffeとかTheanoとかTorchとか、有名なライブラリが出揃っているなか、こういう独自ライブラリはユーザー獲得は難しそう。
自分で似たようなことをしてみたいと思ったらば、PythonならTheanoというGPUもサポートしているライブラリーがオススメ。Deep Learning TutorialsというTheanoのデベロッパーの人たちが書いたチュートリアルがすごくよさそうです。
いつかTheanoで遊んでみたい。
追記。けっこう真面目に始めましたよ。
ウィンドウズでLasagne/nolearn/Theanoで深層畳み込みニューラルネットワークしてみる Theano用にCUDAができるお手ごろGPUを物色中。GTX-960が良さげ
« ガラス化法により低温保存してから生き返らせた線虫は過去の記憶をもっている。 | トップページ | waifu2xを手軽に使えるユーザーインターフェイスが登場 »
「HackerNewsうぉっち」カテゴリの記事
- 深層ニューラルネットで画像からテキストキャプション生成のデモをトロント大が公開(2015.05.26)
- waifu2xを手軽に使えるユーザーインターフェイスが登場(2015.05.28)
- 漫画をきれいに拡大できるコマンドラインツールwaifu2x(2015.05.19)
- チートがバレたバイドゥの画像認識研究チームのリーダーが解雇される。(2015.06.12)
- リンパ系組織が脳まで達していたという350年の常識を塗り替える新事実が判明(2015.06.03)
「ディープラーニング」カテゴリの記事
- CaffeをWindows 7でcuDNN付きでビルド。(2016.07.14)
- ウィンドウズでCUDA付きでTheanoインストール!Python3.5でもできた。(2016.02.18)
- ウィンドウズでLasagne/nolearn/Theanoで深層畳み込みニューラルネットワークしてみる(2016.02.27)
- Theano用にCUDAができるお手ごろGPUを物色中。GTX-960が良さげ(2016.03.05)
- 深層ニューラルネットで画像からテキストキャプション生成のデモをトロント大が公開(2015.05.26)
トラックバック
この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/1169291/60145051
この記事へのトラックバック一覧です: 深層ニューラルネットで画像からテキストキャプション生成のデモをトロント大が公開:
« ガラス化法により低温保存してから生き返らせた線虫は過去の記憶をもっている。 | トップページ | waifu2xを手軽に使えるユーザーインターフェイスが登場 »
コメント