« なんか見てはいけないぬこを見てしまった気がする。 | トップページ | リンパ系組織が脳まで達していたという350年の常識を塗り替える新事実が判明 »

2015年6月 2日 (火)

百度Baiduの研究チームが画像認識コンテストでのチートがバレてスタンフォード大ImageNetから怒られる。

スタンフォード大がやっているLarge Scale Visual Recognition Challengeという画像認識のアルゴリズムや機械の性能を競い合うコンペティションがありますが、中国の検索サービス大手の百度バイドゥのBaidu Heterogeneous Computing Teamが開発したアルゴリズムをテストするためにサーバーへアクセスする上限の一週間に2回という規定を大きく超えるアクセスをしたとしてペナルティを課されたというアナウンスがありました。

続報:「チートがバレたバイドゥの画像認識研究チームのリーダーが解雇される。

Baidudeepimage

このBaiduのチームはアカウントを40個ほどつくることで、この上限を回避して合計200回以上、多い時で5日間で40回ものアクセスをして、自身のアルゴリズムをテスト、修正を繰り返すことで、コンペティションに使われるデータセットに最適化し、高い成績を得てarxiv.orgへ論文を投稿したということのようです。

Waifu2x元論文も中国のチームからのarxiv.orgの論文でしたが、問題になったアルゴリズムDeep Imageの論文もarxiv.orgですね。

どうやら百度のスパコンが画像認識でGoogleを追い抜くで紹介されているシステムのことのようですね。

機械学習ではオーバーフィッティングという問題があって、特定のデータセットに最適化しすぎてしまうと新しいデータセットには応用が効かずにパフォーマンスがガタッと落ちてしまうという問題があります。一般的に使える有用性の高いアルゴリズムを作るにはオーバーフィッティングを避けるのが重要でここが難しいところでもあります。

逆にいうとコンペティション用のテストデータが手元にあればそれに対してオーバーフィッティングすることで見かけの成績を簡単に上げることができます。今回のはテストを繰り返すことでコンペティション用のテストデータにオーバーフィッティングするのにかなり近いアプローチなので、見かけの成績は上がりますが汎用性は疑問です。コンペティションの趣旨から逸脱した、いわゆるチート行為ですね。さすがにちょっとやり過ぎてしまったという感じです。きっと社内のプレッシャーに負けてちょっとズルをしてしまったのでしょう。バレた時のダメージを考えるとアカデミックな環境では起きにくいでしょう。図を見てもらえば彼らからのサブミッションがいかに突出しているかわかりますね。

Baiduで画像検索すると検索結果に彼らのアルゴリズムが使われているかもしれないと考えると面白いですね。

Baiduチームの方も批判をあっさりと認めて平謝りして、ImageNetのプレスリリースにすでに謝罪のメールが入っているので、一応本件は落着済みで、12ヶ月の使用禁止を食らっていますが、完全に追い出されたりということはないようです。再発がないといいですが。

主催者側が今回は気がついたのでよかったですが、それやっちゃ意味ないという禁じ手をまさか本当にやってくるチームがあるとは驚きだったと思います。

 

« なんか見てはいけないぬこを見てしまった気がする。 | トップページ | リンパ系組織が脳まで達していたという350年の常識を塗り替える新事実が判明 »

HackerNewsうぉっち」カテゴリの記事

コメント

コメントを書く

コメントは記事投稿者が公開するまで表示されません。

(ウェブ上には掲載しません)

トラックバック

この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/1169291/60231469

この記事へのトラックバック一覧です: 百度Baiduの研究チームが画像認識コンテストでのチートがバレてスタンフォード大ImageNetから怒られる。:

« なんか見てはいけないぬこを見てしまった気がする。 | トップページ | リンパ系組織が脳まで達していたという350年の常識を塗り替える新事実が判明 »

広告欄


やっつけタイムライン

広告欄

はてブ

人目の訪問です。

  • follow us in feedly

    かなり更新が不定期なため、RSSリーダーをオススメします。現在Feedlyに122人登録頂いています。多謝!RSSを表示

    ブログランキング用 にほんブログ村 IT技術ブログ Pythonへ ブログランキングならblogram






    Jenny Mayhem
2017年11月
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30    

IT技術注目記事

無料ブログはココログ