takuroooのブログ

勉強したこととか

2019年上半期に参加した勉強会まとめ2

目次

2019/03/26 LINE AI Talk #01

line.connpass.com

LINE主催のAIに関するトークイベント。この日のセッションは2つ。一つは、ネオコグニトロンを開発した福島邦彦先生の「Deep CNN ネオコグニトロンと視覚パターン認識」。もう一つは、LINEの機械学習チームの方の「Fully Convolutional Networks における Softmax Cross Entropy Loss の変種の適用」

ネオコグニトロンはCNNのベースになったモデルで今回は最近のネオコグニトロンに使われている技術の解説だった。

主に

  • ネオコグニトロンの基本構成(S細胞、C細胞の役割)
  • Add-if-Silentによる学習
  • 内挿ベクトル法による識別

について解説されていた。 どれもDeepLearningでよくある「理論はよく分からないけど、試してみたらうまくいった」というような技術ではなく、「〜という原因があるから〜という手法が効果的だ」というように理論の解説が丁寧にされていたのが印象的だった。

講演時の資料ではないけど、発表内容は以下の資料とだいたい同じだった。
Deep CNN ネオコグニトロンの学習

2019/3/28 Machine Learning Team Building Pitch

connpass.com

株式会社scouty、エムスリー株式会社、クックパッド株式会社、Repro株式会社による共催の機械学習チームビルディングに関するトークイベント。

チームビルディングの方法で特にチームの技術力の上げ方や組織の中でどこに機械学習チームを作るべきか(機械学習チームという独立した一つの組織を作るのか、それとも各事業部にそれぞれ機械学習チームというものを作った方がいいのか)という点に興味があったので参加した。
しかし、そういう観点での発表はなく「どうやって優秀な人を採用するか」みたいな話が多かった。(scoutyがいたせいかもしれないけど....)

2019/04/06 nlpaper.challenge NLP/CV交流勉強会(最終回)

nlpaper-challenge.connpass.com

cvprの論文読み会をするするチームcvpaper.challengeとそれのNLPバージョンのnlpaper.challengeの合同勉強会。ブレインパッドで開催。

この日は画像認識の第7章〜第8章までの読み合わせとオムロン サイニックエックスの牛久 祥孝先生の講演があった。 牛久 祥孝先生の講演ではキャプション生成の最近の研究についての発表があった。(講演の資料欲しかったけどなかった。)

2019/05/11 SysML2019 論文読み会

mlxse.connpass.com

機械学習工学研究会が主催のSysML Conferenceの論文読み会。 一番興味深かったのは最初の方に紹介されたCNNの2値化の話。精度を犠牲にして速度を上げる2値化、3値化はあまり意味がないという内容。
2値化、3値化前のモデルを速度と精度の二軸でプロットするとパレート最適解のラインができる。2値化、3値化のモデルはこのラインを超えることができない、つまり2値化、3値化のモデルより性能が良い2値化していないモデルが存在するとのこと。

他にはハード関連の論文紹介などがあったが全く話についていけなかった....

SysMLのサイト
www.sysml.cc

2019/05/15 第21回ステアラボ人工知能セミナー

stair.connpass.com

DeNAの内田さんによる「畳み込みニューラルネットワークの高精度化と高速化」の講演。

スライドが133枚あって約2時間ノンストップの講演だった。

内容は、

という感じ。知らない手法が多かったので参加できて良かった。また疑問に思ったことを質問したときに、基本的な質問にも関わらず的確で丁寧に回答をいただけて勉強になった。
当日の動画とスライドは以下のサイトで閲覧可能 stair.center

2019/06/08 DLLAB 2 周年イベント: ディープラーニングの社会実装を阻むものは何か?

dllab.connpass.com

DLLAB主催のイベント。DeepLearning流行っているけどなんでDeepLearning使ったサービスが増えていかないの?ということについて講演したりハンズオンしたりするイベント。

講演自体はあまり興味がなく、JetBotを作るというハンズオンだけが目的で参加した。

ハンズオンでは、すでに用意されている部品を組み合わせてJetBotを組み立てて、AzureでNNを学習したものをJetBotにデプロイして動かすというもの。
という予定だったがネットワークの問題があってJetBotを走らせるところまでいかなかった。

JetBotの制御は組み込みソフトっぽいのを想像していたがすでに用意されている関数を叩くだけで簡単に制御できた。たぶんPythonちょっと書ける人なら誰でも動かせると思う。
2020年から学校でプログラミングの教育が始まるらしいけど、JetBot作る授業とかあったら面白そう。