[1611.01505] Improving Stochastic Gradient Descent with Feedback

https://arxiv.org/abs/1611.01505

We conduct experiments to compare the resulting algorithm, which we call Eve

勾配降下法の最適化アルゴリズム「Eve optimizer」の提案。

https://github.com/jayanthkoushik/sgd-feedback/blob/master/src/eve.py

著者による実装。

福島邦彦: Deep CNN ネオコグニトロンの学習

https://kaigi.org/jsai/webprogram/2016/pdf/130.pdf

最近のネオコグニトロンでは，中間層のS 細胞の学習に，Add-if-Silent (AiS) と名付けた学習則を用いている．この学習則は，S 細胞の入力結合の強度を定めるだけでなく，細胞そのものの発生も制御している．

【人工知能はいま 専門家に学ぶ】（６）日本を代表する数理工学者、合原一幸氏が見るＡＩの世界 (1/5ページ) - SankeiBiz（サンケイビズ）:

http://www.sankeibiz.jp/aireport/news/160605/aia1606050700001-n1.htm

今ではニューロモーフィックハードウェアと呼ばれる分野で、脳のニューロンとシナプスを物理的に摸して、神経回路のように動作する電子回路の研究です。現在あるコンピュータのほぼすべてはフォン・ノイマン型と呼ばれるコンピュータアーキテクチャですが、それとは全く違ったアーキテクチャで、超低消費電力かつ高性能を実現するものです。

現在のDNNにおける未解決問題

http://www.slideshare.net/DaisukeOkanohara/dnn-62218756

脳型計算機雑談会での資料です

1. 大きなNNの学習はなぜ一様に成功するか
2. 敵対的生成ネットワーク(GAN)の解析
3. seq2seqによる可変長情報の埋め込み

子供の言語獲得と機械の言語獲得

http://www.slideshare.net/unnonouno/ss-59660836

2016/03/17にPFIセミナーで話したスライドです。子供の言語獲得に関する非常に基本的な話と、関係しそうな機械学習の技術を紹介しました。素人なりのまとめなので、間違いなどご指摘いただけると助かります。