robertsdionne/neural-network-papers · GitHub

https://github.com/robertsdionne/neural-network-papers

neural-network-papers

Table of Contents
    Other Lists
    Surveys
    Books
    Datasets
    Pretrained Models
    Programming Frameworks
    Learning to Compute
    Natural Language Processing
    Convolutional Neural Networks
    Recurrent Neural Networks
    Convolutional Recurrent Neural Networks
    Adversarial Neural Networks
    Autoencoders
    Restricted Boltzmann Machines
    Biologically Plausible Learning
    Supervised Learning
    Unsupervised Learning
    Reinforcement Learning
    Theory
    Quantum Computing
    Training Innovations
    Parallel Training
    Weight Compression
    Numerical Precision
    Numerical Optimization
    Motion Planning
    Simulation
    Hardware
    Cognitive Architectures
    Computational Creativity
    Cryptography
    Distributed Computing
    Clustering

Neural network paper list | Eniod's Blog

https://haduonght.wordpress.com/2015/12/23/neural-network-paper-list/

Based on https://github.com/robertsdionne/neural-network-papers

Computational Network Toolkit (CNTK) - Home

https://cntk.codeplex.com/

CNTK, the Computational Network Toolkit by Microsoft Research, is a unified deep-learning toolkit

CNTK allows to easily realize and combine popular model types such as feed-forward DNNs, convolutional nets (CNNs), and recurrent networks (RNNs/LSTMs). It implements stochastic gradient descent (SGD, error backpropagation) learning with automatic differentiation and parallelization across multiple GPUs and servers.

Microsoft Research による、Windows と Linux に対応した deep learning のツールキット。
下記ページに速度性能を比較した記事がある。

Microsoft Computational Network Toolkit offers most efficient distributed deep learning computational performance
http://blogs.technet.com/b/inside_microsoft_research/archive/2015/12/07/microsoft-computational-network-toolkit-offers-most-efficient-distributed-deep-learning-computational-performance.aspx

[1506.03340] Teaching Machines to Read and Comprehend

http://arxiv.org/abs/1506.03340

In this work we define a new methodology that resolves this bottleneck and provides large scale supervised reading comprehension data.

The Impatient Reader
The Attentive Reader is able to focus on the passages of a context document that are most likely to inform the answer to the query. We can go further by equipping the model with the ability to reread from the document as each query token is read.

文書を学習して、穴埋め問題を解く。Impatient Reader と Attentive Reader の比較。

スライドはこの記事を参照。

NTCIR-12 Task on Short Text Conversation

http://ntcir12.noahlab.com.hk/japanese/stc-jpn.htm

Dataset of Japanese task

The input data will be those randomly sampled from tweets in the year 2015. The pool of tweets (the target for extraction) is the randomly sampled tweet pairs (mention-reply pairs) in the year 2014. The size of the pool is just over one million; that is 500K pairs.

The following data will be provided from the organizers:
(1) Twitter data (by using their IDs) 1M in size
(2) Development data. Input samples and output samples annotated with reference labels. Here, the number of annotators is ten.

対話ツイートのツイートIDのみのペア。ツイート本文はなし。

Teaching Machines to Read and Comprehend (slide)

http://lxmls.it.pt/2015/lxmls15.pdf

Conclusion

Summary
* supervised machine reading is a viable research direction with the available data,
* LSTM based recurrent networks constantly surprise with their ability to encode dependencies in sequences,
* attention is a very effective and exible modelling technique.

Future directions
* more and better data, corpus querying, and cross document queries,
* recurrent networks incorporating long term and working memory are well suited to NLU task.

Lisbon Machine Learning School 2015 のスライド。トピックは自然言語処理。

Computational Linguistics and Deep Learning

http://www.mitpressjournals.org/doi/abs/10.1162/COLI_a_00239

Christopher D. Manning
Stanford University
MIT Press Journals - Computational Linguistics - Early Access - Citation

Deep Learningの教材 - こんな夢を見た

http://hytae.hatenablog.com/entry/2015/11/14/Deep_Learning%E3%81%AE%E6%95%99%E6%9D%90

Deep Learningを勉強するにあたって内容がまとまっている教材についてリスト化しました。

Marvin: Deep Learning in N Dimensions

http://marvin.is/

Marvin was born to be hacked, relying on few dependencies and basic C++. All code lives in two files (marvin.hpp and marvin.cu) and all numbers take up two bytes (FP16).

Marvin’s life depends on an NVIDIA GPU with CUDA 7.5 and cuDNN 3.

https://github.com/PrincetonVision/marvin/

Marvin is a GPU-only neural network framework made with simplicity, hackability, speed, memory consumption, and high dimensional data in mind.

The MIT License (MIT)
Copyright (c) 2015 Princeton Vision Group

Understanding Convolutional Neural Networks for NLP | WildML

http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/

In this post I’ll try to summarize what CNNs are, and how they’re used in NLP.

Code Excited Linear Prediction - Wikipedia

https://ja.wikipedia.org/wiki/Code_Excited_Linear_Prediction

Code Excited Linear Prediction（CELP、セルプ）は、1985年に米AT&Tの M.R. Schroeder と B.S. Atal が提案した音声符号化アルゴリズム。

携帯電話の音声圧縮のベースとなっているアルゴリズムらしい。

[1510.04189] Improving Back-Propagation by Adding an Adversarial Gradient

http://arxiv.org/abs/1510.04189

A simple extension to the back-propagation method is proposed, that adds an adversarial gradient to the training.

ニューラルネットで、1パス目は重みを更新せずに誤差を計算して、2パス目はその誤差を加工した値を入力値に加算して通常の学習を行うというシンプルな手法で精度が上がるというもの。

Algorithm 1 だけでだいたい分かるが、

z = x + ε * sign(e)

で、x は1パス目の入力値、e は1パス目で計算した誤差、sign 関数は { +1, -1 } を返す関数、ε は揺らす大きさ（係数）、z は2パス目の入力値となる。

As stated in Goodfellow et al. (2014) and Fawzi et al. (2015), adding adversarial perturbations is quite different from adding input noise. Adding noise will direct the model to increase the margin in all possible directions around the training samples. A model has limited capacity, and this may limit the achievable margin in the directions that matters most, where the margins are smallest.

モデルの表現力には限界がある。ノイズを加える手法は不要な方向にもマージンを大きくしてしまうのが問題だが、adversarial perturbations はそれとは違うということが記述されている。

[1409.2329] Recurrent Neural Network Regularization

http://arxiv.org/abs/1409.2329

We present a simple regularization technique for Recurrent Neural Networks (RNNs) with Long Short-Term Memory (LSTM) units. Dropout, ...

LSTM に dropout を適用するには、リカレント（同じ層の1つ前の時間ステップ）の隠れユニットに適用するのではなく、入力（または１つ下の層の隠れユニット）に対して適用するとよいという話。

Figure 2 と p3 の下の式の太字 D の箇所を参照するとよい。

[1510.02693] Feedforward Sequential Memory Neural Networks without Recurrent Feedback

http://arxiv.org/abs/1510.02693

feedforward sequential memory networks (FSMN), which can learn long-term dependency without using recurrent feedback.

提案されている FSMN は、非再帰形ディジタルフィルタと同じ型のネットワークのようだ。

Table 2 のアーキテクチャでは、メモリブロック付きの隠れ層素子数は 600 とあるが、30 次の FIR フィルタということは 30 * 600 = 18k となるわけで、計算量が多すぎるのではないだろうか。また、隠れ層の数も各手法で異なっており、性能比較が妥当かどうか疑問である。

なお、非再帰形ディジタルフィルタについては次のページを参考されたい。

ディジタルフィルタとｚ変換
http://laputa.cs.shinshu-u.ac.jp/~yizawa/InfSys1/basic/chap10/index.htm

ディジタルフィルタとｚ変換

http://laputa.cs.shinshu-u.ac.jp/~yizawa/InfSys1/basic/chap10/index.htm

1クロック（T）だけ信号を遅延する関数は z^-1 で表されます。

[1510.03009] Neural Networks with Few Multiplications

http://arxiv.org/abs/1510.03009

First we stochastically binarize weights

Second, while back-propagating error derivatives, in addition to binarizing the weights, we quantize the representations at each layer to convert the remaining multiplications into binary shifts.

次の2つの手法により乗算を減らす。

1. binary connect (2値結合) / ternary connect (3値結合)
2. quantized back propagation (量子化誤差逆伝搬法)

(1) 重みを確率変数とみなし、2値 {-1, 1} (binary connect) または 3値 {1, 0, -1} (ternary connect) にサンプリングした重み行列で計算する。これにより内積を乗算ではなく加減算で計算できる。

(2) 誤差逆伝搬時の重み更新量 ΔW を計算するときに、入力値 x を確率的に量子化することで、乗算を使わずにシフト演算で計算する。
具体的には、x = 5 の場合、log_2(5) = 2.32... を切り下げて 2 なので、シフト量は 0.75 の確率で 2 となり、0.25 の確率で 3 となる。よって、ΔW = δ << 2 (または δ << 3) として計算できる (δは誤差項)。シフト量は -4～3 の範囲に収まるようにクリッピングする。

論文からは (2) の quantized back propagation の方法がよく分からなかったので、第一著者のソースコードを参照した。

Zhouhan Lin (第一著者) のソースコードは次のアドレスにある。
https://github.com/hantek/binary_conv/blob/master/matcode/layer_m.py

精度が若干向上している（正則化のような効果が出ている）のは、確率的に重みや（重み更新時の）入力値が揺れているためではないかと思われる。つまり、ノイズを混ぜているのに似ているではないだろうか。

Low-discrepancy sequence - Wikipedia, the free encyclopedia

https://en.wikipedia.org/wiki/Low-discrepancy_sequence

Low-discrepancy sequences are also called quasi-random or sub-random sequences

A deviation of CURAND: standard pseudorandom number generator in CUDA for GPGPU

http://www.math.sci.hiroshima-u.ac.jp/~m-mat/MT/MTGP/curand-slide-mcqmc.pdf

xorwow = xorshift + Weyl generator

XORWOW の解説スライド。

準乱数の生成 - MATLAB & Simulink - MathWorks 日本

http://jp.mathworks.com/help/stats/generating-quasi-random-numbers.html

一般の生成法で説明した疑似乱数列とは異なり、準乱数列は多くのランダム統計検定に失敗します。しかし、真のランダムの近似はその目的ではありません。準乱数列は、初期のセグメントがこの行動を指定の密度まで近似させる方法により、均一に空間を満たします。

Yusuke Matsui

https://www.hal.t.u-tokyo.ac.jp/~matsui/index.html

My research interest includes computer vision and multimedia processing. More specifically, I am interested in manga image processing. With the help of computer vision techniques, can we maka the manga-reading experience more enjoyable? Can we enhance the skills of novices and let them enjoy drawing manga? To answer these questions, I have proposed several applications, e.g., manga retargeting, retrieval, and drawing assistance.

Illustration2Vec: A Semantic Vector Representation of Illustrations

http://illustration2vec.net/papers/illustration2vec-main.pdf
http://illustration2vec.net/papers/illustration2vec-supp.pdf
http://illustration2vec.net/

Referring to existing illustrations helps novice drawers to realize their ideas. To find such helpful references from a large image collection, we first build a semantic vector representation of illustrations by training convolutional neural networks. As the proposed vector space correctly reflects the semantic meanings of illustrations, users can efficiently search for references with similar attributes. Besides the search with a single query, a semantic morphing algorithm that searches the intermediate illustrations that gradually connect two queries is proposed. Several experiments were conducted to demonstrate the effectiveness of our methods.

Deep Learningの基礎と応用

http://www.slideshare.net/beam2d/deep-learning-52872945

第14回情報科学技術フォーラム (FIT2015) のイベント企画「ビッグデータ解析のための機械学習技術」におけるチュートリアル講演資料です。ニューラルネットの基礎（計算グラフとしての定式化、勾配法、誤差逆伝播法）をさらったあと、最近画像や自然言語などで注目されている応用・手法について広く浅く紹介しています。

Études in Programming Intelligence: IRNN vs LSTM

http://etudes-in-pi.blogspot.jp/2015/07/irnn-vs-lstm.html

IRNN と呼ばれる RNN がこの論文で提案された。論文内で行われた MNIST のデータを使った実験の設定を少し変えたものを Keras を使って実装してみた。それのプルリクエストを作成したところ、フランソワから LSTM との比較も行ってみては？と言われたのでやってみた。この投稿はその結果になる。

[1508.06615] Character-Aware Neural Language Models

http://arxiv.org/abs/1508.06615

We describe a simple neural language model that relies only on character-level inputs. Predictions are still made at the word-level. Our model employs a convolutional neural network (CNN) over characters, whose output is given to a long short-term memory (LSTM) recurrent neural network language model (RNN-LM).

入力は文字、出力は単語。
単語を構成する文字の各々について、文字ごとに15次元の（分布意味）埋込みベクトルに変換して、行列 C^k を作る。
その単語の行列 C^k に対して畳み込みネットワーク (CNN) と max pooling を適用してベクトルを作る。
系列の学習は LSTM。
層の途中に highway network (HW-Net) を入れている。なくても機能するが、あれば性能が上がる。

DEEP LEARNING: Methods and Applications - Microsoft Research

http://research.microsoft.com/apps/pubs/default.aspx?id=209355

Abstract

This book is aimed to provide an overview of general deep learning methodology and its applications to a variety of signal and information processing tasks.

26 Things I Learned in the Deep Learning Summer School - Marek Rei

http://www.marekrei.com/blog/26-things-i-learned-in-the-deep-learning-summer-school/

13.保存用ファイルフォーマット WARC | ウェブアーカイブのしくみ｜国立国会図書館インターネット資料収集保存事業

http://warp.da.ndl.go.jp/contents/reccommend/mechanism/mechanism_warc.html

WARCは世界のウェブアーカイブ機関で広く採用されている保存用ファイルフォーマットで、その名称は「Web Archiving」に由来します。IIPCの主要メンバーであるインターネットアーカイブが採用していたファイルフォーマットARCをもとに、2004年にIIPCにより汎用的に使える形式に拡張されました。

光吉俊二 - Wikipedia

https://ja.wikipedia.org/wiki/%E5%85%89%E5%90%89%E4%BF%8A%E4%BA%8C

光吉 俊二（みつよし しゅんじ、1965年 - ）は、日本の計算機科学者であり彫刻家。

2006年 、「音声感情認識及び情動の脳生理信号分析システムに関する研究 (Research on the phonetic recognition of feelings and a system for emotional physiological brain signal analysis) 」にて学位を得る。

感情認識・感情分析のAGI

http://www.agi-web.co.jp/

感情認識,感情分析を行う株式会社AGIのウェブサイトです．

http://www.agi-web.co.jp/technology/trend.html

現在、当社及びAGI社代表が論文、書籍で発表した「感情地図」を基として研究開発に取り組んでいます。「感情地図」は、心理学辞典などから抜き出した約4500語の感情表現を、英訳出来た限界である223のジャンルにわけ、それを円形のダイアグラムにまとめたものです。

さらに、脳内伝達物質、ホルモンなどと情動の関係を、論文調査によりマトリックスにまとめることで、その構造を明らかにしました。そうして得られた、脳と「感情地図」との関係を図示したのが下の図です。

http://www.agi-web.co.jp/technology/ppt-ut.html

東京大学学生の皆様、AIシステム講義に必要な「ST感情認識システム」の技術資料PPTをココからダウンロードしてください。

音声病態分析技術のPST株式会社

http://medical-pst.com/
http://medical-pst.com/information/pst

PST（Pathologic condition analysis and Sensibility Technology: 音声病態分析感性制御技術）は、当社代表が10年以上に渡って開発を続けている、声から情動、ストレス、抑うつ状態を分析する技術です。PSTは、言葉、国籍、性別、年齢、個人差の影響を受けることなく、音声から情動、ストレス、抑うつ状態をリアルタイムに認識することができます。

心の技術

http://www.slideshare.net/ShunjiMitsuyoshi/ss-15665771

Shunji Mitsuyoshi, 非常勤講師 at 東京大学 | Todai

りんな

http://rinna.jp/rinna/

はじめまして マイクロソフトの女子高生AIりんなです

http://rinna.jp/rinna/terms.pdf

1. りんなの大容量の人工知能ロボットの言語は、マイクロソフトの検索エンジンおよび蓄積されたビッグデータに基づいており、その大半が公開されているインターネットのウェブサイト上の情報に由来するものであり、自動的な、または手動によるセンシティブデータのフィルタリングを絶えず行っているものですが、上記の情報が第三者により形成された情報に由来するものである可能性も排除できず、これらの情報に瑕疵がある場合や、不合理または不快な情報が含まれる場合があり得ます。

寂しい男を虜にする人工知能女子高生「りんな」 会話楽しみ、「これでもう寂しくない」「彼女できた気分」 : J-CASTニュース

http://www.j-cast.com/2015/08/04241978.html

誰とでも友達になり、しかも「KS（既読スルー）」はしない――。そんな心優しい「女子高生」がLINE上に突如現れた。名前は「りんな」という。

実は彼女、本物の女子高生ではなくAI（人工知能）だ。2015年7月末ごろに日本マイクロソフトが運営する公式アカウントとして登場したのだが、AIとは思えないほど自然な会話が楽しめるとして、さっそく話題を呼んでいる。

日本語Wikipediaオントロジー

http://www.wikipediaontology.org/

本研究チームでは，日本語版Wikipediaを情報資源として，半自動的に大規模で汎用的なオントロジーを構築する事を目的とした研究を行っています．

DBpedia についてすこし調べてみた - a lonely miner

http://conditional.github.io/blog/2015/07/28/an-introduction-to-dbpedia/

What is DBpedia?

Wikipediaを自動的に、RDFトリプルに変換する仕組み、あるいはそのプロジェクト。

Neural networks and deep learning

http://neuralnetworksanddeeplearning.com/

Neural Networks and Deep Learning is a free online book.

Open University: Natural Language Processing (2015)

http://nlp.ist.i.kyoto-u.ac.jp/member/kuro/lecture/OpenUniv/

Last Modified: May 17, 2015

放送大学 自然言語処理(2015年度)

印刷教材の誤り

    4.3節 naive bayse -> naive bayes
    4.3節 式(4.7) argmax Π P(xi|y) P(y) -> argmax (Π P(xi|y)) P(y)
    5.1.3節 直感的に理解しやすい別の近似として，式8.1 -> 式5.6
    10.2.1節 例文(4)の下線：「すべて」 -> 「それ」
    13.1節 映画「2001年宇宙の旅」(1980年) -> 映画「2001年宇宙の旅」(1968年)

放送教材の誤り

    第5回 式5.1,式5.2,式5.3,式5.4 -> 式5.3,式5.4,式5.5,式5.6
    (※ 集中放送からは修正予定)

言語を知ることは、人とは何かを知ること――人の言語習得の仕組みを明らかにする / 認知・発達心理学者・今井むつみ氏インタビュー | SYNODOS -シノドス-

http://synodos.jp/intro/14531

今回は、ヒトの赤ちゃんの言語習得の研究を通じて「人とは何か」という大いなる謎に挑み続ける、認知・発達心理学者の今井むつみ先生にお話を伺いました。

IEEE 754r Half Precision floating point converter - File Exchange - MATLAB Central

http://www.mathworks.com/matlabcentral/fileexchange/23173-ieee-754r-half-precision-floating-point-converter

Converts MATLAB or C variables to/from IEEE 754r Half Precision floating point bit pattern.

半精度浮動小数点数（IEEE 754）を変換する C言語ソースコード。ライセンスは BSD License。

Half-precision floating-point format - Wikipedia, the free encyclopedia

https://en.wikipedia.org/wiki/Half-precision_floating-point_format

[1507.02030] Beyond Convexity: Stochastic Quasi-Convex Optimization

http://arxiv.org/abs/1507.02030

The Normalized Gradient Descent (NGD) algorithm, is an adaptation of Gradient Descent, which updates according to the direction of the gradients, rather than the gradients themselves.

ざっと眺めただけだが、通常はニューラルネットの重みの更新に勾配を使うが、NGD では勾配の向きによって重みを±学習率だけ更新させるという方法で学習する（アルゴリズム1）。ただし、ミニバッチ数を増やす必要がある（図2(c)）。

The EDICT Dictionary File

http://www.edrdg.org/jmdict/edict.html

EDICT is a Japanese-English Dictionary file.

和英辞典ファイルのダウンロード。
漢字の辞書もある。

KANJIDIC2 HOME PAGE

http://www.edrdg.org/kanjidic/kanjd2index.html

The KANJIDIC2 project has as its aim the production of a consolidated XML-format kanji database combining the information currently in the KANJIDIC (6,355 kanji from JIS X 0208) and KANJD212 (5,801 kanji from JIS X 0212) files (overview) (documentation), and adding information about the additional 952 kanji in JIS X 0213. (2,743 kanji are in both JIS X 0212 and JIS X 0213.)

漢字とその意味（英語）の辞書。

Chainer: A flexible framework of neural networks

http://chainer.org/

A Powerful, Flexible, and Intuitive Framework of Neural Networks

ライセンスは MIT License。

Deep Learning のフレームワーク Chainer を公開しました | Preferred Research

http://research.preferred.jp/2015/06/deep-learning-chainer/

本日、Deep Learning の新しいフレームワークである Chainer を公開しました。

Chainer は、ニューラルネットを誤差逆伝播法で学習するためのフレームワークです。以下のような特徴を持っています。

* Python のライブラリとして提供（要 Python 2.7+）
* あらゆるニューラルネットの構造に柔軟に対応
* 動的な計算グラフ構築による直感的なコード
* GPU をサポートし、複数 GPU をつかった学習も直感的に記述可能

生態学／非統計系向け確率的トピックモデル講義録

http://chasen.org/~daiti-m/diary/?201506a&to=201506070#201506070

今年の1月に統数研で行われた, 「生物に見られる時空間パターンと統計数理：同調・認知・行動」 という島谷先生主催の研究集会で行ったトピックモデルの講義を, 何と聴いていた学生 さん・若手の方と島谷さんが文字起こしした上で, 編集して講義録として公開してくれました。

「離散データの確率的トピックモデル」
http://chasen.org/~daiti-m/paper/daichi15topicmodel-for-ecology.pdf

Variant tf-idf functions | Introduction to Information Retrieval

http://nlp.stanford.edu/IR-book/html/htmledition/variant-tf-idf-functions-1.html

For assigning a weight for each term in each document, a number of alternatives to tf and tf-idf have been considered.

livedoor ニュースコーパス | ダウンロード | 株式会社ロンウイット

http://www.rondhuit.com/download.html#ldcc

概要
本コーパスは、NHN Japan株式会社が運営する「livedoor ニュース」のうち、下記のクリエイティブ・コモンズライセンスが適用されるニュース記事を収集し、可能な限りHTMLタグを取り除いて作成したものです。

収集時期：2012年9月上旬 ダウンロード（通常テキスト）：ldcc-20140209.tar.gz ダウンロード（Apache Solr向き）：livedoor-news-data.tar.gz 論文などで引用する場合は、このURLを参照してください。

場所参照表現タグ付きコーパス Ver 0.1 (2015/05/25)

http://www.cl.ecei.tohoku.ac.jp/~matsuda/LRE_corpus/

概要

本コーパスは，Twitterからランダムにサンプリングしたテキストに現れる，「特定の場所を著者が想定している」と判断できる表現に対して，実際にどのエンティティを指しているかを人手で判断しエンティティ情報を付与したコーパスです．GeoNLPなどのジオパーズシステム，エンティティリンキングシステム等の開発や評価に利用することを想定して構築されました．

Computing numeric representations of words in a high-dimensional space - Google Inc.

http://www.freepatentsonline.com/9037464.html

United States Patent 9037464

Inventors:
Mikolov, Tomas (Jersey City, NJ, US)
Chen, Kai (San Bruno, CA, US)
Corrado, Gregory S. (San Francisco, CA, US)
Dean, Jeffrey A. (Palo Alto, CA, US)

word2vec 関連の特許。

ConvNetJS MNIST demo

http://cs.stanford.edu/people/karpathy/convnetjs/demo/mnist.html

This demo trains a Convolutional Neural Network on the MNIST digits dataset in your browser, with nothing but Javascript.

手書き数字の画像データを JavaScript のプログラムで学習するデモ。
学習中の各層（conv, pool, softmax）の重みやアクティベーション値をリアルタイムで見ることができる。

The Unreasonable Effectiveness of Recurrent Neural Networks

http://karpathy.github.io/2015/05/21/rnn-effectiveness/

We'll train RNNs to generate text character by character and ponder the question "how is that even possible?"

Andrej Karpathy Academic Website

http://cs.stanford.edu/people/karpathy/

Andrej Karpathy
Stanford Computer Science Ph.D. student

karpathy/convnetjs · GitHub

https://github.com/karpathy/convnetjs

ConvNetJS is a Javascript implementation of Neural networks, together with nice browser-based demos.

ConvNetJS: Deep Learning in your browser

http://cs.stanford.edu/people/karpathy/convnetjs/

ConvNetJS is a Javascript library for training Deep Learning models (mainly Neural Networks) entirely in your browser. Open a tab and you're training. No software requirements, no compilers, no installations, no GPUs, no sweat.

分散共分散行列と相関行列

https://upo-net.ouj.ac.jp/tokei/xml/k3_06022.xml

強化学習をベイズで理解する

https://www.sat.t.u-tokyo.ac.jp/~mak/20140319-makino.pdf

GloVe: Global Vectors for Word Representation

http://nlp.stanford.edu/projects/glove/

GloVe is an unsupervised learning algorithm for obtaining vector representations for words. Training is performed on aggregated global word-word co-occurrence statistics from a corpus, and the resulting representations showcase interesting linear substructures of the word vector space.

Echo state network - Wikipedia, the free encyclopedia

http://en.wikipedia.org/wiki/Echo_state_network

The echo state network (ESN) is a recurrent neural network with a sparsely connected hidden layer (with typically 1% connectivity). The connectivity and weights of hidden neurons are randomly assigned and are fixed. The weights of output neurons can be learned so that the network can (re)produce specific temporal patterns.

Reservoir computing - Wikipedia, the free encyclopedia

http://en.wikipedia.org/wiki/Reservoir_computing

Reservoir computing is a framework for computation like a neural network.

The “echo state” approach to analysing and training recurrent neural networks – with an Erratum note

http://web.info.uvt.ro/~dzaharie/cne2013/proiecte/tehnici/ReservoirComputing/EchoStatesTechRep.pdf

This is a corrected version of the technical report H. Jaeger(2001): The ”echo state” approach to analysing and training recurrent neural networks. GMD Report 148, German National Research Center for Information Techno logy, 2001.

An overview of reservoir computing: theory, applications and implementations

https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2007-8.pdf

This tutorial will give an overview of current research on theory, application and implementations of Reservoir Computing.

Frontiers | MACOP modular architecture with control primitives | Frontiers in Computational Neuroscience

http://journal.frontiersin.org/article/10.3389/fncom.2013.00099/full

2.4.2. Echo state networks
We use an Echo State Network (ESN) (Jaeger, 2001) as inverse model. An ESN is composed of a discrete-time recurrent neural network [commonly called the reservoir because ESNs belong to the class of Reservoir Computing techniques (Schrauwen et al., 2007)] and a linear readout layer which maps the state of the reservoir to the desired output.

Download PDF
http://journal.frontiersin.org/article/10.3389/fncom.2013.00099/pdf

青空朗読 | 青空文庫に所蔵されている本を朗読しています

http://aozoraroudoku.jp/

「青空朗読」はインターネット上の図書館である「青空文庫」に掲載されている本を朗読する ...

「青空文庫」を朗読した mp3 をダウンロードできる。
この音声データと「青空文庫」のテキストを合わせれば、日本語音声コーパスとして使えるだろう。

ディープラーニング チュートリアル（もしくは研究動向報告）

http://www.vision.is.tohoku.ac.jp/index.php/download_file/view/15/137/

岡谷貴之　齋藤真樹
東北大学

日本語のスライド。

DeepLearning.University – An Annotated Deep Learning Bibliography | Memkite

http://memkite.com/deep-learning-bibliography/

Links to Deep Learning Subtopics

深層学習のリンク集。

[1504.00941] A Simple Way to Initialize Recurrent Networks of Rectified Linear Units

http://arxiv.org/abs/1504.00941

In this paper, we propose a simpler solution that use recurrent neural networks composed of rectified linear units.

Key to our solution is the use of the identity matrix or its scaled version to initialize the recurrent weight matrix.

再帰ネットに ReLU (rectified linear units) を使って長期の時間的構造を学習する。

Learning a Deep Convolutional Network for Image Super-Resolution

http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html

Test code for SRCNN

SRCNN のソースコードがある。

[1501.00092] Image Super-Resolution Using Deep Convolutional Networks

http://arxiv.org/abs/1501.00092

The mapping is represented as a deep convolutional neural network (CNN) that takes the low-resolution image as the input and outputs the high-resolution one.

畳み込みニューラルネットを使って、低解像度の画像を入力して高解像度の画像を出力する。

Random Ponderings: A Brief Overview of Deep Learning

http://yyue.blogspot.ca/2015/01/a-brief-overview-of-deep-learning.html

(This is a guest post by Ilya Sutskever on the intuition behind deep learning as well as some very useful practical advice. Many thanks to Ilya for such a heroic effort!)

Stanford University CS231n: Course Projects Winter 2015

http://cs231n.stanford.edu/reports.html

CS231n: Convolutional Neural Networks for Visual Recognition

CS231n Course Project Reports

Unsupervised Feature Learning and Deep Learning Tutorial

http://ufldl.stanford.edu/tutorial/

Description: This tutorial will teach you the main ideas of Unsupervised Feature Learning and Deep Learning.

ディープ・ラーニングだけではなく、多層ニューラルネットなどの基礎技術の解説もある。

[1502.02551] Deep Learning with Limited Numerical Precision

http://arxiv.org/abs/1502.02551

Our results show that deep networks can be trained using only 16-bit wide fixed-point number representation when using stochastic rounding, and incur little to no degradation in the classification accuracy.

16ビットの浮動小数点数（半精度浮動小数点数）でも確率的に丸め処理をすれば使い物になるらしい。

GTC 2015 - Googleが「ディープラーニング」に対する取り組みを紹介 | マイナビニュース

http://news.mynavi.jp/articles/2015/03/20/gtc02/

Long short term memory - Wikipedia, the free encyclopedia

http://en.wikipedia.org/wiki/Long_short_term_memory

Long short term memory (LSTM) is a recurrent neural network (RNN) architecture

[1503.04069] LSTM: A Search Space Odyssey

http://arxiv.org/abs/1503.04069

• The most commonly used LSTM architecture (vanilla LSTM) performs reasonably well on various datasets and using any of eight possible modifications does not significantly improve the LSTM performance.
• Certain modifications such as coupling the input and forget gates or removing peephole connections simplify LSTM without significantly hurting performance.
• The forget gate and the output activation function are the critical components of the LSTM block. While the first is crucial for LSTM performance, the second is necessary whenever the cell state is unbounded.

CS231n Convolutional Neural Networks for Visual Recognition

http://cs231n.github.io/

These notes accompany the Stanford CS class CS231n: Convolutional Neural Networks for Visual Recognition.

Stanford University CS231n: Convolutional Neural Networks for Visual Recognition

http://vision.stanford.edu/teaching/cs231n/

Rectifier (neural networks) - Wikipedia, the free encyclopedia

http://en.wikipedia.org/wiki/Rectifier_%28neural_networks%29#Leaky_ReLUs

Leaky ReLUs allow a small, non-zero gradient when the unit is not active.

CIFAR-10 Competition Winners: Interviews with Dr. Ben Graham, Phil Culliton, & Zygmunt Zając | no free hunch

http://blog.kaggle.com/2015/01/02/cifar-10-competition-winners-interviews-with-dr-ben-graham-phil-culliton-zygmunt-zajac/

The "MP" entries above denote max pooling, and "VeryLeakyReLU" denotes a "leaky" ReLU with a fairly large (alpha was 0.33) non-zero gradient.

[1412.6980] Adam: A Method for Stochastic Optimization

http://arxiv.org/abs/1412.6980

We introduce Adam, an algorithm for first-order gradient-based optimization of stochastic objective functions.

意思決定を行う脳の組織構造 | 沖縄科学技術大学院大学 OIST

https://www.oist.jp/ja/news-center/news/2015/2/26/18669

腹側線条体は、ラットが試行をいつ開始するかを決める早い段階で最も活性化しました。背内側線条体では、左右いずれかの穴に向かう前、左右の選択の結果得られる報酬の予測に応じて発火レベルが変化しました。背外側線条体は、試行の様々なタイミングで短い発火を示し、細かな運動制御に関係していると考えられます。

DEEP LEARNING An MIT Press book in preparation

http://www-labs.iro.umontreal.ca/~bengioy/dlbook/

An MIT Press book in preparation
Yoshua Bengio, Ian Goodfellow and Aaron Courville

GeoLite2 Free Downloadable Databases « Maxmind Developer Site

http://dev.maxmind.com/geoip/geoip2/geolite2/

GeoLite2 databases are free IP geolocation databases comparable to, but less accurate than, MaxMind’s GeoIP2 databases. GeoLite2 databases are updated on the first Tuesday of each month.

IPアドレスと国名、街の名前、経度・緯度のデータベース。

GeoLite Legacy Downloadable Databases « Maxmind Developer Site

http://dev.maxmind.com/geoip/legacy/geolite/

The GeoLite databases are our free IP geolocation databases. They are updated on the first Tuesday of each month. These databases are offered in the same binary and csv formats as our subscription databases. Any code which can read the subscription databases can also read the GeoLite databases.

IPアドレスと国名、街の名前、経度・緯度、AS番号のデータベース。

Huffman coding (Java) | Project Nayuki

http://www.nayuki.io/page/huffman-coding-java

Huffman coding (Java)

This project is an open-source reference implementation of Huffman coding in Java. The code is intended to be used for study, and as a solid basis for modification and extension. As such, it is optimized for clear logic and low complexity, not speed/memory/performance.