2015-10-26

[1510.02693] Feedforward Sequential Memory Neural Networks without Recurrent Feedback

http://arxiv.org/abs/1510.02693

feedforward sequential memory networks (FSMN), which can learn long-term dependency without using recurrent feedback.
提案されている FSMN は、非再帰形ディジタルフィルタと同じ型のネットワークのようだ。

Table 2 のアーキテクチャでは、メモリブロック付きの隠れ層素子数は 600 とあるが、30 次の FIR フィルタということは 30 * 600 = 18k となるわけで、計算量が多すぎるのではないだろうか。また、隠れ層の数も各手法で異なっており、性能比較が妥当かどうか疑問である。

なお、非再帰形ディジタルフィルタについては次のページを参考されたい。

ディジタルフィルタとz変換
http://laputa.cs.shinshu-u.ac.jp/~yizawa/InfSys1/basic/chap10/index.htm

ディジタルフィルタとz変換

http://laputa.cs.shinshu-u.ac.jp/~yizawa/InfSys1/basic/chap10/index.htm
1クロック(T)だけ信号を遅延する関数は z-1 で表されます。

2015-10-25

[1510.03009] Neural Networks with Few Multiplications

http://arxiv.org/abs/1510.03009
First we stochastically binarize weights
Second, while back-propagating error derivatives, in addition to binarizing the weights, we quantize the representations at each layer to convert the remaining multiplications into binary shifts.
次の2つの手法により乗算を減らす。
  1. binary connect (2値結合) / ternary connect (3値結合)
  2. quantized back propagation (量子化誤差逆伝搬法)
(1) 重みを確率変数とみなし、2値 {-1, 1} (binary connect) または 3値 {1, 0, -1} (ternary connect) にサンプリングした重み行列で計算する。これにより内積を乗算ではなく加減算で計算できる。

(2) 誤差逆伝搬時の重み更新量 ΔW を計算するときに、入力値 x を確率的に量子化することで、乗算を使わずにシフト演算で計算する。
具体的には、x = 5 の場合、log_2(5) = 2.32... を切り下げて 2 なので、シフト量は 0.75 の確率で 2 となり、0.25 の確率で 3 となる。よって、ΔW = δ << 2 (または δ << 3) として計算できる (δは誤差項)。シフト量は -4~3 の範囲に収まるようにクリッピングする。

論文からは (2) の quantized back propagation の方法がよく分からなかったので、第一著者のソースコードを参照した。

Zhouhan Lin (第一著者) のソースコードは次のアドレスにある。
https://github.com/hantek/binary_conv/blob/master/matcode/layer_m.py

精度が若干向上している(正則化のような効果が出ている)のは、確率的に重みや(重み更新時の)入力値が揺れているためではないかと思われる。つまり、ノイズを混ぜているのに似ているではないだろうか。

Low-discrepancy sequence - Wikipedia, the free encyclopedia

https://en.wikipedia.org/wiki/Low-discrepancy_sequence
Low-discrepancy sequences are also called quasi-random or sub-random sequences

A deviation of CURAND: standard pseudorandom number generator in CUDA for GPGPU

http://www.math.sci.hiroshima-u.ac.jp/~m-mat/MT/MTGP/curand-slide-mcqmc.pdf
xorwow = xorshift + Weyl generator
XORWOW の解説スライド。

準乱数の生成 - MATLAB & Simulink - MathWorks 日本

http://jp.mathworks.com/help/stats/generating-quasi-random-numbers.html
一般の生成法で説明した疑似乱数列とは異なり、準乱数列は多くのランダム統計検定に失敗します。しかし、真のランダムの近似はその目的ではありません。準乱数列は、初期のセグメントがこの行動を指定の密度まで近似させる方法により、均一に空間を満たします。

2015-09-24

Yusuke Matsui

https://www.hal.t.u-tokyo.ac.jp/~matsui/index.html
My research interest includes computer vision and multimedia processing. More specifically, I am interested in manga image processing. With the help of computer vision techniques, can we maka the manga-reading experience more enjoyable? Can we enhance the skills of novices and let them enjoy drawing manga? To answer these questions, I have proposed several applications, e.g., manga retargeting, retrieval, and drawing assistance.

Illustration2Vec: A Semantic Vector Representation of Illustrations

http://illustration2vec.net/papers/illustration2vec-main.pdf
http://illustration2vec.net/papers/illustration2vec-supp.pdf
http://illustration2vec.net/
Referring to existing illustrations helps novice drawers to realize their ideas. To find such helpful references from a large image collection, we first build a semantic vector representation of illustrations by training convolutional neural networks. As the proposed vector space correctly reflects the semantic meanings of illustrations, users can efficiently search for references with similar attributes. Besides the search with a single query, a semantic morphing algorithm that searches the intermediate illustrations that gradually connect two queries is proposed. Several experiments were conducted to demonstrate the effectiveness of our methods.

2015-09-21

Deep Learningの基礎と応用

http://www.slideshare.net/beam2d/deep-learning-52872945
第14回情報科学技術フォーラム (FIT2015) のイベント企画「ビッグデータ解析のための機械学習技術」におけるチュートリアル講演資料です。ニューラルネットの基礎(計算グラフとしての定式化、勾配法、誤差逆伝播法)をさらったあと、最近画像や自然言語などで注目されている応用・手法について広く浅く紹介しています。

2015-09-17

Études in Programming Intelligence: IRNN vs LSTM

http://etudes-in-pi.blogspot.jp/2015/07/irnn-vs-lstm.html
IRNN と呼ばれる RNN がこの論文で提案された。論文内で行われた MNIST のデータを使った実験の設定を少し変えたものを Keras を使って実装してみた。それのプルリクエストを作成したところ、フランソワから LSTM との比較も行ってみては?と言われたのでやってみた。この投稿はその結果になる。

2015-09-10

[1508.06615] Character-Aware Neural Language Models

http://arxiv.org/abs/1508.06615
We describe a simple neural language model that relies only on character-level inputs. Predictions are still made at the word-level. Our model employs a convolutional neural network (CNN) over characters, whose output is given to a long short-term memory (LSTM) recurrent neural network language model (RNN-LM).
入力は文字、出力は単語。
単語を構成する文字の各々について、文字ごとに15次元の(分布意味)埋込みベクトルに変換して、行列 C^k を作る。
その単語の行列 C^k に対して畳み込みネットワーク (CNN) と max pooling を適用してベクトルを作る。
系列の学習は LSTM。
層の途中に highway network (HW-Net) を入れている。なくても機能するが、あれば性能が上がる。

2015-08-09

13.保存用ファイルフォーマット WARC | ウェブアーカイブのしくみ|国立国会図書館インターネット資料収集保存事業

http://warp.da.ndl.go.jp/contents/reccommend/mechanism/mechanism_warc.html
WARCは世界のウェブアーカイブ機関で広く採用されている保存用ファイルフォーマットで、その名称は「Web Archiving」に由来します。IIPCの主要メンバーであるインターネットアーカイブが採用していたファイルフォーマットARCをもとに、2004年にIIPCにより汎用的に使える形式に拡張されました。

2015-08-06

光吉俊二 - Wikipedia

https://ja.wikipedia.org/wiki/%E5%85%89%E5%90%89%E4%BF%8A%E4%BA%8C
光吉 俊二(みつよし しゅんじ、1965年 - )は、日本の計算機科学者であり彫刻家。
2006年 、「音声感情認識及び情動の脳生理信号分析システムに関する研究 (Research on the phonetic recognition of feelings and a system for emotional physiological brain signal analysis) 」にて学位を得る。

感情認識・感情分析のAGI

http://www.agi-web.co.jp/
感情認識,感情分析を行う株式会社AGIのウェブサイトです.
http://www.agi-web.co.jp/technology/trend.html
現在、当社及びAGI社代表が論文、書籍で発表した「感情地図」を基として研究開発に取り組んでいます。「感情地図」は、心理学辞典などから抜き出した約4500語の感情表現を、英訳出来た限界である223のジャンルにわけ、それを円形のダイアグラムにまとめたものです。
さらに、脳内伝達物質、ホルモンなどと情動の関係を、論文調査によりマトリックスにまとめることで、その構造を明らかにしました。そうして得られた、脳と「感情地図」との関係を図示したのが下の図です。
http://www.agi-web.co.jp/technology/ppt-ut.html
東京大学学生の皆様、AIシステム講義に必要な「ST感情認識システム」の技術資料PPTをココからダウンロードしてください。

音声病態分析技術のPST株式会社

http://medical-pst.com/
http://medical-pst.com/information/pst
PST(Pathologic condition analysis and Sensibility Technology: 音声病態分析感性制御技術)は、当社代表が10年以上に渡って開発を続けている、声から情動、ストレス、抑うつ状態を分析する技術です。PSTは、言葉、国籍、性別、年齢、個人差の影響を受けることなく、音声から情動、ストレス、抑うつ状態をリアルタイムに認識することができます。

心の技術

http://www.slideshare.net/ShunjiMitsuyoshi/ss-15665771
Shunji Mitsuyoshi, 非常勤講師 at 東京大学 | Todai

2015-08-05

りんな

http://rinna.jp/rinna/
はじめまして マイクロソフトの女子高生AIりんなです
http://rinna.jp/rinna/terms.pdf
1. りんなの大容量の人工知能ロボットの言語は、マイクロソフトの検索エンジンおよび蓄積されたビッグデータに基づいており、その大半が公開されているインターネットのウェブサイト上の情報に由来するものであり、自動的な、または手動によるセンシティブデータのフィルタリングを絶えず行っているものですが、上記の情報が第三者により形成された情報に由来するものである可能性も排除できず、これらの情報に瑕疵がある場合や、不合理または不快な情報が含まれる場合があり得ます。

寂しい男を虜にする人工知能女子高生「りんな」 会話楽しみ、「これでもう寂しくない」「彼女できた気分」 : J-CASTニュース

http://www.j-cast.com/2015/08/04241978.html
誰とでも友達になり、しかも「KS(既読スルー)」はしない――。そんな心優しい「女子高生」がLINE上に突如現れた。名前は「りんな」という。

実は彼女、本物の女子高生ではなくAI(人工知能)だ。2015年7月末ごろに日本マイクロソフトが運営する公式アカウントとして登場したのだが、AIとは思えないほど自然な会話が楽しめるとして、さっそく話題を呼んでいる。