Deep Learningの基礎と応用

http://www.slideshare.net/beam2d/deep-learning-52872945

第14回情報科学技術フォーラム (FIT2015) のイベント企画「ビッグデータ解析のための機械学習技術」におけるチュートリアル講演資料です。ニューラルネットの基礎（計算グラフとしての定式化、勾配法、誤差逆伝播法）をさらったあと、最近画像や自然言語などで注目されている応用・手法について広く浅く紹介しています。

Études in Programming Intelligence: IRNN vs LSTM

http://etudes-in-pi.blogspot.jp/2015/07/irnn-vs-lstm.html

IRNN と呼ばれる RNN がこの論文で提案された。論文内で行われた MNIST のデータを使った実験の設定を少し変えたものを Keras を使って実装してみた。それのプルリクエストを作成したところ、フランソワから LSTM との比較も行ってみては？と言われたのでやってみた。この投稿はその結果になる。

[1508.06615] Character-Aware Neural Language Models

http://arxiv.org/abs/1508.06615

We describe a simple neural language model that relies only on character-level inputs. Predictions are still made at the word-level. Our model employs a convolutional neural network (CNN) over characters, whose output is given to a long short-term memory (LSTM) recurrent neural network language model (RNN-LM).

入力は文字、出力は単語。
単語を構成する文字の各々について、文字ごとに15次元の（分布意味）埋込みベクトルに変換して、行列 C^k を作る。
その単語の行列 C^k に対して畳み込みネットワーク (CNN) と max pooling を適用してベクトルを作る。
系列の学習は LSTM。
層の途中に highway network (HW-Net) を入れている。なくても機能するが、あれば性能が上がる。

DEEP LEARNING: Methods and Applications - Microsoft Research

http://research.microsoft.com/apps/pubs/default.aspx?id=209355

Abstract

This book is aimed to provide an overview of general deep learning methodology and its applications to a variety of signal and information processing tasks.

26 Things I Learned in the Deep Learning Summer School - Marek Rei

http://www.marekrei.com/blog/26-things-i-learned-in-the-deep-learning-summer-school/

13.保存用ファイルフォーマット WARC | ウェブアーカイブのしくみ｜国立国会図書館インターネット資料収集保存事業

http://warp.da.ndl.go.jp/contents/reccommend/mechanism/mechanism_warc.html

WARCは世界のウェブアーカイブ機関で広く採用されている保存用ファイルフォーマットで、その名称は「Web Archiving」に由来します。IIPCの主要メンバーであるインターネットアーカイブが採用していたファイルフォーマットARCをもとに、2004年にIIPCにより汎用的に使える形式に拡張されました。

光吉俊二 - Wikipedia

https://ja.wikipedia.org/wiki/%E5%85%89%E5%90%89%E4%BF%8A%E4%BA%8C

光吉 俊二（みつよし しゅんじ、1965年 - ）は、日本の計算機科学者であり彫刻家。

2006年 、「音声感情認識及び情動の脳生理信号分析システムに関する研究 (Research on the phonetic recognition of feelings and a system for emotional physiological brain signal analysis) 」にて学位を得る。

感情認識・感情分析のAGI

http://www.agi-web.co.jp/

感情認識,感情分析を行う株式会社AGIのウェブサイトです．

http://www.agi-web.co.jp/technology/trend.html

現在、当社及びAGI社代表が論文、書籍で発表した「感情地図」を基として研究開発に取り組んでいます。「感情地図」は、心理学辞典などから抜き出した約4500語の感情表現を、英訳出来た限界である223のジャンルにわけ、それを円形のダイアグラムにまとめたものです。

さらに、脳内伝達物質、ホルモンなどと情動の関係を、論文調査によりマトリックスにまとめることで、その構造を明らかにしました。そうして得られた、脳と「感情地図」との関係を図示したのが下の図です。

http://www.agi-web.co.jp/technology/ppt-ut.html

東京大学学生の皆様、AIシステム講義に必要な「ST感情認識システム」の技術資料PPTをココからダウンロードしてください。

音声病態分析技術のPST株式会社

http://medical-pst.com/
http://medical-pst.com/information/pst

PST（Pathologic condition analysis and Sensibility Technology: 音声病態分析感性制御技術）は、当社代表が10年以上に渡って開発を続けている、声から情動、ストレス、抑うつ状態を分析する技術です。PSTは、言葉、国籍、性別、年齢、個人差の影響を受けることなく、音声から情動、ストレス、抑うつ状態をリアルタイムに認識することができます。

心の技術

http://www.slideshare.net/ShunjiMitsuyoshi/ss-15665771

Shunji Mitsuyoshi, 非常勤講師 at 東京大学 | Todai

りんな

http://rinna.jp/rinna/

はじめまして マイクロソフトの女子高生AIりんなです

http://rinna.jp/rinna/terms.pdf

1. りんなの大容量の人工知能ロボットの言語は、マイクロソフトの検索エンジンおよび蓄積されたビッグデータに基づいており、その大半が公開されているインターネットのウェブサイト上の情報に由来するものであり、自動的な、または手動によるセンシティブデータのフィルタリングを絶えず行っているものですが、上記の情報が第三者により形成された情報に由来するものである可能性も排除できず、これらの情報に瑕疵がある場合や、不合理または不快な情報が含まれる場合があり得ます。

寂しい男を虜にする人工知能女子高生「りんな」 会話楽しみ、「これでもう寂しくない」「彼女できた気分」 : J-CASTニュース

http://www.j-cast.com/2015/08/04241978.html

誰とでも友達になり、しかも「KS（既読スルー）」はしない――。そんな心優しい「女子高生」がLINE上に突如現れた。名前は「りんな」という。

実は彼女、本物の女子高生ではなくAI（人工知能）だ。2015年7月末ごろに日本マイクロソフトが運営する公式アカウントとして登場したのだが、AIとは思えないほど自然な会話が楽しめるとして、さっそく話題を呼んでいる。

日本語Wikipediaオントロジー

http://www.wikipediaontology.org/

本研究チームでは，日本語版Wikipediaを情報資源として，半自動的に大規模で汎用的なオントロジーを構築する事を目的とした研究を行っています．

DBpedia についてすこし調べてみた - a lonely miner

http://conditional.github.io/blog/2015/07/28/an-introduction-to-dbpedia/

What is DBpedia?

Wikipediaを自動的に、RDFトリプルに変換する仕組み、あるいはそのプロジェクト。

Neural networks and deep learning

http://neuralnetworksanddeeplearning.com/

Neural Networks and Deep Learning is a free online book.

Open University: Natural Language Processing (2015)

http://nlp.ist.i.kyoto-u.ac.jp/member/kuro/lecture/OpenUniv/

Last Modified: May 17, 2015

放送大学 自然言語処理(2015年度)

印刷教材の誤り

    4.3節 naive bayse -> naive bayes
    4.3節 式(4.7) argmax Π P(xi|y) P(y) -> argmax (Π P(xi|y)) P(y)
    5.1.3節 直感的に理解しやすい別の近似として，式8.1 -> 式5.6
    10.2.1節 例文(4)の下線：「すべて」 -> 「それ」
    13.1節 映画「2001年宇宙の旅」(1980年) -> 映画「2001年宇宙の旅」(1968年)

放送教材の誤り

    第5回 式5.1,式5.2,式5.3,式5.4 -> 式5.3,式5.4,式5.5,式5.6
    (※ 集中放送からは修正予定)

言語を知ることは、人とは何かを知ること――人の言語習得の仕組みを明らかにする / 認知・発達心理学者・今井むつみ氏インタビュー | SYNODOS -シノドス-

http://synodos.jp/intro/14531

今回は、ヒトの赤ちゃんの言語習得の研究を通じて「人とは何か」という大いなる謎に挑み続ける、認知・発達心理学者の今井むつみ先生にお話を伺いました。

IEEE 754r Half Precision floating point converter - File Exchange - MATLAB Central

http://www.mathworks.com/matlabcentral/fileexchange/23173-ieee-754r-half-precision-floating-point-converter

Converts MATLAB or C variables to/from IEEE 754r Half Precision floating point bit pattern.

半精度浮動小数点数（IEEE 754）を変換する C言語ソースコード。ライセンスは BSD License。

Half-precision floating-point format - Wikipedia, the free encyclopedia

https://en.wikipedia.org/wiki/Half-precision_floating-point_format

[1507.02030] Beyond Convexity: Stochastic Quasi-Convex Optimization

http://arxiv.org/abs/1507.02030

The Normalized Gradient Descent (NGD) algorithm, is an adaptation of Gradient Descent, which updates according to the direction of the gradients, rather than the gradients themselves.

ざっと眺めただけだが、通常はニューラルネットの重みの更新に勾配を使うが、NGD では勾配の向きによって重みを±学習率だけ更新させるという方法で学習する（アルゴリズム1）。ただし、ミニバッチ数を増やす必要がある（図2(c)）。