子供の言語獲得と機械の言語獲得

http://www.slideshare.net/unnonouno/ss-59660836

2016/03/17にPFIセミナーで話したスライドです。子供の言語獲得に関する非常に基本的な話と、関係しそうな機械学習の技術を紹介しました。素人なりのまとめなので、間違いなどご指摘いただけると助かります。

Stanford University CS224d: Deep Learning for Natural Language Processing

http://cs224d.stanford.edu/

Through lectures and programming assignments students will learn the necessary engineering tricks for making neural networks work on practical problems.

http://cs224d.stanford.edu/syllabus.html

[1506.03340] Teaching Machines to Read and Comprehend

http://arxiv.org/abs/1506.03340

In this work we define a new methodology that resolves this bottleneck and provides large scale supervised reading comprehension data.

The Impatient Reader
The Attentive Reader is able to focus on the passages of a context document that are most likely to inform the answer to the query. We can go further by equipping the model with the ability to reread from the document as each query token is read.

文書を学習して、穴埋め問題を解く。Impatient Reader と Attentive Reader の比較。

スライドはこの記事を参照。

Computational Linguistics and Deep Learning

http://www.mitpressjournals.org/doi/abs/10.1162/COLI_a_00239

Christopher D. Manning
Stanford University
MIT Press Journals - Computational Linguistics - Early Access - Citation

Understanding Convolutional Neural Networks for NLP | WildML

http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/

In this post I’ll try to summarize what CNNs are, and how they’re used in NLP.

[1508.06615] Character-Aware Neural Language Models

http://arxiv.org/abs/1508.06615

We describe a simple neural language model that relies only on character-level inputs. Predictions are still made at the word-level. Our model employs a convolutional neural network (CNN) over characters, whose output is given to a long short-term memory (LSTM) recurrent neural network language model (RNN-LM).

入力は文字、出力は単語。
単語を構成する文字の各々について、文字ごとに15次元の（分布意味）埋込みベクトルに変換して、行列 C^k を作る。
その単語の行列 C^k に対して畳み込みネットワーク (CNN) と max pooling を適用してベクトルを作る。
系列の学習は LSTM。
層の途中に highway network (HW-Net) を入れている。なくても機能するが、あれば性能が上がる。

日本語Wikipediaオントロジー

http://www.wikipediaontology.org/

本研究チームでは，日本語版Wikipediaを情報資源として，半自動的に大規模で汎用的なオントロジーを構築する事を目的とした研究を行っています．

DBpedia についてすこし調べてみた - a lonely miner

http://conditional.github.io/blog/2015/07/28/an-introduction-to-dbpedia/

What is DBpedia?

Wikipediaを自動的に、RDFトリプルに変換する仕組み、あるいはそのプロジェクト。

Open University: Natural Language Processing (2015)

http://nlp.ist.i.kyoto-u.ac.jp/member/kuro/lecture/OpenUniv/

Last Modified: May 17, 2015

放送大学 自然言語処理(2015年度)

印刷教材の誤り

    4.3節 naive bayse -> naive bayes
    4.3節 式(4.7) argmax Π P(xi|y) P(y) -> argmax (Π P(xi|y)) P(y)
    5.1.3節 直感的に理解しやすい別の近似として，式8.1 -> 式5.6
    10.2.1節 例文(4)の下線：「すべて」 -> 「それ」
    13.1節 映画「2001年宇宙の旅」(1980年) -> 映画「2001年宇宙の旅」(1968年)

放送教材の誤り

    第5回 式5.1,式5.2,式5.3,式5.4 -> 式5.3,式5.4,式5.5,式5.6
    (※ 集中放送からは修正予定)

The EDICT Dictionary File

http://www.edrdg.org/jmdict/edict.html

EDICT is a Japanese-English Dictionary file.

和英辞典ファイルのダウンロード。
漢字の辞書もある。

KANJIDIC2 HOME PAGE

http://www.edrdg.org/kanjidic/kanjd2index.html

The KANJIDIC2 project has as its aim the production of a consolidated XML-format kanji database combining the information currently in the KANJIDIC (6,355 kanji from JIS X 0208) and KANJD212 (5,801 kanji from JIS X 0212) files (overview) (documentation), and adding information about the additional 952 kanji in JIS X 0213. (2,743 kanji are in both JIS X 0212 and JIS X 0213.)

漢字とその意味（英語）の辞書。

生態学／非統計系向け確率的トピックモデル講義録

http://chasen.org/~daiti-m/diary/?201506a&to=201506070#201506070

今年の1月に統数研で行われた, 「生物に見られる時空間パターンと統計数理：同調・認知・行動」 という島谷先生主催の研究集会で行ったトピックモデルの講義を, 何と聴いていた学生 さん・若手の方と島谷さんが文字起こしした上で, 編集して講義録として公開してくれました。

「離散データの確率的トピックモデル」
http://chasen.org/~daiti-m/paper/daichi15topicmodel-for-ecology.pdf

livedoor ニュースコーパス | ダウンロード | 株式会社ロンウイット

http://www.rondhuit.com/download.html#ldcc

概要
本コーパスは、NHN Japan株式会社が運営する「livedoor ニュース」のうち、下記のクリエイティブ・コモンズライセンスが適用されるニュース記事を収集し、可能な限りHTMLタグを取り除いて作成したものです。

収集時期：2012年9月上旬 ダウンロード（通常テキスト）：ldcc-20140209.tar.gz ダウンロード（Apache Solr向き）：livedoor-news-data.tar.gz 論文などで引用する場合は、このURLを参照してください。

場所参照表現タグ付きコーパス Ver 0.1 (2015/05/25)

http://www.cl.ecei.tohoku.ac.jp/~matsuda/LRE_corpus/

概要

本コーパスは，Twitterからランダムにサンプリングしたテキストに現れる，「特定の場所を著者が想定している」と判断できる表現に対して，実際にどのエンティティを指しているかを人手で判断しエンティティ情報を付与したコーパスです．GeoNLPなどのジオパーズシステム，エンティティリンキングシステム等の開発や評価に利用することを想定して構築されました．

Computing numeric representations of words in a high-dimensional space - Google Inc.

http://www.freepatentsonline.com/9037464.html

United States Patent 9037464

Inventors:
Mikolov, Tomas (Jersey City, NJ, US)
Chen, Kai (San Bruno, CA, US)
Corrado, Gregory S. (San Francisco, CA, US)
Dean, Jeffrey A. (Palo Alto, CA, US)

word2vec 関連の特許。

GloVe: Global Vectors for Word Representation

http://nlp.stanford.edu/projects/glove/

GloVe is an unsupervised learning algorithm for obtaining vector representations for words. Training is performed on aggregated global word-word co-occurrence statistics from a corpus, and the resulting representations showcase interesting linear substructures of the word vector space.

rakuten-nlp/rakutenma · GitHub

https://github.com/rakuten-nlp/rakutenma

Rakuten MA - morphological analyzer (word segmentor + PoS Tagger) for Chinese and Japanese written purely in JavaScript.

Learning Character-level Representations for Part-of-Speech Tagging

http://jmlr.org/proceedings/papers/v32/santos14.pdf

In this paper, we propose a deep neural network that learns character-level representation of words and associate them with usual word representations to perform POS tagging.

SENNA

http://ml.nec-labs.com/senna/

SENNA is a software distributed under a non-commercial license, which outputs a host of Natural Language Processing (NLP) predictions: part-of-speech (POS) tags, chunking (CHK), name entity recognition (NER), semantic role labeling (SRL) and syntactic parsing (PSG).

自然言語処理ツール

http://www.phontron.com/nlptools.php

自然言語処理の研究で役立つツールを集めてみました。