Bookmarks: 2014

2014-11-30

Overview of the TAC 2008 Update Summarization Task

http://www.nist.gov/tac/publications/2008/additional.papers/update_summ_overview08.proceedings.pdf

Abstract
The summarization track at the Text Analysis
Conference (TAC) is a direct continuation
of the Document Understanding
Conference (DUC) series of workshops,
focused on providing common data and
evaluation framework for research in automatic
summarization.

自動要約アルゴリズムを公開しました！ | カメリオ開発者ブログ

http://aial.shiroyagi.co.jp/2013/08/%E3%82%B7%E3%83%B3%E3%83%97%E3%83%AB%E3%81%A0%E3%81%91%E3%81%A9%E3%83%91%E3%83%AF%E3%83%95%E3%83%AB%E3%81%AA%E8%87%AA%E5%8B%95%E8%A6%81%E7%B4%84%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0/

要点から言うと、この度試験的に自動要約サービスを公開しました。

実行ファイルとDLLを一つにまとめる

http://qiita.com/krsak/items/75a257cc0866a7e8e4aa

Visual C# で、自作のクラスライブラリと実行ファイルを一つにまとめる（静的リンクもどきを行う）やり方です。
Microsoftが提供しているツール「ILMerge」で複数のアセンブリを一つのアセンブリにマージできます。
このツールを使うことで、自作のクラスライブラリのDLLと実行ファイルを一つにまとめることができます。

2014-11-09

Kaggle CIFAR-10の話 - デー

http://ultraist.hatenablog.com/entry/2014/11/08/192646

学習データを36倍に増化(Data Augmentation)

GCN + ZCA Whiteningで正規化

VGGのモデルをベースにしたConvolutional Neural Network(CNN)を学習

上記のモデルを重みの初期値とMini-Batch-SGDの更新順を変えて6個学習し、各分類器の平均を予測として出力

2014-10-29

乱択データ構造の最新事情－MinHash と HyperLogLog の最近の進歩－

http://www.slideshare.net/iwiwi/minhash

MinHash, b-bit MinHash, HyperLogLog, Odd Sketch, HIP Estimator の解説です

rti7743/wiki2dic · GitHub

https://github.com/rti7743/wiki2dic

日本語wikipediaの情報を解析して、「よみがな」「類義」「英語の読み」を取得するプログラムです。
使い方は、こちらをご覧ください。
http://d.hatena.ne.jp/rti7743/20141029/1414542206

2014-08-26

Object detection - Pierre Sermanet (Google)

https://docs.google.com/presentation/d/1EukM17bSCDqmxktFS2Yksi6gLwL0XSW0z578rpG08a0/edit?usp=sharing

Object Detection with Deep Learning
CVPR 2014 Tutorial
Pierre Sermanet, Google Research

Deep Learning for Computer Vision

https://sites.google.com/site/deeplearningcvpr2014/

TUTORIAL ON DEEP LEARNING FOR VISION
A tutorial in conjunction with the Intl. Conference in Computer Vision (CVPR) 2014.

CCNBook/Main - Computational Cognitive Neuroscience Wiki

https://grey.colorado.edu/CompCogNeuro/index.php/CCNBook

This is a new wiki textbook, serving as a 2nd edition to Computational Explorations in Cognitive Neuroscience CECN.

未来の図書館を作るとは - 達人出版会

http://tatsu-zine.com/books/miraino-toshokan

未来の図書館を作るとは
長尾真, LRG(編)
達人出版会
0円 [PDF] [EPUB]

前国立国会図書館館長でもある著者による、図書館論の集大成。書籍、出版、図書館、そして知識インフラの未来を考える。付録として特別対談「知識インフラの構築に向けて（長尾真×岡本真）」を収録

2014-08-25

CIFAR-10 and CIFAR-100 datasets

http://www.cs.toronto.edu/~kriz/cifar.html

The CIFAR-10 and CIFAR-100 are labeled subsets of the 80 million tiny images dataset. They were collected by Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton.

2014-08-24

CIFAR-10でstate of the artのスコアが出せる、インターネットに落ちている中で最強のコード - デー

http://ultraist.hatenablog.com/entry/2014/08/23/025614

CIFAR-10のstate of the artである0.912を微妙に超える精度(0.9173)が出せるようになったのでソースコードを公開します。

HTML5 Quick Tutorial

http://coursesweb.net/html/html5-quick-tutorial_t

2014-08-21

文法圧縮されたテキスト上でのrank/select/accessに関する論文を公開しました。 - tb_yasuの日記

http://d.hatena.ne.jp/tb_yasu/20140818/1408388943

論文中では、一般的な構文木上でのrank/select/access操作の困難性を提示した後、これらに対するアルゴリズムを提案しています。

2014-08-18

JavaScript で流体シミュレーションを試してみるテスト - CX's Hatena Blog

http://cx20.hatenablog.com/entry/2014/08/17/155418

Google から物理エンジンに関して面白そうなライブラリが登場したようなので jsdo.it で試してみました。

Googleがオープンソースの2D物理エンジンLiquidFun 1.1をリリース

最強オブジェクト指向言語 JavaScript 再入門！

http://www.slideshare.net/yuka2py/javascript-23768378

2014-08-11

rakuten-nlp/rakutenma · GitHub

https://github.com/rakuten-nlp/rakutenma

Rakuten MA - morphological analyzer (word segmentor + PoS Tagger) for Chinese and Japanese written purely in JavaScript.

2014-08-10

Neuron states are binary (spikes) and synaptic weights are 9-bit signed integers with a 4-bit time delay. The overall peak performance is 4096x256x256x1000 = 266 GSops (billion synaptic operations per second).

2014-08-08

特許 US8626676 - Regularized dual averaging method for stochastic and online learning - Google 特許検索

http://www.google.com/patents/US8626676

Regularized dual averaging method for stochastic and online learning
US 8626676 B2

RDA (Regularized Dual Averaging) の特許。

2014-08-07

unnonouno: AdaGradが12倍速くなる魔法

http://blog.unnono.net/2014/08/adagrad.html

ボトルネックになりそうなsqrt周りを見てみましょう。実は-O2でも、sqrtssというCPU命令を使って1発で計算しているのでそれなりに高速です。ところが、-Ofastでは、vrsqrtpsという何やら怪しげな命令が。 rsqrtというのは、-1/2乗を計算する命令です。そのお陰で、-Ofast側ではdivが無くなっていることに気づきます。

2014-08-06

大脳皮質を中心とする神経回路の研究フォーラム

http://www.mbs.med.kyoto-u.ac.jp/cortex/

I) The scope of this forum このフォーラムの目的
II) Theoretical Model for the Neural Circuits of Cerebral Cortex and its Related System 大脳皮質と関連する神経領域の回路モデル
1) TD Reinforcement Learning in the Basal Ganglia 基底核における TD 強化学習について
2) Inverse Dynamic Model in the Cerebellum 小脳の内部モデルについて
3) Corticothalamic loop circuit model 皮質視床ループ回路のモデルについて
4) Model for outer-world observer 外界オブザーバを順モデルで構築する
5) Boltzmann machine ボルツマンマシンについて
6) Infomax インフォマックス原理について
7) Recurrent Infomax 相互結合ネットワークのインフォマックス
8) Hodgkin Huxley-type neural simulation model ホジキン・ハックスレー型ニューロンモデル
Appendix: Data of measurement and simulation Ž実測値とシミュレーション実験のパラメータ
9) Bayesian estimator and Kalman filter ベイズ推定とカルマンフィルタ
10) Bayesian estimator with continuous time 連続時間のベイズ推定
11) Electric Circuit for Electrophysiology 電気生理実験のための電気回路
12) Sparse Coding スパース符号化
13) Correlation of Neural Activity 神経活動の相関
14) Likelihood/AIC/BIC 尤度と情報量基準
15) Discrete Fourier transform and multitaper method 離散フーリエ解析と multitaper 法について
III) The Structure and Function of the Cerebral Cortex 大脳皮質の構造と機能
1) Introduction of Cerebral Cortex イントロ (pdf in Japanese)
2) Neural Elements 構成要素 (pdf in Japanese; incomplete)
3) Thalamic Inputs to Cereral Cortex 視床からの大脳皮質への入力 (pdf in Japanese; incomplete)
4) Modulatory Inputs 調節性入力 (pdf in Japanese; incomplete)
5) Local/Intrinsic Connection (Microcircuit) 局所回路 (pdf in Japanese; incomplete)
6) Corticocortical Connection 皮質間連絡 (under construction)
7) Output of Cerebal Cortex 大脳皮質からの出力 (under construction)

脳は多数の連続的な動作をグループ分けで効率よく符号化している - 東北大 | マイナビニュース

http://news.mynavi.jp/news/2013/09/27/276/

サルを用いた実験で、多数の連続的な動作(順序動作)をグループに分けて効率よく符号化する神経細胞活動を発見したと発表した。

東大など、言語の文法処理を支える神経回路を発見 | マイナビニュース

http://news.mynavi.jp/news/2014/02/12/237/

言語の文法処理を支える3つの神経回路を発見し、言語障害の1つである「文法障害」に伴う脳活動の変化を解明したと共同で発表した。

自分が何をしようとしているのかを忘れないための脳の仕組み -東京都医学研 | マイナビニュース

http://news.mynavi.jp/news/2013/10/10/140/

これまでの研究から、動作の実行時にゴールを反映する活動は前頭前野にあることが報告されていたが、今回の研究により、その存在が初めて大脳基底核にもあることが示されたこととなった。

脳と心：認知神経科学入門

http://cognitivens.web.fc2.com/content.html

これは私が慶應義塾大学で学んだ脳と心、行動との関係について述べたものです。脳と心、行動の関係を研究する学問は認知神経科学と呼ばれています。

http://cognitivens.web.fc2.com/Ch1.pdf
http://cognitivens.web.fc2.com/Ch2.pdf
http://cognitivens.web.fc2.com/Ch3.pdf
http://cognitivens.web.fc2.com/Ch4.pdf
http://cognitivens.web.fc2.com/Ch5.pdf
http://cognitivens.web.fc2.com/Ch6.pdf

2014-08-01

スプレー木 - Wikipedia

http://ja.wikipedia.org/wiki/%E3%82%B9%E3%83%97%E3%83%AC%E3%83%BC%E6%9C%A8
http://en.wikipedia.org/wiki/Splay_tree

スプレー木（スプレーき、英: Splay tree）は、平衡2分探索木の一種で、最近アクセスした要素に素早く再アクセスできるという特徴がある。

Chapter 22 Splay Trees

http://digital.cs.usu.edu/~allan/DS/Notes/Ch22.pdf

The Basic Bottom-Up Splay Tree
Top-Down Splay Trees

2014-07-31

Learning Character-level Representations for Part-of-Speech Tagging

http://jmlr.org/proceedings/papers/v32/santos14.pdf

In this paper, we propose a deep neural network that learns character-level representation of words and associate them with usual word representations to perform POS tagging.

soumith/convnet-benchmarks · GitHub

https://github.com/soumith/convnet-benchmarks

Easy benchmarking of all public open-source implementations of convnets. A summary is provided in the section below.

Java8のHotSpotVMからPermanent領域が消えた理由とその影響 | ギークを目指して

http://equj65.net/tech/java8hotspot/

今回はJava8のHotSpotVMの話。Java8ではJEP122が取り込まれ、VMのメモリモデルが変更された。JEP122のタイトル「Remove the Permanent Generation」から想像できるとおり、Java8のHotSpotVMからは従来のPermanent領域が無くなった。

MLlib | Apache Spark

https://spark.apache.org/mllib/

MLlib is Apache Spark's scalable machine learning library.

2014-07-29

漢字辞典

http://kanjitisiki.com/

漢字に関する情報を扱う漢字の総合サイトです。
漢字の意味や読み、部首や四字熟語や対義語、漢字の問題など漢字に関する様々な情報を記載しています。

感情行動と脳回路の進化から読み解く心のしくみ

http://www004.upp.so-net.ne.jp/kaysaka/index.htm

感情の系統図＆意識の回路図

Neuroinformatics Summer School 2000

http://www.jnns.org/niss/2000/lecturenotes.html

NISS2000 Lecturenotes （講義録）

はじめに：脳における双方向情報処理　川人光男、銅谷賢治

日本神経回路学会　若手向け講習会案内

http://www.jnns.org/niss/

日本神経回路学会では、数理モデル化のできる実験家、実データを扱える理論家の育成と、異分野の研究者間の交流とネットワーク形成を目標に、若手向け講習会を 1999年から開催してきました。

≪サマースクールの足跡≫ のページは存在するが、≪沖縄計算神経科学コース　Okinawa Computational Neuroscience Course ＯＣＮＣ≫ のページは消えている。

SENNA

http://ml.nec-labs.com/senna/

SENNA is a software distributed under a non-commercial license, which outputs a host of Natural Language Processing (NLP) predictions: part-of-speech (POS) tags, chunking (CHK), name entity recognition (NER), semantic role labeling (SRL) and syntactic parsing (PSG).

自然言語処理ツール

http://www.phontron.com/nlptools.php

自然言語処理の研究で役立つツールを集めてみました。

Graham Neubig - チュートリアル資料

http://www.phontron.com/teaching.php?lang=ja

NLPプログラミングチュートリアル
機械翻訳についての資料
ノンパラメトリックベイズ入門

ノンパラメトリックベイズを用いた、品詞数が決まっていない品詞推定や教師なし単語分割などの実装方法について述べます。

基礎知識としての心理学－ U-Site

http://www.usability.gr.jp/lecture/psychology-as-basic-knowledge.html

人間中心設計（HCD）の基礎知識としての心理学

脳の世界：中部学院大学　三上章允

http://web2.chubu-gu.ac.jp/web_labo/mikami/brain/index.html

「脳の世界」では、これまでに明かになった研究成果の一部を紹介するだけでなく、討論のページでは研究データからは完全に証明できていない仮説についても取り上げます。

大脳基底核と強化学習 - 人工知能に関する断創録

http://aidiary.hatenablog.com/entry/20021202/1119960582

大脳基底核と強化学習の関係について調べたのでざっとまとめておく。

大人が学び直す数学

http://oto-suu.seesaa.net/

当サイトは、数学が苦手な人による、数学が苦手な人のためのオンライン学習ノートです。

ベクトル解析 - [物理のかぎしっぽ]

http://hooktail.org/misc/index.php?%A5%D9%A5%AF%A5%C8%A5%EB%B2%F2%C0%CF

2014-07-28

sparsehash - An extremely memory-efficient hash_map implementation - Google Project Hosting

https://code.google.com/p/sparsehash/

An extremely memory-efficient hash_map implementation. 2 bits/entry overhead! The SparseHash library contains several hash-map implementations, including implementations that optimize for space or speed.

PPMと言語モデル (2) | mots quotidiens.

http://chasen.org/~daiti-m/diary/?200706a&to=200706042#200706042

圧縮で経験的に高性能だった手法は自然言語処理/音声言語処理の手法と同じだった, という結論になるようです。

Google Sparsehash+HPYLM | mots quotidiens.

http://chasen.org/~daiti-m/diary/?201003a&to=201003071#201003071

自製のHPYLMのコードをGoogle sparsehashで書き直してみることに

PPM, 言語モデル, Burrows-Wheeler Transform | mots quotidiens.

http://chasen.org/~daiti-m/diary/?200705b&to=200705191#200705191

PPMは, 実は要するにWitten-Bellスムージングされたバックオフnグラムのことだとわかった。

[プログラミング] Google Sparsehashを使うときの注意点 - tsubosakaの日記

http://d.hatena.ne.jp/tsubosaka/20100302/1267541850

持橋さんの書かれたgoogle-sparsehashと自作のsplay-treeとの速度比較をした結果の記事を読んで、さすがに速度に200倍近くの差がでるのはおかしいだろうということで原因を探ってみた。

Fixed-Size Block Allocator suite for C++

http://warp.povusers.org/FSBAllocator/

The advantage of this is that it's memory-efficient when the sizes of the allocated blocks are very varied throughout the execution of the program.

cacay/MemoryPool · GitHub

https://github.com/cacay/MemoryPool

This is a template class implementation of a memory pool allocator that is very simple to use and extremely fast with minimal overhead for each allocation/deallocation.

cpp-btree - C++ B-tree - Google Project Hosting

https://code.google.com/p/cpp-btree/

C++ B-tree is a template library that implements ordered in-memory containers based on a B-tree data structure. Similar to the STL map, set, multimap, and multiset templates, this library provides btree_map, btree_set, btree_multimap, and btree_multiset.