Bookmarks: 2016

3.2. Results

Using half-floats provides a performance benefit over 32-bit floats when 32-bit float data does not fit into the L1 cache. Specifically, half-floats provide an average speedup of 1.05x when 32-bit data would fit in the L2 cache, an average speedup of 1.3x when 32-bit data would fit in the L3 cache, and an average speedup of 1.6x when the 32-bit data would fit into memory. Additionally, while half-floats may not provide a direct performance benefit when 32-bit data would fit into the L1 cache, you may still experience an auxiliary benefit when using half-floats in your program because half-floats will use half as much space, which allows for significantly more of your programs data to reside in L1.

half-float (FP16) を使えば、使用するメモリがCPUのキャッシュに載らない場合では 1.6倍くらい高速化できるらしい。

Intel Intrinsics Guide

https://software.intel.com/sites/landingpage/IntrinsicsGuide/

The Intel Intrinsics Guide is an interactive reference tool for Intel intrinsic instructions, which are C style functions that provide access to many Intel instructions - including Intel® SSE, AVX, AVX-512, and more - without the need to write assembly code.

2016-07-09

t-SNE – Laurens van der Maaten

https://lvdmaaten.github.io/tsne/

t-Distributed Stochastic Neighbor Embedding (t-SNE) is a (prize-winning) technique for dimensionality reduction that is particularly well suited for the visualization of high-dimensional datasets.

次元圧縮（次元削減）の機械学習アルゴリズム。
このアルゴリズムを使えば、高次元データを2次元空間にプロットして可視化できる。
JavaScript などの実装もある。

plotly.js | JavaScript Graphing Library

https://plot.ly/javascript/

Built on top of d3.js and stack.gl, plotly.js is a high-level, declarative charting library. plotly.js ships with 20 chart types, including 3D charts, statistical graphs, and SVG maps.

2016-06-17

シモセラ・エドガー　ラフスケッチの自動線画化

http://hi.cs.waseda.ac.jp/~esimo/ja/research/sketch/

本研究では、畳込みニューラルネットワークを用いてラフスケッチを線画に自動変換する手法を提案する。

Learning to Simplify: Fully Convolutional Networks for Rough Sketch Cleanup
Edgar Simo-Serra*, Satoshi Iizuka*, Kazuma Sasaki, Hiroshi Ishikawa (* equal contribution)
ACM Transactions on Graphics (SIGGRAPH), 2016

2016-06-09

【人工知能はいま　専門家に学ぶ】（６）日本を代表する数理工学者、合原一幸氏が見るＡＩの世界 (1/5ページ) - SankeiBiz（サンケイビズ）:

http://www.sankeibiz.jp/aireport/news/160605/aia1606050700001-n1.htm

今ではニューロモーフィックハードウェアと呼ばれる分野で、脳のニューロンとシナプスを物理的に摸して、神経回路のように動作する電子回路の研究です。現在あるコンピュータのほぼすべてはフォン・ノイマン型と呼ばれるコンピュータアーキテクチャですが、それとは全く違ったアーキテクチャで、超低消費電力かつ高性能を実現するものです。

2016-06-04

現在のDNNにおける未解決問題

http://www.slideshare.net/DaisukeOkanohara/dnn-62218756

脳型計算機雑談会での資料です

大きなNNの学習はなぜ一様に成功するか

敵対的生成ネットワーク(GAN)の解析

seq2seqによる可変長情報の埋め込み

2016-05-30

【人工知能はいま　専門家に学ぶ】（５）情報幾何学の創始者、甘利俊一氏が見るＡＩの世界 - SankeiBiz（サンケイビズ）:

http://www.sankeibiz.jp/aireport/news/160529/aia1605290700001-n1.htm

「カリフォルニア工科大学教授で認知神経科学者の下條信輔さんと話したことがあるのですが、ポストディクション（ｐｏｓｔｄｉｃｔｉｏｎ）の話をされていて、興味を持ちました。プレディクション（ｐｒｅｄｉｃｔｉｏｎ：予言）は良く使う言葉ですが、ポストディクションというものもあるのです。簡単に言うと、後付けで自分の行動や認識の意味を書き換え、再構成する機能が脳にはあるというものです。脳が再構成してしまうので、本人は錯覚したり、時には本当のことをしゃべっているつもりで嘘をついたりもするのです」

2016-03-17

子供の言語獲得と機械の言語獲得

http://www.slideshare.net/unnonouno/ss-59660836

2016/03/17にPFIセミナーで話したスライドです。子供の言語獲得に関する非常に基本的な話と、関係しそうな機械学習の技術を紹介しました。素人なりのまとめなので、間違いなどご指摘いただけると助かります。

2016-03-06

なぜcuDNNのConvolutionは高速なのか

https://tkng.org/b/2016/03/06/convolution/

個人的には、CPUでどこまで高速にConvolutionが実現できるのかに興味がある。本記事は、その準備段階として、どういう高速化戦略がありえるのかを調べたものである。

Stanford University CS224d: Deep Learning for Natural Language Processing

http://cs224d.stanford.edu/

Through lectures and programming assignments students will learn the necessary engineering tricks for making neural networks work on practical problems.

http://cs224d.stanford.edu/syllabus.html

2016-02-27

共変量シフト下での教師付き学習

https://www.jstage.jst.go.jp/article/jnns/13/3/13_3_111/_pdf

本稿では，共変量シフト下での教師付き学習の最近の研究成果を概説する．

共変量シフト適応 - 東京大学杉山・佐藤研究室

http://www.ms.k.u-tokyo.ac.jp/research-jp.html#theory-different-distributions-covariate-shift

入出力関係（関数）は訓練時とテスト時で変わらないが，訓練入力とテスト入力は異なる確率分布に従うという状況を共変量シフトとよぶ．

共変量シフトの簡単な解説（図付き）。

2016-02-24

[1502.03167] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

http://arxiv.org/abs/1502.03167

Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch.

2016-02-11

C++11のスレッド、アフィニティ、ハイパースレッディング | プログラミング | POSTD

http://postd.cc/c11-threads-affinity-and-hyperthreading/

C++のスレッディングのライブラリとPOSIX呼び出しによって、所定のマシンにおけるCPUの使い方を微調整し、どのCPUでどのスレッドを実行するかまで正確に指定します。

[関連]

std::thread::hardware_concurrency - cppreference.com
http://en.cppreference.com/w/cpp/thread/thread/hardware_concurrency
Processor affinity - Wikipedia, the free encyclopedia
https://en.wikipedia.org/wiki/Processor_affinity
Portable Hardware Locality (hwloc)
https://www.open-mpi.org/projects/hwloc/

2016-01-25

Automatic Colorization

http://tinyclouds.org/colorize/

This project is an attempt to use modern deep learning techniques to automatically colorize black and white photos.

http://tinyclouds.org/

Ryan Dahl

2016-01-23

Japanese Cheat Sheet Pack by Nihonshock.com » Basic Japanese

http://cheatsheets.nihonshock.com/sheets/basic-japanese/

Nihonshock.com has offered and will continue to offer the digital version of its Basic Japanese cheat sheet as a free resource for Japanese learners.

2016-01-21

google/brotli · GitHub

https://github.com/google/brotli/

Brotli is a generic-purpose lossless compression algorithm that compresses data using a combination of a modern variant of the LZ77 algorithm, Huffman coding and 2nd order context modeling, with a compression ratio comparable to the best currently available general-purpose compression methods. It is similar in speed with deflate but offers more dense compression.

GitHub - google/zopfli: Zopfli Compression Algorithm is a compression library programmed in C to perform very good, but slow, deflate or zlib compression.

https://github.com/google/zopfli

Zopfli Compression Algorithm is a compression library programmed in C to perform very good, but slow, deflate or zlib compression.

Google Open Source Blog: Introducing Brotli: a new compression algorithm for the internet

http://google-opensource.blogspot.jp/2015/09/introducing-brotli-new-compression.html

While Zopfli is Deflate-compatible, Brotli is a whole new data format. This new format allows us to get 20–26% higher compression ratios over Zopfli.

2016-01-20

Go - Luceneで使われてるFSTを実装してみた（正規表現マッチ：VMアプローチへの招待） - Qiita

http://qiita.com/ikawaha/items/be95304a803020e1b2d1

FST というのは Finite State Transducer (有限状態変換機) の略で，有限オートマトンに出力がついたものです．変換機とか言うと小難しい感じがするかもしれませんが，文字列を入力として，文字列を返す単純な機構です．（機能としては map[string]string みたいなものです)．

udp/json-parser · GitHub

https://github.com/udp/json-parser

Very low footprint JSON parser written in portable ANSI C.

Runtime Options
settings |= json_enable_comments;
Enables C-style // line and /* block */ comments.

コメント付きのJSONを扱うことができる、C/C++言語用のJSONパーサのソースコード。

cedar - C++ implementation of efficiently-updatable double-array trie

http://www.tkl.iis.u-tokyo.ac.jp/~ynaga/cedar/

Cedar implements an updatable double-array trie [1,2,3], which offers fast update/lookup for skewed queries in real-world data, e.g., counting words in text or mining conjunctive features in a classifier.

2016-01-13

Quantum Annealing: Quantum computing for combinatorial optimization problems

http://www.stat.phys.titech.ac.jp/~nishimori/QA/q-annealing_e.html

量子アニーリング（西森秀稔）
http://www.stat.phys.titech.ac.jp/~nishimori/QA/q-annealing.html

量子アニーリング(Quantum annealing)は，量子効果を制御して，多変数1価関数（目的関数）の最小値を探す問題（最適化問題）を解く手法である。パターン認識，自然言語処理，医療診断，金融商品開発その他への応用を持つ機械学習を始めとする多くの重要な課題が最適化問題として定式化できるため，最適化問題の効率的な解法は社会的に大きなインパクトを持つ。