We present a simple regularization technique for Recurrent Neural Networks (RNNs) with Long Short-Term Memory (LSTM) units. Dropout, ...LSTM に dropout を適用するには、リカレント（同じ層の1つ前の時間ステップ）の隠れユニットに適用するのではなく、入力（または１つ下の層の隠れユニット）に対して適用するとよいという話。
Figure 2 と p3 の下の式の太字 D の箇所を参照するとよい。