The Normalized Gradient Descent (NGD) algorithm, is an adaptation of Gradient Descent, which updates according to the direction of the gradients, rather than the gradients themselves.ざっと眺めただけだが、通常はニューラルネットの重みの更新に勾配を使うが、NGD では勾配の向きによって重みを±学習率だけ更新させるという方法で学習する（アルゴリズム1）。ただし、ミニバッチ数を増やす必要がある（図2(c)）。