バッチ勾配降下法・確率的勾配降下法

バッチ勾配降下法

→ 訓練データ全体から学習を計算する

＝学習ごとに、訓練データ全体を評価するー計算コストが高い

対応

訓練データごとに段階的に重みをつける

特徴

・高速に収束する（重みの更新頻度が高いため）

・浅い局所的最小値をより簡単に抜け出せる ←誤差局面のノイズが多いため（1つの訓練データに基づいて計算されるため）

・訓練データをランダムな順番に並べ替えることが重要

・学習率が適応学習率に置き換えられることが多い（←徐々に減少する性質を持った学習率）？

・大域的最小値に到達しないが、かなり近い場所で収束する

・オンライン学習に利用できる

（大量にデータが蓄積されている場合、変化が生じた時にシステムを適応させることができる）

ミニバッチ勾配降下法

バッチ勾配降下法 + 確率的勾配降下法

・1部にバッチ勾配降下ほうを適応する

・バッチ勾配降下法のみよりは素早く収束する

・学習アルゴリズムの計算効率をさらに引き上げる

（確率勾配降下法の訓練データのforループをベクトル演算に置き換えることができる？）

逐次勾配降下法