確率的勾配降下法

確率的勾配降下法（かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD）は、目的関数の勾配を確率的に推定しながら最適化を行う、連続最適化問題に対する勾配法のアルゴリズム。全データを用いて勾配を計算する通常の勾配降下法（最急降下法、バッチ学習法）に対し、データの一部を無作為に選んで得られる勾配の推定値を用いて逐次的に更新を行う (オンライン学習法) 点に特徴がある == 背景 == 下記の和の形の目的関数を最小化する問題を扱う。