エントロピーレート
確率の数理理論において確率過程のエントロピーレート（英: entropy rate）または情報源レート（source information rate）とは、平たく言えば、確率過程における情報量の時間平均である。 可算個の時間添字を持つ確率過程のエントロピーレート H ( X ) {\displaystyle H(X)} は、 n {\displaystyle n} ステップまでの X k {\displaystyle X_{k}} の結合エントロピーを n {\displaystyle n} で割った量の、 n {\displaystyle n} が無限大に向かうときの極限と定義される（極限が存在するときに限る）： H ( X ) = lim n → ∞ 1 n H ( X 1 , X 2 , … X n ) {\displaystyle H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})} 一方、関連する量に H ′ ( X ) = lim n → ∞ H ( X n | X n − 1 , X n − 2 , … X 1 ) {\displaystyle H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})} がある。