尤度方程式

出典: フリー百科事典『ウィキペディア(Wikipedia)』

出典: フリー百科事典『ウィキペディア(Wikipedia)』

尤度方程式(ゆうどほうていしき、: likelihood equation)とは、統計学において、対数尤度関数極値条件を与える方程式の事[1][2]統計的推定法の一つである最尤法において、尤度関数を最大化する最尤推定値を求める際に用いられる。

概要[編集]

X1, …, Xnを同一の確率分布に従う独立な確率変数とし、x=(x1,…, xn)Tをその観測値とする。ここで確率分布は確率密度関数f(x| θ)をもつ連続分布とする。但し、θ=(θ1, .., θp)Tp個の分布のパラメータを表すものとし、パラメータ空間Θ ⊂ Rpに値を持つものとする。このとき、尤度関数L(θ,x)と対数尤度関数l(θ,x)は以下で定義される。

最尤法では、対数尤度関数l(θ,x)を最大化する^θが最尤推定値として定まる。このとき、最尤推定値^θは、l(θ,x)に対する次の極値条件を満たす。

θに関するこの方程式を尤度方程式という。左辺の勾配ベクトル

は、スコア関数、もしくは単にスコアと呼ばれる。多くの場合、最尤推定値の推定は、尤度方程式を解く問題、すなわち、スコアをゼロとするパラメータθ∈ Θを求める問題に帰着する。

[編集]

正規分布[編集]

Xi (i=1,..,n)が平均をμ、分散をσ2とする正規分布に従うとする(X ∼ N(μ, σ2))。このとき、対数尤度関数は

であり、尤度方程式は

となる。これらを整理すると最尤推定値として

を得る。

ワイブル分布[編集]

Xi (i=1,..,n)が形状パラメータをβ、尺度パラメータをηとするワイブル分布に従うとする。このとき、対数尤度関数は

であり、尤度方程式は

となる。 これらを整理すると最尤推定値^η^βが満たすべき関係式

を得る。第二式を満たす^βを数値的に求めれば、第一式より^ηも定まる。

ガンマ分布[編集]

Xi (i=1,..,n)が形状パラメータをα、尺度パラメータをβとするガンマ分布に従うとする(X ∼ Γ(α, β))。このとき、対数尤度関数は

であり、尤度方程式は

となる。 ここではψ(α)はガンマ関数の対数微分であるディガンマ関数を表す。これらを整理すると最尤推定値^β^αが満たすべき関係式

を得る。第二式を満たす^αを数値的に求めれば、第一式より^βも定まる。

数値解法[編集]

尤度方程式が解析的に解けない場合、S(θ*)=0を満たすθ*∈ Θを数値的に求めることが必要となる[3]

ニュートン=ラフソン法[編集]

ニュートン=ラフソン法では、反復計算により、最適解θ*を求める。反復計算のkステップ目で求まったパラメータをθ(k)とする。スコア関数はテイラー展開により、

一次近似できる。ここでI(θ)は、

で与えられる、対数尤度関数のヘッセ行列の符号を変えた行列である。ニュートン=ラフソン法では、左辺をゼロとおくことで、θ(k+1)を与える更新式

を定める。

ニュートン=ラフソン法は、最適解θ*の近傍で二次収束するため、収束が早い。すなわち、θ*の十分近くの適切な初期値を与えれば、

を満たす正の定数Kが存在する。

一方で、ニュートン=ラフソン法は各ステップで、対数尤度関数のヘッセ行列から定まるI(θ)の逆行列を計算する、もしくは、p次の連立方程式を解くことが必要となる。これらの計算量O(p3)オーダーであり、パラメータ数pが増えると、計算負荷が急激に増える。また、初期値の設定によっては、I(θ)正定値とはならず、最適解θ*に収束しない場合がある。

フィッシャーのスコア法[編集]

ニュートン=ラフソン法においては、各ステップで負の対数尤度関数の二階微分であるI(θ)を計算する必要がある。このI(θ)を求める計算は、場合によっては煩雑となる。分布によっては、I(θ)期待値であるフィッシャー情報行列

が、より簡潔に求まるため、I(θ)J(θ)で代用し、反復計算を

とする。この方法をフィッシャーのスコア法と呼ぶ。

フィッシャー情報行列は非負定値であるため、ニュートン=ラフソン法でのI(θ)の正定値性の問題を回避することができる。

脚注[編集]

  1. ^ Lehmann 1983, §6.
  2. ^ Epps 2013, §7.
  3. ^ Monahan 2011, §9.

参考文献[編集]

  • Epps, T. W. (2013). Probability and Statistical Theory for Applied Researchers. World Scientific Pub Co Inc. ISBN 978-9814513159. 
  • Lehmann, E. L. (1983). Theory of Point Estimation. John Wiley & Sons Inc. ISBN 978-0471058496. 
  • Monahan, John F. (2011). Numerical Methods of Statistics. Cambridge Series in Statistical and Probabilistic Mathematics (2nd ed.). Cambridge University Press. ISBN 978-0521139519. 

関連項目[編集]