最小二乗法は最尤法と同じ?誤差を正規分布と仮定する!

こんにちは!
IT企業に勤めて、約2年間でデータサイエンティストになったごぼちゃん(@XB37q)です! 

このコラムでは、誤差を正規分布とした場合の最小二乗法が、最尤法の一部であることを紹介します!

最小二乗法を使用している回帰分析については、「エクセルでもできる!AI初級編!回帰分析」をご覧ください。

最小二乗法とは

図を用いた回帰分析の考え方
図を用いた回帰分析の考え方

回帰分析では、実測値とAIモデルからの予測値の差を最小化するように、AIモデルを構築します。
この実測値とAIモデルからの予測値の差を最小化するために、最小二乗法という考え方が使われます。

実測値とAIモデルからの予測値の差を測る方法には、複数の方法が考えられます。
例えば、差の絶対値を取った総和 $ \sum|実測値−AIモデルからの予測値|$を取る方法も考えられます。
差を測る方法に、絶対的な正解はありませんが、一般的に使われるのが差の二乗和 $ \sum(実測値−AIモデルからの予測値)^2$です。

回帰分析では、このように差の二乗和を最小化するように、AIモデルを構築しており、この差を最小化する考え方を最小二乗法と呼んでいます。
回帰分析では、他コラム「エクセルでもできる!AI初級編!回帰分析」で紹介しているので、良ければご覧ください。

最尤法とは

最尤法のイメージ
最尤法のイメージ

最尤法とは、手元にあるデータから、パラメータを推定する考え方です。
手元にあるデータがどの程度の確率で得ることが出来るのかを推定し、得られる確率を最大にするパラメータを設定します。
手元にあるデータがどの程度の確率で得ることが出来るのかを表す関数を、尤度関数と呼びます。
つまり、最尤法は尤度関数を最大化することになります。

尤度関数を最大化することは、尤度関数の対数をとった関数を最大化することと同義です。
対数を取ることにより、計算が簡単になるため、最尤法では対数尤度関数を最大化することが一般的です。 

最小二乗法と最尤法の関係

最小二乗法と最尤法の関係
最小二乗法と最尤法の関係

誤差が正規分布に従う場合、最尤推定は最小二乗法と同じ考え方になります。
最小二乗法と最尤推定を学習したタイミングは違うかもしれませんが、この2つの考え方は密接に関係しています。

最小二乗法と最尤法の関係性を考えていきましょう。
単回帰分析の場合、直線 $f(x)=ax+b$の中で、下記の二乗誤差$E$を最小にするような $a$と$b$ を求めます。
$f(x)$ は$x$が入力されたときに、ある値を返す関数です。

$$E = \sum_{i} \{ y_{i} – f(x_{i}) \}^2$$

次に、説明変数 $x_{i} $を固定した場合、目的変数 $y_{i}$は、ガウス分布に従うと考えます。
つまり、誤差$P(y_{i})$が正規分布に従うと仮定します。
$f(x_{i}) $は、ガウス分布の平均であり、$σ^2$ は、ガウス分布の分散を表します。
この場合、誤差 $P(y_{i})$を下記のように表すことが可能です。

$$ P(y_{i}) = \frac{1}{\sqrt{2π}σ} \exp \{ \frac{ y_{i} -f(x_{i})^2}{2σ^2} \} $$

$$ P(y_{i}) \approx N(f(x_{i}),σ^2)$$

次に、誤差 $P(y_{i})$ に対して、最尤法を用いて、パラメータを考えていきます。

$$ P(y_{i}) = \frac{1}{\sqrt{2π}σ} \exp \{ \frac{ y_{i} -f(x_{i})^2}{2σ^2} \} $$

$$ \log \prod_{i} p(y_{i}) = \sum_{i} \log p(y_{i}) =C – \frac{1}{2σ^2} \sum_{i} \{ y_{i} – f(x_i) \}^2$$

$C$ は平均 $f(x_{i})$ によらない定数を表します。
この式から、尤度を最大にするような平均 $ f(x_{i}) $ は、$ E = \sum \{y_{i} −f(x_{i}) \}^2 $を最小にするようなパラメータになります。

つまり、誤差が正規分布(等分散ガウス分布)に従っていると仮定した場合、最小二乗法は最尤法と同じ結果を導くことになります。

まとめ

  • 最小二乗法
    • 実測値とAIモデルからの予測値の二乗誤差を最小化する
  • 最尤法
    • 対数尤度関数を最大化する(手元にあるデータが得られる確率を最大化する)
  • 誤差が正規分布に従っていると仮定した場合、最小二乗法は最尤法と同じ結果になる

参考図書

(※注意)このコラムで紹介した、最小二乗法と最尤法の式が記載されているわけではありません。