@genkuroki: #統計 その辺は「尤度はもっともらしさを表す」と誤解している...

#統計 その辺は「尤度はもっともらしさを表す」と誤解しているとすっきり理解できない。「尤度はモデルのデータの数値との相性の良さ(もしくは整合性や適合度)を表す」の方が無難な解釈。

最尤法はデータの数値に最も相性が良いモデルのパラメータの値を求めることだと解釈可能。続く

View Tweet

#統計 モデル1とそのパラメータ空間をより小さな次元に縮小してできるモデル0と与えられたデータの数値について、自明に

モデル1の最大尤度 ≥ モデル0の最大尤度

となります。これは、より多くの確率分布を含むモデル1の方がモデル0よりもデータの数値によりフィットさせ易いので当然。続く

#統計 しかし、これはモデル1の方が単にデータの数値によりよくフィットすることを意味するに過ぎず、モデル1の方がもっともらしいことを意味しません。続く

#統計 単に最大尤度が大きな側のモデルの方がもっともらしいと判断するならば、モデルのパラメータ空間をどんどん拡大して行けばいくらでもよりもっともらしいモデルを作れてしまいます。

尤度をもっともらしさだと解釈するのは誤りだと思っておかないとこのようにおかしなことになってしまう。続く

#統計 パラメータ空間がより大きなモデル1はモデル0よりも最尤法でデータの数値に適合し易くなります。

モデル0が正しいという数学的設定の下で、最大尤度比

モデル1の最大尤度 / モデル0の最大尤度

(及びその対数の2倍)はモデル1のデータの数値への過剰適合度の指標になっています。続く

#統計 最大尤度比検定の基礎：適当な条件の下で

df=モデル1とモデル0のパラメータ空間の次元の差

とおくと、モデル0の確率分布の下で標本サイズを十分大きくしたとき、

2log(モデル1の最大尤度 / モデル0の最大尤度)

は近似的に自由度dfのχ²分布に従う。

続く

#統計 注意：Neyman-Pearsonの補題の意味での2つの単純仮説の尤度比検定と、最尤法の漸近論に基く尤度比検定は違う。上の投稿ではそれらを区別するために、後者を最大尤度比検定と呼んだ。続く

#統計 モデル0の確率分布の下でデータがランダムに生成されているときの、モデル1のデータへの過剰適合度の指標

2log(モデル1の最大尤度 / モデル0の最大尤度)

が従う確率分布が近似的には分かる(最尤法の漸近論よりχ²分布で近似される)というのが上の結果です。

#統計 その解釈の下で、最大尤度比検定は、モデル0の確率分布の下でデータがランダムに生成されているという想定での、モデル1のデータの数値への過剰適合度の指標が「非常に」大きいならば、モデル0を棄却する検定法だということになります。

#統計 モデル0が正しいという仮の立場から見て、モデル1がデータに「非常に」強く過剰適合しているように見える確率は、モデル0の確率分布でデータがランダムに生成されている場合には小さくなる(しかもどのように小さくなるかも分かる)ということから、そういう検定法が正当化されます。

#統計 以上のように、尤度は、もっともらしさではなく、モデルとデータの数値の適合度(もしくは整合性や相性の良さ)の指標であるという立場で内容を整理した方が、最大尤度比検定が何をやっているかが分かり易くなる。

尤度は決してもっともらしさの度合いではない。

#統計 現在の統計学教育の現状では、統計学的に重要な概念を導入するごとにミスリーディングな説明を一発かまして来るようになっています。

尤度(ゆうど、likelihood)に関する入門的解説では初学者が後で苦しむように「尤度はもっともらしさである」のような解説を打ちかまして来る。

#統計 検定の概念の導入は特に酷くて、以下のリンク先にようにPearsonさん(1955)が書いているのに、Neyman-Pearsonの仮説検定がまるで帰無仮説と対立仮説に関する二分法的な最終結論を出す方法であるかのように解説されている。

そしてそういうクズ解説を潰す方向と逆の本が新たに出版されている。

View Tweet

#統計 統計学を勉強したことがある人なら、尤度はもっともらしさを表すとか、Neyman-Pearsonの仮説検定が帰無仮説と対立仮説に関する二分法的な最終結論を出すための方法であるかのようなクズ解説の側がスタンダードなことを知っているはずです。

そういうのにはみんなで文句を言わないとまずいです。