@genkuroki: #統計まるっきり間違っています。最尤法は点推定法ではあ...

1

#統計まるっきり間違っています。

最尤法は点推定法ではあるのですが、統計学のイロハのイとして「点推定値だけを報告してはいけない」という原則があるので、最尤法に付随するP値関数によって、

データの数値と
モデルと
パラメータの値の設定
の相性の良さの様子

の記述を行います。続く

2

#統計続き。ベイズ統計でのP値関数の対応物は事後分布です。事後分布を見れば、

データの数値と
モデル(モデルは事前分布を含む)と
パラメータの値の設定
の相性の良さの様子

が分かります。

事前分布の有無は違いますが、目的は同じです。続く

3

#統計最尤法でのP値関数とベイズ統計での事後分布が「同じようなもの」であることは、簡単なモデルでそれらを同時プロットすれば明らかになります。

二項分布モデルでの最尤法に付随するスコア法によるP値関数と平坦事前分布に対応する事後分布を比較するためのグラフ
↓
nbviewer.org/github/genkuro…

4

#統計

A/Bテストに関する

左: ベイズ統計での平坦事前分布に対応する事後分布のグラフ
右: 最尤法に付随するスコア法によるP値関数のグラフ

も比較してみてください。この場合にも事後分布とP値関数はほぼ同じ使い方をできることが分かると思います。
↓

5

#統計

通常の線形回帰も最尤推定の一種です。やはり、P値(関数)を考えて、モデルの回帰係数パラメータの設定とデータの数値の相性の良さを見ることができます。

回帰係数とlog σ²についての平坦事前分布についてのベイズ版線形回帰は数学的には通常の線形回帰にある意味でぴったり一致します。

6

#統計最尤法に付随するP値(関数)を構成するための定番の方法(対数最大尤度比法、スコア法、Wald法)のような基本的な事柄を未修の人がベイズ法と最尤法の比較の解説を書くと、ベイズでの事後分布と最尤法でのP値関数を比較するべきあることを分からないままで、まるっきりダメな解説を書きがちです。

7

#統計この辺は、集団でまるっきりダメな解説を書いて拡散している状態がずっと続いているので、そういう流れに参加する人が新たに出て来ても目立たないという問題があります。

自分の勉強不足(最尤法に付随するP値(関数)の構成法さえ知らない)を自ら暴露する人が増え過ぎ。

8

#統計「ベイズの側で事後分布ではなく、ベイズファクターを使った場合にはどうなるのか？」と思った人は以下のリンク先以降を見て下さい。

疑問が生じたら、比較したい2つのものを同時に視覚化して並べて比較することが基本になります。

めんどくさい理屈こねるのはその後でよい。具体例需要。

9

#統計シンプルなモデルでの最尤法とベイズ法の違いは、本質的に

ベイズの側での事前分布を
どれだけ平坦事前分布(もしくはその類似物)
と違うものを取るか

しかありません。

しかし、複雑なモデルではシンプルな最尤法は有効でなくなったりして本質的な違いが出ます。

10

#統計事後分布もデータの数値とモデルとパラメータの値の設定の相性の良さ(compatibility)を記述していることは、McElreathさんのStatistical Rethinkingにあります。

Statistical Rethinkingは主義に基くベイズ統計に洗脳された人を脱洗脳するために役に立つ素晴らしいベイズ統計入門になっている。

11

#統計多分、「頻度論 vs. ベイズ主義」的な言説に騙されている人達は、P値を使う統計学とは全然違う別の流派としてベイズ統計学があるかのように信じている。

そうなった人達が、P値関数とベイズ統計の事後分布が同じような使い方をできるというようなことに自力で気付くことはないだろう。

12

#統計一方、P値と言えば主に「差がない」型のゼロ仮説単体のP値(null P値)のことだと思っていて、P値はNHST(帰無仮説有意性検定)のための道具だと信じている人も、「差はaである」型の仮説達に関するP値全体(P値関数)が認識外になって、ベイズ統計の事後分布との類似に気付くことはないだろう。

13

#統計一方、世界の一流の人達は(例えばGreenlandさんは) null P値単体ではなくP値関数全体を考えて、compatibilityによる安全な解釈を提案している。

そのベイズ統計での類似として信用区間のcompatibilityによる解釈をStatistical Rethinkingは提案している。

こういう重要情報が広まっていない。

14

関連

15

#統計短くまとめると、

* 最尤法とベイズ法を比較するときに、ベイズ側で事後分布を持ち出すのであれば、最尤法の側でP値関数を持ち出す必要がある。

* 最尤法側でのP値関数の話は対数(最大)尤度比法、スコア法、Wald法に関する標準的な話になる。

* P値関数と事後分布の使い方はほぼ同じ。

16

#統計多分、「t分布を誤差の事前分布に用いる」ではなく、「t分布を残差の分布に用いる」が正しいと思います。

そして、外れ値に頑健な回帰モデルの使用は最尤法でも可能です。ただし、階層モデルの取り扱いが最尤法では大変で、尤度関数が多峰型になる場合もあって色々大変になる。

17

#統計

* 残差がスケール変換されたt分布に従う

とするモデルは

* パラメータσ²は逆ガンマ分布に従う。
* 残差は期待値が0で分散がσ²の正規分布に従う

とするモデルと同等。後者は階層モデルになっており、そのままの最尤法の実装は面倒。t分布一発でモデル化しても尤度関数の多峰性が問題になる。

18

#統計階層モデルの最尤法では、最大化したい尤度関数が積分で定義されているので、そのまま実装しようとすると数値積分という重たい計算が必要になってしまう。

積分で定義された尤度関数の積分結果がシンプルな式で書けるならその問題はなくなるが、尤度関数が多峰型になると面倒さが残る。

19

#統計最尤法やその特別な場合の線形回帰(最小二乗法)も区間推定と共に使うことが普通だと思います。

統計学のイロハのイに「原則として点推定値はその不確かさがどの程度であるかが分かるように報告せよ」があります。

最尤法の漸近論の応用→対数(最大)尤度比法、スコア法、Wald法

20

#統計ベイズ法での事後分布は、その計算に用いた事前分布と統計モデルの下での、データの数値とパラメータの値の設定の相性の良さの様子を記述しているとみなせます、

ベイズ法での事後分布と同じ使い方をする最尤法での道具は漸近論を使って得られるP値関数。

P値について理解していないと苦しい。

21

#統計データの数値とモデル+パラメータの値の設定の相性の良さの程度を数値化して比較することは基本的な問題。

区間推定は相性の良さの程度を数値化から自然に得られる。

相性の良さの程度の数値化にはP値、尤度、事後分布などがある。

最尤法の漸近論はP値の構成のための標準的な方法の1つ。

22

#統計続き。ベイズ統計の解説者の中には、P値関数が事後分布と同様の使い方をされることを知らなかったり、最尤法の漸近論がP値を構成するための標準的方法の1つであることを知らなかったりする人達がいるので要注意。基本知識が足りない。

最悪の場合は哲学思想主義の違いを持ち出し始める。

23

#統計ベイズ的意思決定論の存在を理由に「ベイズ統計はリスク管理に向いている」と安易に言う人もいますが、ベイズ的意思決定論は事前分布を含むモデル内での期待リスクを最小化しているだけで、現実でのリスクを扱っているのではないということを正直に言わないのは不正直な態度で非難に値する。

24

#統計最尤法は対数最大尤度比法、スコア法、Wald法で信頼区間も合わせて使うことが普通。

しかも、回帰係数とlog σ²についての平坦事前分布のベイズ法と通常の最小二乗法による線形回帰は、区間推定も含めて、誤差なしに結果がぴったり一致し、違い自体がありません。続く

25

#統計事前分布が回帰係数とlog σ²に関する平坦事前分布から離れた分だけ、通常の線形回帰とベイズ的な線形回帰はことなります。

平坦でなくてもそれに近い大人しめの事前分布なら数値的にほとんど違いは出ません。続く

26

#統計実践的には平坦に近い大人しめの事前分布を採用することが多いと思います。

そういう場合には、通常の線形回帰とそのベイズ版の間には違いがほぼなくなります。

そういう場合を例にベイズと最尤法の違いを説明するのは酷くミスリーディングで有害情報の拡散になると思います。続く

27

#統計ベイズ統計の方法は色々優秀なのですが、その解説者の大部分が不十分な理解でおかしなことを言っています。

おそらくそういうダメな解説を参考にしてしまったのだと思います。参考にした解説をきちんと引用して、誰がダメな解説を拡散しているかを明らかにすることは社会貢献になると思います。

28

#統計パラメータが2個の統計モデルの尤度関数を色々プロットすると、単峰型にならずに、複雑な形になる場合も色々あることに気付きます。

そういう場合には最尤法は有効だとは思えず、ベイズ統計を積極的に使わないと危ないと思います。

詳しくは渡辺澄夫著『ベイズ統計の理論と方法』を参照。

29

#統計最尤法が破綻する統計モデルの尤度関数のヒートマップの例

30

#統計尤度関数のヒートマップがこんな形になることもある。

@genkuroki: #統計まるっきり間違っています。最尤法は点推定法ではあ...

You're reading 30 of 88 posts

Actions

What You Can Do