#統計 「P値<5%ではなく、ベイズ統計での事後確率で評価し直すこと」について考えたい人に最初に教えるべきことは、P値とベイズ的事後確率は多くの場合に互いに相手を近似する関係になっていることです。P値をベイズ的事後確率で置き換えることは実質的にP値をP値で置き換えることと同じ。続く

#統計 シンプルなモデルとおとなしめの事前分布を使っている場合には、効果を意味するモデルのパラメータθと具体的な数値aについて、

(仮説θ≤aの片側P値)≈(事後分布でθ≤aとなる確率)

という近似関係が多くの場合に成立しています。続く

#統計 そういう状況では、適当な正の閾値cについて

(事後分布でθ>cとなる確率) = 85%

となることを理由で、実践的に意味のある効果がある確率は85%と高いと強調することは、

(仮説θ≤cの片側P値) ≈ 15%

を理由に、実践的に意味のある効果がある確率は高いと強調することと同じになります。

#統計

2×(仮説θ≤0の片側P値)=(仮説θ=0の両側P値)=6% > 5%

でかつ、適当な正の閾値cについて

(仮説θ≤cの片側P値)=15%

ゆえに

(事後分布でθ>cとなる確率) ≈ 85%

のようになることは全然珍しくないです。これを理由に実践的に意味のある効果がある確率は高いと強調するのは大変な危険行為！

#統計 P値とベイズ統計での事後確率の大きな違いは、事前分布として大きく偏ったものを採用したときに生じます。

P値による判断とベイズ的事後確率による判断を変えるべきなのは、大きく偏った事前分布の採用が合理的な場合に原則として制限しておく方が無難だと思います。

#統計 P値を使う方法とベイズ統計が全然違うかのように説明すること自体が誤り。教育的に非常に有害。

#統計 以下のリンク先の添付画像の部分には、このスレッドに紹介した話が関係があると思ったのでリンクをはっておきます。

紹介している論文はまだ読んでいない。読む暇がない可能性が高いので、続きの議論をやる人が出て来て欲しいと思っています。

(片側P値)≈(事後確率)の近似関係に注意が必要。

View Tweet

#統計 どのような場合にどのように(P値)≈(事後確率)の近似関係が成立しているかについては、私が𝕏上に計算例を多数紹介しています。興味がある人は

事後分布 確率 P値 from:genkuroki filter:images

の検索結果

x.com/search?src=typ…

を参照してください。