#統計 P値は連続的な指標で、例えばP値が4.9%の場合と5.1%の場合はほぼ同じ結果だと解釈する必要があります。

特別な理由がない限り、P値が5%未満であるか否かによる二分法を安易に行うべきではない。

つまり、科学的にまともでありたければ、統計的有意性による二分法は原則として避けるべき。続く

View Tweet

#統計 デフォルトでは統計的有意性による二分法はダメだとしておかないとまずい。非常に特別な場合にのみ例外的に特殊事情によって正当化される。

しかし、科学界では、統計的有意性による安易な二分法がなぜか許されているだけではなく、有意か否かが論文出版に大きく影響している。これが酷い。

#統計 以上の議論では、検定法に関するNeyman-Pearson的な数学的理論を一切否定していないことに注意！

仮説Hの下での仮説HのP値の近似的一様分布性の要請(αエラーに関する要請)の下で、対立仮説達の検出力を大きくしようとすることは、効率的なP値の構成法の理論だとみなされます。もちろん重要！

View Tweet

#統計 Neyman-Pearson流の検定論でのP値の定義は「帰無仮説が棄却される有意水準の下限」。

現代的にはP値を「モデル+仮説とデータの値の相性の良さ(compatibility)の指標」と解釈するのですが、そこで使うP値はできるだけ効率的であって欲しい。

NP理論は効率的なP値の構成法の理論とみなされる。

#統計 Neyman-Pearson流の検定の理論では、現実での意思決定を意味しない数学用語として棄却・採択という用語が定義されており、そういう用語を使ったある種の最適化で、結果的に効率的なP値の構成法が得られると考えれば良いわけです。

P値の理論は「有意水準を固定しない検定法」の理論。

#統計 Neyman-Pearson流の検定の理論の基本文献はLehmannの教科書なのですが、版を重ねるごとに、P値の取り扱いが現代的になって来ています。

有意水準を指定したくない場合にはP値を報告することを勧めるようになった。有意水準を指定しない場合には有意性による二分法は無くなる。

View Tweet

#統計 このようにNeyman-Pearson流の検定論(Lehmann)においても、有意性による二分法を避けたい場合にはP値を報告することが推奨されているのに、多くの人達がP値を使うことと有意性による二分法を行うことを同一視する誤りを犯している。

おそらく基本文献さえ読んでいないのだろう。

#統計 「検定による二分法→有意水準を指定しない→P値」には続きがある。

仮説「差はゼロ」の検定(二分法)
↓
↓有意水準を指定しない
↓
仮説「差はゼロ」のP値
↓
↓ゼロ仮説以外も考える
↓
数値aに仮説「差はaである」のP値を対応させるP値関数

詳しい解説
↓

View Tweet

#統計 P値関数に至る道は信頼区間からも伸びている。

95%信頼区間
↓
↓95%以外の信頼水準もすべて考える
↓
すべての信頼水準に関する信頼区間全体
↓↑
P値関数

Neyman-PearsonとFisherを総合した結果は

P値関数をモデルとデータの値の相性の良さの様子
の定量化として利用すること

になる。

View Tweet

#統計 Neyman-PearsonとFisherを総合した結果は

P値関数をモデルとデータの値の相性の良さの様子
の定量化として利用すること

になり、データの値から得られるP値関数は

仮説「差はゼロ」のP値
差の点推定値
差の信頼区間

の情報をすべて含んでいる。

これを統計学入門で教えるべき。

#統計 P値関数を主軸に統計学入門の解説をすると、ベイズ統計とのフェアな比較をし易くなるという思いがけないボーナスが得られます。

シンプルなモデルでの無情報もしくは弱情報事前分布のベイズ統計の結果はP値関数から得られる結果と数値的にほぼ等しくなります！

View Tweet

#統計 検定法による二分法(有意性による二分法)で統計学に入門してしまうと、ベイズ統計と全く違って見えてしまい、「頻度論vs.ベイズ」という有害な言説に取り込まれ易くなります。

P値関数ならば、ベイズ統計との間の壁は自然に無くなり、結果的に多くの道具を使えるより優れた人達を増やせるはず。