#統計 【ざっくりいえば、ｐ値(p-value)は「ある結論が、実はただの勘違いである可能性」と解釈できる。（小声でいうと、小さい方がうれしい）】

という説明は、杜撰なP値の説明そのものに見えました。「ざっくり」は言い訳にならない。

具体例による説明の試みは悪くないと思いました。

解説に続く

View Tweet

#統計 統計学を教える仕事をする人は

統計的有意性とP値に関するASA声明
biometrics.gr.jp/news/all/ASA

には目を通しておいた方が無難。

これを読めば、P値に関する実践的に十分な説明と解釈法が得られます。

ただし添付画像への追記部分に注意することも必要。

#統計 「統計的有意性とP値に関するASA声明」の翻訳者の佐藤俊哉先生による素晴らしい講義動画もよく紹介されています。これも統計学を教える仕事をする人は視聴しておいた方がよい。教科書に誤りが書いてあることを明瞭に説明している。教科書通りに講義をしてはいけない。

youtu.be/vz9cZnB1d1c?si…

View Tweet

#統計 P値は、大雑把には、

観察されたデータの数値以上に極端な値が、検定したい仮説の下でのモデル内確率分布に従って生成される確率もしくはその近似値。

尤度の定義は、

観察されたデータの数値と同じ数値が、モデル内確率分布に従って生成される確率またはその密度。

混同させる説明が多い。

#統計 P値も尤度(ゆうど)も、

観察されたデータの数値とモデル+パラメータの値の設定の相性の良さ(compatibility)の指標

として使われます。

「相性の良さ」の代わりに「整合性」や「適合度」のように言ってもよい。「相性の良さ」は過信を防ぐための言い方。

#統計 「統計的有意性とP値に関するASA声明」でも他の真っ当なすべての解説でも、P値<αという条件による安易な2値的判断をしてはいけないということになっています。

「統計的有意性」で結論を出すこと自体が有害であるというコンセンサスがすでにあるようにも見える。

biometrics.gr.jp/news/all/ASA

#統計 P値と尤度(ゆうど)の違いが明瞭であるような説明をしていない場合はアウト。

P値が、現実においてではなく、検定したい仮説の下でのモデル内確率分布で計算した確率であることが分からない説明もアウト。

統計的有意性(P値<α)によって科学的結論を出すことに否定的でない説明もアウト。

#統計 例えば「回帰係数に関する帰無仮説β₁=0のP値が有意水準未満ならば統計的に有意なのでβ₁≠0であるという結論を出してよい」が正しいと考える生徒には、統計学の単位を出してはいけないと思います。

最初に試験を実施するべきなのは大学の先生達だと思います。

#統計 P値は、β₁=0のような検定したい仮説だけではなく、モデル全体(β₁=0については回帰モデル全体)と観察データの数値の相性の良さ(整合性、適合度)の指標の1つです。

P値は、検定したい仮説だけではなく、モデル全体を評価している指標であることが忘れられがちなので注意が必要。

#統計 P値や信頼区間の使い方(もしくは誤用の仕方)に関する決定的な解説がGreenlandさんの講演スライド

biostatistics.ucdavis.edu/sites/g/files/…

にあります。これの発見が遅れて時間を無駄にした。

添付画像はそのp.75の翻訳。

#統計 小さなP値が得られたときには、通常、検定したい仮説だけではなく、「モデルが間違っている」(調整するべき(してはいけない)変数で調節していない(している)ことなども含む)や「データの取得法に問題があった」の可能性も疑ってみるのが普通でしょう。

#統計 『ロスマンの疫学第2版』の第8章の解説も非常に有用です。これも統計学を教える仕事をする前に目を通しておくと良いと思います。

宝くじで大当たりしてP値がほぼ0になっても、宝くじがフェアに運用されているという帰無仮説の正しさははびくともしないでしょう。

View Tweet

#統計 P値がデータの数値とモデル+パラメータの値の設定の相性の良さの指標の1つだと解釈できることは回帰の視覚化によっても納得可能。

モデルy=β₀+β₁x+u (u～Normal(0, σ))でのβ₁=0という設定との相性の良さが添付画像中のP値になっています。

添付画像①はP値<5%の、②はP値≥5%の場合。

#統計 実はグラフの見た目的には色々微妙で要注意なことも分かる。過信は危ない。

1つ上のグラフを作成するために使った #Julia言語 のコード
↓
github.com/genkuroki/publ…

線形回帰の一般論
↓

View Tweet

#統計 残差が正規分布以外の分布(添付画像では指数分布)であっても、標本サイズnを十分に大きくすると回帰係数の最小二乗推定量が従う分布は正規分布で近似されるようになります(中心極限定理)。

だから「残差の分布が正規分布でなければ回帰係数に関するt検定は使えない」という主張は誤り。

#統計 もちろん無条件でいつでもt検定を使えるわけではありません。

しかし、残差のQQプロットを描いたり、正規性検定をしたりしたがる人達の多くは多分基本的なことを誤解しているだろうとは言えます。

#統計 基本：統計学の使い方については、

大学の講義

も

定評ある教科書

も

査読済み出版論文

も

学術雑誌の方針

の内容も必ずしも正しくないので、

権威に従う、権威を信じる

という方針の勉強の仕方は失敗する可能性が高い。

「ざっくりいえば」という言い方をしたのでよいという言い訳はダメであると最初から述べています。

あと、「統計的有意性とP値に関するASA声明」から引用したP値の説明はP値の定義ではありません。ざっくりした説明にすぎません。

さらに、P値の解釈の仕方も引用してざっくり説明しています。

View Tweet

こちらにもリンク。

ざっくりした説明の内容は、巷に蔓延っているP値の誤用の典型例でしょう。

帰無仮説単体とP値が結びついているのではなく、モデル全体に結びついていることが分かるように説明しないと、「統計的有意性とP値に関するASA声明」のざっくりした説明との整合性がなくなります。

View Tweet

#統計 投稿を消したようなので文脈が不明にならないようにスクショを引用。

私も赤で印を付けた部分は、P値ではなく、αエラー率の説明をしているようにも見えました。

こういう説明を学生にしてはいけないと思います。

私も気を付けよう。

View Tweet