#統計 特定の統計モデルの下での【帰無仮説が仮に正しいとした時に、その結果が起こる確率】(もしくは確率密度)はP値ではなく尤度(ゆうど)です。

P値は、特定の統計モデルの下での帰無仮説が仮に正しいとしたときにデータの数値以上に極端な値が生じる確率です。続く

View Tweet

#統計 例えば、二項分布モデルBin(n,p)の下で、「n人中k人が成功」というデータの数値に関する帰無仮説p=0.5の両側P値は、二項分布Bin(n, 0.5)にしたがう確率変数Kの値がkになる確率(これは尤度(ゆうど))ではなく、|K/n-0.5|の値が|k/n-0.5|以上になる確率もしくはその近似値になります。

#統計 そして、P値は

特定の統計モデルの下での、データの数値と帰無仮説の相性の良さ(compatibility)の指標

だと解釈されます。ただし帰無仮説との相性の良さとして対立仮説との相対的な相性の良さを考えます。

#統計 P値に関する正しい説明は、以下に引用する投稿のようにASA声明におけるP値の説明をよりわかり易く再構成すれば得られます。

ASA声明よりも優れた解説に、Sander Greenlandさん(超大物)による講演スライドがあります。
biostat.ucdavis.edu/sites/g/files/…

View Tweet

#統計 P値に限らず、統計分析の結果は、帰無仮説だけではなく、特定のモデルに依存していることに注意が必要です。

モデル依存であることに明確に言及しないP値に関する説明は非常にまずい。

添付画像は

biostat.ucdavis.edu/sites/g/files/… p.75

の日本語訳です。左半分のやり方をするとまずい。

View Tweet

#統計 例えば、Aを支持するかどうかのアンケート調査で200万人中57%が支持すると回答したとき、「Aの支持者の割合は半分以下」という帰無仮説の二項分布モデルでの片側P値はほぼゼロになる。

しかし、それだけで「ゆえに帰無仮説は極めて高い確度で否定された」と結論を出すのは酷い誤りになる！続く

#統計 なぜならば、データの取得法とモデルの組み合わせの妥当性について何も考えていないからです。

例えば、回答してもらった200万人が全体の一部分からの偏った標本抽出になっているならば、全体からの無作為抽出を仮定している二項分布モデルの適用は妥当ではなくなります。続く

#統計 そういうことはアンケート調査では普通に起こります。例えば1936年の米大統領選挙の結果の予測のためのあるアンケート調査では200万人以上の回答をもとにランドン候補が57％の得票を得て当選することを予想したのですが、ルーズベルトが60%の投票を得て当選しました。

stat.go.jp/naruhodo/15_ep…

#統計 「200万人中57%がルーズベルトベルト候補ではなくランドン候補を支持」というデータの数値から得られる二項分布モデルの下での「ランドン候補の支持者の割合は半分以下」という帰無仮説の片側P値はほぼゼロです。

P値がほぼゼロなだけで帰無仮説を否定すると酷く失敗することになります。続く

#統計 1936年の大統領選挙の結果予測の失敗の事例は、「200万人の回答」のようなビッグデータによる予測の失敗の事例になっています。

どんなにサイズが大きなデータであっても偏っていると予測の失敗の原因になります。

#統計 以上のようにP値がほぼゼロであってもそれだけで帰無仮説を否定してしまうことは当たり前に間違いなのです。馬鹿げているほど自明に間違っています。

P値が小さいなら帰無仮説を否定して良いと習った人は、道理を分かっていないダメな統計学教師に教わったことになります。

#統計 佐藤俊哉さんも講義動画で

【「有意な結果(P≤0.05)は帰無仮説が誤りであり、棄却すべきであることを意味する」も誤解なんです】

と言っています。

youtube.com/watch?v=vz9cZn…

#統計 『ロスマンの疫学第2版』でロスマン先生も

【肝心なのは、P値が小さいとしても帰無仮説がデータに対して最も合理的な仮説かもしれないということである】

と述べています。

「宝くじは公平無作為である」という帰無仮説は宝くじに当選しても否定されない。

View Tweet

#統計 P値については、Sander Greenlandさんの講演スライド biostat.ucdavis.edu/sites/g/files/… が決定版の解説。

非常に残念なことに、P値の使用と帰無仮説有意性検定の使用の区別をできない人達が、P値の使用を否定している場合がある。そういうダメな人達の振る舞いについてもその講演スライドは詳しいです。

#統計 スローガン的には

* 「統計的有意性」は有罪

* 推定の道具としてのP値達は無罪(実際には非常に有用な道具)

です。有意差決戦主義とP値の使用を厳密に区別する必要があります。

View Tweet

#統計 P値に関する理解度がそういう質問をできるレベルに達していないように見えました。

まず最初にこのスレッドで紹介した資料を読むべき。

ASA声明、Greenland先生の講演スライド、佐藤俊哉先生の講義動画、ロスマン先生の説明を見ても理解できないことがあるならば、再度具体的に質問するべき。

View Tweet

#統計 群盲撫P値関数ミーム

このミームを見て笑えるかどうかは、P値について理解できたかどうかを測る良い試験になっていると思います。

View Tweet

#統計 統計分析の結果は最終判断を下すために使える有力情報の1つに過ぎず、現実における最終判断は知り得るすべての情報を用いた総合的判断でなければいけません。

統計分析単体で判断にお墨付きが得られるという不合理な望みは完全に捨て去るべき。統計学はお墨付きが得られるような道具ではない。

View Tweet

#統計 以下のリンク先を見れば分かるように、日本では高校1年生に図の左側のダメなやり方を教えるようになってしまいました。

私が知る限りにおいて、大学で長年統計学を教えて来た先生で、高校数学Ⅰの教科書での仮説検定の解説が酷いことを指摘している人を見たことがありません。

View Tweet