#統計 P値 ―その正しい理解と適用― (統計スポットライト・シリーズ) 2018/11/28 柳川 堯 (著)...

1

#統計

P値 ―その正しい理解と適用―
(統計スポットライト・シリーズ)
2018/11/28
柳川堯 (著)

この本は良いことも書いてあるのですが、ほうちゃんさんも御指摘のようにつっこみ所が色々ある本だと思います。

添付画像は1.3節にあるグラフ。

問題：このグラフのどこがおかしいか？

続く

ほうちゃん@houji13

『P値』という本で信頼区間の幅が信頼区間の上限の二倍だって書いてあって萎えるなぁって。

2

#統計添付画像①は柳川堯著『P値』1.3節にある正規分布の密度函数のグラフ。σの長さがまるで2σになってしまっています。

添付画像②は正しいグラフです。

σと2σの区別は初学者向けの教科書では大事なのでもっとしっかりして欲しいです。

3

#超算数柳川堯著『P値』は個人的な意見ではかなり有害な感じでミスリーディングな説明が書いてあり、出版前の原稿を見た人達は厳しく指摘してあげるべきだったと思います。

例えば添付画像の部分は読者を誤誘導するような説明になっていると私は思いました。続く

4

#統計添付画像は柳川堯著『P値』より

HRの点推定値が1から大きく離れているという理由で【かなり強いリスクファクターだと示唆される】と考えることは誤りです。

なぜならば、小さな標本サイズでは、真のHRが1であっても、HRの点推定値が1から大きく離れる確率は大きくなるからです。続く

5

#統計「大きな効果量の点推定値」と「小さな標本サイズ(広い信頼区間)」と「大きめのP値」の組み合わせが得られたときに、「大きな効果量の点推定値」を理由に特に科学的に価値がありそうな場合だとバイアスをかけることはやめた方がよいです。

cf. McShane-Gelman 2022 stat.columbia.edu/~gelman/resear…

6

#統計広い信頼区間と大きめのP値はHRの点推定値が信頼できないことを意味しています。HRの点推定値が1から大きく離れた値になっていることを理由に、標本サイズを増やせばP値が5%を切る可能性が高いかのように考えることも間違っている。

添付画像に引用した部分はそのような誤解の原因になります。

7

#統計柳川堯著『P値』のp.22より

割合は等しいが標本サイズは違う2つの分割表のデータについて、片方のP値は36%でもう一方のP値が1.4%であることについて

【矛盾した判定結果】
【サンプルサイズを無視してP値を有意水準5%で判定すると，このような誤用が起こる】

と説明するのは酷すぎ。続く

8

#統計効果量の点推定値が同じ状況で、片方は標本サイズが小さいのでP値が大きめの値になって帰無仮説の成否について判断を保留することになり、もう一方では標本サイズが大きいのでP値が小さくなって帰無仮説を棄却することになるのは矛盾でもなんでもありません。

9

#統計「処置群と対照群で有効になる真の確率は等しい」という帰無仮説の下で、表3.1のAのような分割表のデータの数値が得られる確率よりも、Bのような分割表のデータの数値が得られる確率はずっと小さくなります。

その確率の違いがP値の違いになっていると考えてよい。続く

10

#統計帰無仮説下で生じる確率が全然違う2つのデータの数値について、【サンプルサイズを増やせばP値は減少する】のように言うのは、P値について何もわかっていない人だけが可能な酷い説明の仕方だと思いました。

                            11
                        
#統計 柳川堯著『P値』はP値の概念を理解したり、P値の誤用を防ぎたい人にとってはむしろ有害な本である可能性が高いです。おそらくそれでもよい部分はあるのでしょうが、この本を購入した人達の多くは「お金を損した」と感じたと思われます。

12

#統計 P値や信頼区間の無難な解釈の仕方及びそれらの誤用とその原因について学びたい人はGreenlandさんの講演スライド

biostat.ucdavis.edu/sites/g/files/…

を見ると良いと思います。非常に率直に書かれており、めちゃくちゃ面白いです。この面白さをみんなと共有したい。

                            13
                        
#統計 P値と言えば「差がない」という帰無仮説(ゼロ仮説)のP値に限るかのような統計学ユーザー向けの伝統的なP値の説明をしている人は、P値について理解していないと判断した方がよいです。

P値は任意の数値aに関する「差はaである」という検定したい仮説に対して定義できます。

14

#統計 Greenlandさんの講演スライド

biostat.ucdavis.edu/sites/g/files/…

では、「差はない」「効果はない」などの帰無仮説(ゼロ仮説)にこだわることをnullism (帰無主義、ゼロ主義)と呼び、強く批判しています。

任意の数値aに関する「効果はaである」の型の一般の検定仮説を扱うべきです。

15

#統計補足。想定される検出力が80%になるように標本サイズを十分に大きくした場合であっても、「効果はゼロである」の型のゼロ仮説のP値が有意水準以上になった場合には「ゼロ仮説の妥当性の判断は保留する」とするのが正しく、「ゼロ仮説は正しい」のように判断するべきではありません。続く

黒木玄 Gen Kuroki@genkuroki

#統計柳川堯著『P値』のp.22より

割合は等しいが標本サイズは違う2つの分割表のデータについて、片方のP値は36%でもう一方のP値が1.4%であることについて

【矛盾した判定結果】
【サンプルサイズを無視してP値を有意水準5%で判定すると，このような誤用が起こる】

と説明するのは酷すぎ。続く

                            16
                        
#統計 想定される検出力が80%ということは、背景となるモデルと想定した効果の下でP値が有意水準未満になる確率は80%だということです。残りの20%の確率でP値は有意水準以上になり、効果の有無に関する判断は保留されることになります。

この20%という第2種の過誤の確率はかなり大きいです。

                            17
                        
#統計 しかも、実践的なケースでは、想定した効果の大きさが過大評価になっているせいで、実効的な検出力は80%よりも小さな値になっている可能性も残ります。

想定される検出力を80%にしても過信しないように注意する必要があります。

                            18
                        
#統計 「効果は0である」という帰無仮説と想定される効果の値aに関する「効果はaである」という仮説をP値で比較したいならば、帰無仮説のP値だけではなく、「効果はaである」という仮説のP値も計算してしまえばよいのです。

伝統的な悪習にこだわると、こういうシンプルな発想をできなくなる。

19

#統計 Greenlandさんの講演スライド biostat.ucdavis.edu/sites/g/files/… を難しく感じる人は、同じようなことが書いてある最新しまりす本を読めばよいと思います。

佐藤俊哉著『宇宙怪人しまりす統計よりも重要なことを学ぶ』
asakura.co.jp/detail.php?boo…
↓
asakura.tameshiyo.me/9784254122978?…
↓

20

#統計補足への補足

有意水準として慣習的に使われている5%も科学的厳密性の観点からはザルであることに注意。

赤無しの麻雀で子で配牌ドラ2以上となる確率は約4.6%(ドラ2は4.3%)で5%に近い。

配牌ドラ2以上は無視できるほどまれであるという感覚で麻雀を遊んでいる人はいないと思います。続く

黒木玄 Gen Kuroki@genkuroki

#統計想定される検出力が80%ということは、背景となるモデルと想定した効果の下でP値が有意水準未満になる確率は80%だということです。残りの20%の確率でP値は有意水準以上になり、効果の有無に関する判断は保留されることになります。

この20%という第2種の過誤の確率はかなり大きいです。

                            21
                        
#統計 慣習的な検出力の80%に対応する第2種の過誤の確率20%はさらにザルです。

5%やら20%のようなザルのフィルターであっても、我々の生活水準を向上させるために役に立つのであれば使用することは合理的です。治療法の治験(多段階になっていることが重要！)での使用はそういう例になっています。

                            22
                        
#統計 有意水準5%、想定検出力80%の仮説検定は科学的にザルなので、治療法の治験が制度的に多段階になっていることは非常に重要です。

多段階になっていない単一の報告での有意水準5%想定検出力80%の仮説検定は科学的にザルになっている可能性が高いことに常に注意が必要になります。

                            23
                        
#統計 さらに補足。P値との関係で、所謂「再現性の危機」についてPハッキングのような不正行為の蔓延について強調する行為もミスリーディングで好ましくない。

理想的に行われた有意水準5%想定検出力80%の仮説検定も再現性を保証できないことを正直に説明しないと、真っ当な統計学教育になりません。

24

#統計両側検定での有意水準5%検出力80%の仮説検定でP値が5%を切っても、再現確率が60%くらいにしかならないシンプルな想定が最新シマリス本にあります。

asakura.co.jp/detail.php?boo…
↓
asakura.tameshiyo.me/9784254122978?…

25

#統計有意水準5%やそれと同等の信頼水準95%(95%信頼区間)を使って、本当は白黒をはっきりつけられないことについても、白黒つけることにこだわる病気をGreenlandさんのスライドではdichotomania (二分法病)と呼んでいます。

biostat.ucdavis.edu/sites/g/files/…

26

#統計統計学ユーザー達に伝統的に蔓延している3種の病気:

* nullism (帰無主義)
* dichotomania (二分法病)
* reification

"reification" は「物象化」「具象化」と翻訳されたりしますが、この場合には、

　モデルを疑わない病

のように翻訳すると分かりやすいと思います。

黒木玄 Gen Kuroki@genkuroki

#統計有意水準5%やそれと同等の信頼水準95%(95%信頼区間)を使って、本当は白黒をはっきりつけられないことについても、白黒つけることにこだわる病気をGreenlandさんのスライドではdichotomania (二分法病)と呼んでいます。

biostat.ucdavis.edu/sites/g/files/…

                            27
                        
#統計 有限個の数値の集まりに過ぎないデータの数値から、無限に可能性がある未知の母集団の様子は、何らかのモデル(数学的設定)無しには何も分かりません。

そのとき使ったモデルの妥当性は常に問題にされるべきです。

しかし、伝統的な統計学教育ではモデルに言及せずにやり方を説明してしまう。

28

#統計その結果、多くの統計学ユーザー達は、「効果がない」という仮説のP値が有意水準未満もしくは非常に小さいならば、「効果がない」という仮説を否定するための証拠の1つが得られたかのように誤解してしまいます。

疑うべき対象から、モデルが完全に抜け落ちてしまう。

黒木玄 Gen Kuroki@genkuroki

#統計 P値や信頼区間はデータの数値とモデル(統計分析で使った数学的仮定の全体)の相性の良さを表しているので、「パラメータθの値はaである」(例：リスク比は1である)のような検定仮説だけではなく、それ以外の数学的仮定の全体と関連します。

添付画像はGreenlandさんのスライドからの孫引きの翻訳

29

#統計モデルのパラメータに関する検定仮説H(例えば効果を意味するパラメータθに関するθ=0という仮説)のP値が小さいときには、仮説Hだけではなく、モデル全体(数学的設定の全体)も疑いの対象になります。実際にはデータの数値の取得法も疑いの対象になります。

これは非常に当たり前の話です。

黒木玄 Gen Kuroki@genkuroki

#統計 P値や信頼区間はデータの数値とモデル(統計分析で使った数学的仮定の全体)の相性の良さを表しているので、「パラメータθの値はaである」(例：リスク比は1である)のような検定仮説だけではなく、それ以外の数学的仮定の全体と関連します。

添付画像はGreenlandさんのスライドからの孫引きの翻訳

30

#統計 P値が小さい場合には、検定したい仮説だけではなく、P値の計算に使われた数学的設定の全体(モデル全体)やデータの数値の取得法の妥当性も疑いの対象になるという当たり前の話は、『統計的有意性とP値に関するASA声明』での原則1でも強調されています。

biometrics.gr.jp/news/all/ASA.p…

                            31
                        
#統計 「P値は検定したい仮説だけを評価する指標ではない」という当たり前のことについても、柳川堯著『P値』は適切な説明をしていないと思いました。

P値は

データの数値と検定したい仮説を含む数学的設定全体(モデル)の相性の良さ(compatibility)の指標の1つ

だと解釈するようにすると便利です。

                            32
                        
#統計 このスレッドで強調していることは、pハッキングのような不正行為に走らなくても、普通に論文としてアクセプトされるような伝統的な誤解もしくは病気(nullism, dichotomania, reification)に基くP値や信頼区間の使い方自体がダメだということです。

                            33
                        
#統計 もっと分かり易く言うと、教科書や大学での講義や研究者達の多くが間違っているということを言っています。

こういうことをしつこく言うと当然嫌われることになります。

このスレッドでダメだと指摘されているようなことをすでに書いて発表してしまった人には特に嫌われることになるでしょう。

34

#統計統計学の使い方については現実は世界的に「赤信号みんなで渡れば怖くない」 ja.wikipedia.org/wiki/%E8%B5%A4… な状態になっています。

P値については、nullism, dichotomania, reification の3つの病気に罹らずに利用する方法の普及の努力が必要だと思います。

cf. biostat.ucdavis.edu/sites/g/files/…

                            35
                        
#統計 以上のようなことを言うと、知ったかぶりの人たちが「P値ではなく、ベイズ統計を使えば良い」のように言いそうです。

その手の人達はP値の使用と「帰無仮説有意性検定」(NHST)の区別がついておらず、3つの病気を排除したP値の使い方に完全に無知だったりします。まさに知ったかぶり。

                            36
                        
#統計 3つの病気を排除したP値の健全な使い方という建設的な話をするとべきなのに、すぐに"NHST"批判の話を始める知ったかぶりの無教養人達は非常に沢山いて、いつもあきれたものだと思って見ています。

見付けたらみんなでバカにするべき。

                            37
                        
#統計 P値の適切な使い方は、何度も繰り返し説明していますが、P値を

データの数値とモデル(検定したい仮説も含む数学的設定の全体)の相性の良さ(compatibility)の指標の1つ

だと解釈することです。そして、ゼロ仮説θ=0だけではなく、任意のaに関する検定仮説θ=aのP値全体を利用すること。

38

#統計与えられたデータの数値について、ゼロ仮説θ=0 (例えば「効果はない」という意味の仮説)だけではなく、すべての数値aについて検定仮説θ=aのP値を計算すれば、

データの数値とモデル+パラメータθの値の設定の相性の良さの様子

を知ることができます。有意水準設定による二分法抜きに使える。

黒木玄 Gen Kuroki@genkuroki

#統計 P値の適切な使い方は、何度も繰り返し説明していますが、P値を

データの数値とモデル(検定したい仮説も含む数学的設定の全体)の相性の良さ(compatibility)の指標の1つ

だと解釈することです。そして、ゼロ仮説θ=0だけではなく、任意のaに関する検定仮説θ=aのP値全体を利用すること。

39

#統計無数のP値を「データの数値とモデル+パラメータの値の設定の相性の良さの様子」を見るために使うことは、『ロスマンの疫学第2版』のような教科書に書かれています(添付画像)。

この場合のP値はモデルのパラメータとしての相対リスクの値と表8-1のデータの数値の相性の良さを意味する。

40

#統計ほぼ同じグラフが最新シマリス本にもある。

この手の情報を一切知らない人達が、P値の使用とNHST(帰無仮説有意性検定)の区別をできないままで、P値について不当な非難をしているのを見たら、「もっと勉強した方が良い」と言うべき。

asakura.co.jp/detail.php?boo…
↓
asakura.tameshiyo.me/9784254122978?…

                            41
                        
#統計 以上で紹介したP値関数によって

データの数値とモデルのパラメータの値の設定の相性の良さの様子

を見るという考え方は、そのままベイズ統計への事後分布に拡張されます。事後分布は

データの数値と事前分布を含むモデルのパラメータの値の設定の相性の良さの様子

を表しています。

42

#統計以上において、「相性の良さ」はcompatibilityの私的翻訳語です。(「互換性」と訳すのは意味的に誤訳になると思う。)

ベイズ統計でもcompatibilityという言い方を使うこはStatistical Rethinkingもしており、以上の筋書きは私独自のものではありません。

黒木玄 Gen Kuroki@genkuroki

#統計通常の信頼区間だけではなく、ベイズ版の信用区間も compatibility interval と呼んで同じように解釈することの合理性については、McElreathさんのStatistical Rethinking 2nd ed. の3.2.2 (p.54)を参照。

Amrhein-Greenland (2022) journals.sagepub.com/doi/10.1177/02… も参照。

43

#統計以下のリンク先では、同一のデータの数値に関する二項分布モデルの場合にP値と事後分布のグラフを縦に並べてプロットしている。

これを見ればそれらがほぼ同じ使い方をできる道具だとすぐにわかるはず。これを見て直観的にそう認識できない人にはこの手のことを説明する方法がわからない。

黒木玄 Gen Kuroki@genkuroki

#統計添付画像は、二項分布モデルでのP値関数と二項分布+平坦事前分布での事後分布のグラフを縦に並べたものです。事後分布の使い方はP値関数と同様です。

事後分布では(P値関数と違って)、(統計モデルの相性だけではなく)事前分布も含めたデータの数値との相性の様子が表されています。

44

#統計 P値について理解したい人は以下を読むと良いと思います。

佐藤俊哉著『宇宙怪人しまりす統計よりも重要なことを学ぶ』の第1話
asakura.co.jp/detail.php?boo…

『ロスマンの疫学第2版』の第8章
shinoharashinsha.co.jp/Books2.aspx?PI…

Greenlandさんの講演スライド
biostat.ucdavis.edu/sites/g/files/…

45

#統計あと、教科書が間違っていることについては、佐藤俊哉さんの講義動画(これは非常に聴き易くてすごい！)を視聴すればよく分かります。

教科書によく書いてある説明が間違っていることをはっきり講義してくれていることには勇気付けられます。

黒木玄 Gen Kuroki@genkuroki

#統計佐藤俊哉さんの講義動画では「教科書は間違っている」という説明が繰り返されています。

ちょっと考えれば間違っていることがすぐに分かる考え方が多数の教科書に載ってしまっているという結構悲惨なことになっている。

ocwcentral.com/subjects/01GB4…

46

#統計【そして、ゼロ仮説θ=0だけではなく、任意の数値aに関する検定仮説θ=aのP値全体を利用すること】

この要請に一般統計学ユーザーが従おうとすると、ゼロ仮説のP値しか計算してくれない統計ソフトが多いという困難が生じます。この点については統計ソフト側の改善が必要だと思います。

黒木玄 Gen Kuroki@genkuroki

#統計 P値の適切な使い方は、何度も繰り返し説明していますが、P値を

データの数値とモデル(検定したい仮説も含む数学的設定の全体)の相性の良さ(compatibility)の指標の1つ

だと解釈することです。そして、ゼロ仮説θ=0だけではなく、任意のaに関する検定仮説θ=aのP値全体を利用すること。

47

#統計例えば、2×2の分割表のχ²検定を行うソフトは、独立性の帰無仮説のP値だけではなく、「オッズ比=a」「リスク比=a」「リスク差=a」という3種の検定仮説のスコア検定のP値も計算できるようになっているべきだと思います。

可能ならばP値関数のグラフの自動作成機能も欲しい。

黒木玄 Gen Kuroki@genkuroki

#統計【そして、ゼロ仮説θ=0だけではなく、任意の数値aに関する検定仮説θ=aのP値全体を利用すること】

この要請に一般統計学ユーザーが従おうとすると、ゼロ仮説のP値しか計算してくれない統計ソフトが多いという困難が生じます。この点については統計ソフト側の改善が必要だと思います。

48

#統計関連相互リンク

P値の概念の解説をするには不適切な人がいると思った。

黒木玄 Gen Kuroki@genkuroki

#統計他の判定基準として、

有意水準5%の仮説検定による薬剤の承認によって【効かない薬剤を購入する患者のリスクを5%以内に抑える】ことができるかのように主張する人は基本的なことをわかっていない

という判定基準も使えます。続く

jstage.jst.go.jp/article/jjb/38…

49

#統計関連スレッド

黒木玄 Gen Kuroki@genkuroki

@topazape #統計柳川著『P値』は正規分布の標準偏差さえグラフでまともに表現できておらず、その本の意味でのP値は「差がない」という仮説に限定したnull P値で21世紀に書かれたP値に関する本には見えず、時代遅れでミスリーディングな内容の本だと私は思いました。

詳しくは
↓

#統計 P値 ―その正しい理解と適用― (統計スポットライト・シリーズ) 2018/11/28 柳川堯 (著)...

Actions

What You Can Do

Actions

What You Can Do

More from @genkuroki