@genkuroki: #統計 <a target="_blank" href=...

#統計

doi.org/10.1186/s13054…
Death by p-value: the overreliance on p-values in critical care research
Sharad Patel & Adam Green
2025

色々問題がありそうな論文なので注意が必要。

まずタイトルが酷い。著者達は「統計的有意性」の問題を「P値」の問題と混同させようとしている？続く

View Tweet

#統計 その論文では、「統計的有意性の廃止」を提案しているnature 2019の論説 scholar.google.co.jp/scholar?cluste… も引用しています([9])。

このnature論説は「P値の廃止」を提案しているとよく誤解されているのですが、共著者の一人のGreenlandさんは逆に(有意性抜きでの)P値達の使用を推奨しています。

View Tweet

#統計 ASA声明 scholar.google.com/scholar?cluste… も引用されています([1])。

ASA声明もP値の使用を否定しておらず、その間違った使い方を訂正するための処方箋が書かれています。続く

#統計 P値<5%であるか否かで安易に二値的判断を下すことは、P値の間違った使い方の典型例です。

P値<5%であるか否かで安易に二値的判断を下している論文が出版され続けている分野は科学的レベルの低い信用できない分野だと評価するべきだと提案するならば合理的だった。続く

#統計 ところが件の論文は、P値の使用を「P値<5%の基準による二値的判断」というP値の典型的な誤用と同一視し、論文のタイトルを"Death by p-value"にしています！

そういうレベルの論文が出版されていること自体が問題視されるべきだと思いました。査読にもかけず門前払いが妥当でしょう。

#統計 さらに、件の論文がP値の代替手段として採用しているベイズ的な事後確率は近似的に片側P値に一致していることにも注意が必要です。

P値の代わりにP値を使うことを提案しているのと同じ。続く

#統計 一般に、モデルが十分シンプルで、事前分布がおとなしめのとき、パラメータθと数値cに関する「仮説θ≤cが成立するベイズ的な事後確率」と「仮説θ≤cの片側P値」は近似的に一致します。

事後確率とP値では数学的定義は全く異なるのですが、近似的に一致する場合が結構あります。続く

#統計 ベイズ統計の名の下に(片側)P値に近似的に一致する事後を提示してP値の代わりに利用することを提案する、という論外な議論を平気でする人たちは結構います。

豊田秀樹さんはその典型例です。続く

#統計 P値について理解していない人達の特徴の1つは、「P値」という言葉を「効果がないことを意味するゼロ仮説に関する単独のP値」の意味で使うことです。

P値を理解していない人が書いたP値を使った論文が大量に出版されていること自体が大問題。続く

#統計 「P値」はパラメータθと数値cに関する「仮説θ≤cの片側P値」「仮説θ≥cの片側P値」とそれらのほぼ2倍になる「仮説θ=cの両側P値」などの意味を持ちます。

θが効果の指標のときのc=0の場合に限ったP値(null P値)のみをP値だと考えることは有害な誤りです。続く

#統計 効果の指標θと臨床的に十分大きなcについて、

仮説θ≤cの片側P値

とベイズ統計における

(仮説θ≤c成立の事後確率)=1-(仮説θ≥c成立の事後確率)

が近似的に一致する場合には、「仮説θ≥c成立の事後確率」が大きなことと、「仮説θ≤cの片側P値」が小さいことは論理的にほぼ同値。続く

#統計 さらに、効果が臨床的に十分大きいことを意味する仮説θ≥cが成立する事後確率が80%から90%程度になることと、効果が臨床的に十分大きいことの否定を意味する仮説θ≤cの片側P値が10%から20%程度になることは、近似的に同値になります。続く

#統計 効果が臨床的に十分大きいことの否定を意味する仮説θ≤cの片側P値が10%からの20%程度のときに、他の理由も含めて総合的に判断してその治療法を試す価値があるならばそうした方が良いと私も思う。

しかし、片側P値が10%からの20%程度であることだけを理由にそうすることはやめた方がよい。続く

#統計 続き。ベイズ統計の場合にも同様の注意が必要です。

効果が臨床的に十分大きいことを意味する仮説θ≥cが成立する事後確率が80%から90%程度になっただけで、その治療法を試す価値があると安易に判断するべきではないと思います。

総合的に判断することが必要です。

View Tweet

#統計 マクリン先生のファンであることは悪いことではないと思うのですが、医学的には変な方向に影響を受けないように注意した方が良いと思いました。

ベイズ統計の方法はもっと使われて良いという意見には賛成ですが、間違った考え方を医学に持ち込むのはまずいので注意が必要です。続く

View Tweet

#統計 安全牌は、Sander Greenlandさんのような超一流の研究者で実績があって科学的に合理的で率直な人物が書いたものを読んで学ぶことだと思います。

講演スライド(2022) biostat.ucdavis.edu/sites/g/files/… は率直な説明がされていて分かり易いです。

P値とベイズに__共通して__注意するべきことは多い。

View Tweet

#統計 P値とベイズの関係の議論について注意が必要なことは

1. P値<5%という基準による二値的判断の横行はP値の使用そのものの問題ではないこと

2. 結構多くの場合に「仮説θ≤c成立の事後確率」と「仮説θ≤cの片側P値」が近似的に等しくなること

この2つをチェックすれば有害言説を判別できます。

#統計 基本的なことを理解していない人達の特徴の1つは、

頻度論(頻度主義)に従うことと
NHST(帰無仮説有意性検定)を使うことと
P値を使うこと

の区別が曖昧なことです。P値はNHST(だけ)のための道具ではありません。Sander Greenlandさんの解説を読むべき。

biostat.ucdavis.edu/sites/g/files/…

View Tweet

#統計 P値についてはASA声明(2017)などの多数の有名な文献で「P値だけを見て最終的な判断を下してはいけない」と強調されています。

ベイズ統計ではより厳しくこれと同じ注意が必要です。事後確率だけを見て最終的な判断を下してはいけない。続く

#統計 効果が臨床的に十分に大きいことを意味する仮説θ≥cが成立するベイズ的事後確率は、事前分布を構成要素として含むベイズ的モデル内部での確率(主観ベイズ主義的には主観内部における確率、フィクションでの確率)でしかなく、現実の臨床でそのまま期待してよい確率ではありません。続く

#統計 だから、効果が臨床的に十分に大きいことを意味する仮説θ≥cが成立するベイズ的事後確率が80%や90%であっても、現実の治療における確率もそうだと安易に期待してはいけない。

ベイズ統計の方法で得られる事後確率という名のフィクションと現実を繋げることは非自明な問題になります。続く

#統計 そういうベイズ統計の性質は、P値の「それだけを見て最終的な判断を下してはいけない」という性質に似ています。

そういう性質のせいで、どちらを使っても現実の実践における解釈は常に難しくなる。「ベイズなら解釈が易しくなる」という主張は極めて有害な誤りです。全然易しくならない。

#統計 解釈が難しいという事実はベイズの場合の方がより厳しく強調されるべきです。

「臨床的に十分大きな効果が得られる事後確率は85%以上である」と言われると、現実での確率が85%以上だと誤解する人が出て来やすいことは明らかでしょう。その誤解は危険過ぎるので徹底的に潰す必要があります。

#統計 関連スレッド

ベイズ統計については、P値の場合と同様にもしくはより強力に

「お前がそう思うんならそうなんだろうな　お前ん中ではな」的な解釈

を強調した方が安全だろうという話。
↓

View Tweet