#統計解説の内容が間違っていると思いました。正規分布でなければt検定は使えないという考え方は間違っています。 Mann-...

83 views Sep 27, 2024 ~1 min read

#統計解説の内容が間違っていると思いました。

正規分布でなければt検定は使えないという考え方は間違っています。

Mann-WhitneyのU検定は無条件では使えません。多くの場合に脆弱で危険な検定法になります。

MWのU検定は中央値を比較するための方法ではありません。

datastudy.gonna.jp/mann-whitney/
x.com/KouNohe/status…

#統計非常に残念なことに、多くの人達が無条件では使えないMann-WhitneyのU検定を気軽に使う誤りを犯し続けています。詳しい解説については、𝕏で

from:genkuroki Mann-Whitney 脆弱
from:genkuroki Mann-Whitney 粕谷

を検索してみて下さい。私の定番の話題の1つ。

フローチャート統計学の呪縛。
x.com/KouNohe/status…

#統計手法が前提としている仮定からの逸脱への脆弱性を機にするならば、Mann-WhitneyのU検定のような方法の脆弱性にも気を使うべきです。

MWのU検定は脆弱で危険な検定法なのに残念ながら普及してしまった。

MWのU検定の代替となるより頑健な検定法にBrunner-Munzel検定があります。
x.com/KouNohe/status…

#統計余談

外れ値を扱う練習問題として

inference.org.uk/itprnn/book.pd…

にあるSeven Scientistsの問題は有名(添付画像)。

私の解答例(外れ値を含む統計モデルを適当に作る)は

nbviewer.org/gist/genkuroki…

nbviewer.org/gist/genkuroki…

にある。外れ値問題には統計モデリングで解決するという選択肢もある。

#統計これは酷すぎる。

* 正規分布でなければt検定を使えないという考え方は誤り。

* 正規母集団で等母分散なら標本サイズが総数10未満でもStudentのt検定は使える。

参考: 非正規母集団のときにWelchのt検定が使えるための標本サイズの下限はケースバイケースで大きく変わる。続く

EMUYN 広報@PPubmed

わかりやすい解説で知識の底上げに貢献してくださっている、医療統計では有名な新谷歩先生の表が、医療関係者に刷り込まれています...
新しいバージョンが広まることを期待しております。
頑張れ Welchのt検定、頑張れ Brunner-Munzel 検定！

#統計論外に酷い。

* Mann-WhitneyのU検定=Wilcoxonの順位和検定は脆弱であることを無視すれば連続変数でなくても使える。

* 2×2の分割表で標本サイズが小さいときにFisher検定を使うと検出力がかなり犠牲になる。所謂コクランルールは過剰に保守的で好ましくない。

#統計何よりも酷いのは、差をどのように測るかが違えば検定法間の互換性はなくなるはずなのに、単に「差」とだけ書いてあり、異なる差の測り方をする本質的に異なる検定法を並べて紹介している。

何の差を測りたいかでどの検定法を使うかを決めるべき。

要するに、この表の作り方自体が酷い。

#統計上の場合には総数30となっているのですが、「サンプルサイズ30あれば十分」的なデマが世界的に広まっているのではないかという話が以下のリンク先スレッドにある。

黒木玄 Gen Kuroki@genkuroki

#統計最近気になっている都市伝説の1つ:

❌中心極限定理による標本平均の分布の正規分布近似の誤差は標本サイズが30程度あれば十分小さくなると考えてよい。

これは危険な思い込みなので、信じてしまった人はコンピュータで反例を作れるようになるまで統計分析はやめた方が良いと思う。

#統計 2×2の分割表について、コクラン先生が「保守的過ぎる」と批判的な意見を表明しているルールがコクランルールの名の下に普及しているという問題を以下のリンク先スレッドで扱っています。

Fisher検定とPearsonのχ²検定は標本サイズではなくトレードオフで使い分けるべき。

黒木玄 Gen Kuroki@genkuroki

#統計「過剰に保守的過ぎる」とコクラン先生が論文の中で述べているルールをその論文を引用して「コクランルール」と名付けて、それに従わない人はχ²検定を誤用していると言い張る解説が容易に見付かる問題。

一人ひとり名指しで厳しく批判しないと誰も訂正しないということなのだろうか？

#統計既視感があったが、その通りだった。

伝統と権威を無批判に受け入れずに、論理的に再構成して正しいことを確認してから受け入れるということをやらないとダメ。

偉い人が言っていたり、みんな言っているという理由で正しいということにはならない。当たり前の話。

黒木玄 Gen Kuroki@genkuroki

#統計うわっ！

これは統計学のユーザー教育の杜撰な伝統に忠実！

「正規分布かどうか」とか「標本サイズが20未満とか、40以上とか」について異様に気にするマナー講師ムーブ。

med-statacademy.com/storage/movief…
医療統計学リテラシー(4)
正しい統計検定手法の選び方
新谷歩

#統計

新谷歩 2022

(1) P値と仮説検定
med-statacademy.com/storage/movief…

(2) オッズ比とリスク比
med-statacademy.com/storage/movief…
これは多分大丈夫

(3) リスクの計算
med-statacademy.com/storage/movief…

続く

井口豊@Iguchi_Y

@genkuroki しかし専門家でも，いまだに，そんな解説があります。新谷歩（2022）正しい統計検定手法の選び方 t.ly/3q6uU 本文も，表も，タイトルもスゴイ！

#統計続き

新谷歩 2022

(4) 正しい統計検定手法の選び方
med-statacademy.com/storage/movief…

(5) 正しい比較とは? ~リンゴとミカンを比べていないだろうか?~
med-statacademy.com/storage/movief…

(1)P値と仮説検定
(4)正しい統計検定手法の選び方
の2つの内容は明らかにまずい。

#統計

新谷歩さん曰く【P<0.05⇒差がないという帰無仮説を棄却できる→差があると言える】 med-statacademy.com/storage/movief… (2021)

佐藤俊哉さん曰く【「有意な結果(P≤0.05)は帰無仮説が誤りであり、棄却すべきであることを意味する」も誤解なんです】youtu.be/vz9cZnB1d1c?t=… (2017)

正しいのは後者。

黒木玄 Gen Kuroki@genkuroki

#統計佐藤俊哉さんの講義動画で

* 有意な検定結果(P≤0.05)は帰無仮説が誤りであり、棄却するべきであることを意味する

は誤解の典型例という扱いになっています。その理由は背後の仮定の全体(モデルの全体)に配慮していない内容になっているからです。

                            14
                        
#統計 アメリカ統計学会がASA声明を出しても、京大の佐藤俊哉先生の講義がYouTubeで公開されても、ある種の専門家達は統計学の使い方に関する伝統的かつ慣習化された誤りを教え続ける。

#統計 2×2の分割表でもχ²検定のコクランルールの説明で引用されている論文を確認すると、そのルールについてコクラン先生は「過剰に保守的であり、検出力の低下を引き起こす」と述べていた。その意見は正しい。

コクラン先生の警告を無視して、コクランルールという名称で現在も教えられている。

黒木玄 Gen Kuroki@genkuroki

#統計所謂コクランルールの正当化のために常に引用されている論文

scholar.google.co.jp/scholar?cluste…
Cochran (1954)

はその所謂コクランルールに関する十分な根拠を与えていません。

コクラン先生自身は過剰に保守的だと思っていると断っています。

#統計 Neyman-PearsonのPearsonさんは1955年の論文でNeyman-Pearson流の仮説検定の結果を最終決定とみなすことは誤りだと言っているのに、現在でも多くの教科書がNP流の仮説検定では機械的に2値的決定を下すかのように説明している。

黒木玄 Gen Kuroki@genkuroki

#統計 Neyman-PearsonのPeasonさんも、NP流の仮説検定の結論をそのまま最終結論にするべきだとは言っておらず、意思決定を助けるための道具であると言っています。

NP流の仮説検定による2分法による結論をそのまま最終結論とするかのように思っている人達は誤解している。

errorstatistics.com/wp-content/upl…

#統計 Neyman-PearsonのNeymanさんの弟子のLehmannさん(NP流の仮説検定に関する超有名な教科書を書いた)も、固定された有意水準に関する仮説検定の結果ではなく、P値の具体的な値を報告するべきだと言っています。LehmannさんはFisher流とNP流の違いの主張の多くが誤解であると論じている。

黒木玄 Gen Kuroki@genkuroki

#統計要するにP値を1つ報告するだけで「すべての有意水準での仮説検定の結果」を報告したことになります。

Neymanの弟子のLehmannも、通常はP値を報告するべきだと言っています。

errorstatistics.com/wp-content/upl…

                            18
                        
#統計 Neyman-PearsonのPearsonさんやNeymanの高弟のLehmannさんはFisher流とNP流の検定の違いに関する戯画化された説明を明瞭に否定しているのに、ある種の専門家達は現在も違いを強調し続けている。

                            19
                        
#統計 アメリカ統計学会や佐藤俊哉先生やCochran先生やNeymann-PearsonのPearsonさんやNeymanさんの高弟のLehmann先生などが何を言っても効き目がない。

まさに、付ける薬がない。

学問の世界でここまで酷い世界は珍しいと思います。
しかも実学に関する話題。

#統計 Rothman先生やGreenland先生も何を言っても効き目がない。

黒木玄 Gen Kuroki@genkuroki

#統計以上に書いた話はRothmanさんやGreenlandさんのような超有名人達が書いた解説文を読んでいる人にとってはスタンダードな内容で、しかも非常に合理的だと思うのですが、現実には全然普及していません。

どんなに偉い人が全力で解説を書いても効果がないというのが現状。

#統計以上の例で最もかわいそうだと思うのは1954年の論文が繰り返し引用されているCochran先生で、コクラン先生自身が「過剰に保守的で検出力の大幅な低下を招くことがある」(現在なら容易に正しいことを確認できる)と述べているルールにコクランルールと名前を付けられて、広められてしまった。

黒木玄 Gen Kuroki@genkuroki

#統計誤りを指摘するためには不適切な引用の仕方をしていました。ごめんなさい。添付画像の部分も引用するべきでした。

例えば

新谷歩さん曰く【P値とは～「データをもとに，差があると判断した時の間違いの確率」と読み解ける】

は明瞭に間違っています。続く

med-statacademy.com/storage/movief…

黒木玄 Gen Kuroki@genkuroki

#統計新谷歩さんの【P値とは～「データをもとに，差があると判断した時の間違いの確率」と読み解ける】は誤り。

有意水準とは実際には差がないときにデータをもとに差があると判断してしまう間違いを犯す確率である

と言っていれば明瞭に誤りとまでは言えなかった。続く

med-statacademy.com/storage/movief…

#統計続き。そして、

P値は、データをもとに差があると判断することになる有意水準の下限に等しい

とも言えます。

添付画像の説明は、有意水準とP値の区別がついていないだけではなく、条件付き確率分布の説明も間違っているので論外です。続く

med-statacademy.com/storage/movief…

                            25
                        
#統計 新谷歩さんが書いた

　データをもとに差があると判断したときの間違いの確率
　(差がない確率)

と

　差がないときにデータをもとに差があると判断する確率

では大違いです。これらの区別は「有効な治療法の承認」という文脈では本質的に重要です。続く

                            26
                        
#統計 「治療法に効果があると判断したときに、実際には効果がない確率」は非常に重要です。その確率は小さくなければ困る。

一方、P値に関わる有意水準の側は理想化された条件の下で「実際には効果がないときに、効果があると判断してしまう確率」です。

以上の2つの条件付き確率は全然違う！

                            27
                        
#統計 A=効果がない、B=効果があると判断

のとき

有意水準 = AのときBとなる条件付き確率

です。そして、P値はBとなる有意水準の下限です。しかし、本当に小さくなって欲しいのはP値ではなく、

BのときAとなる条件付き確率

の方です。この違いを区別できないようだと医療統計学の解説として失格。

                            28
                        
#統計 以上では、新谷歩さんの(不適切な)解説に合わせて、理想化された状況(データの取得の仕方と使用している統計モデルの両方が妥当な状況)を仮定しましたが、現実は理想から程遠い場合が多いので理想化しない説明が必要。

ASA声明やGreenlandさん達の説明は理想化されていない状況を扱っている。

                            29
                        
#統計 データの取得の仕方(サンプルサイズの適切さなども含む)や使用している統計モデルが妥当であっても、P値が小さいだけでは、小さくなって欲しい確率(データをもとに効果があると判断したときの実際には効果がない確率)が十分に小さくなるとは限りません。

                            30
                        
#統計 例えば、仮説検定で調べる治療法の集まりの中で実際に効果があるものの割合が5%しかないならば、片側2.5%の有意水準と検出力80%の下で効果があると判定された治療法の中で実際には効果がないものの割合は37%程度と非常に高くなります。

現実にこうなったら非常に困ります！

                            31
                        
#統計 別の数値例

仮説検定で調べる治療法の集まりの中で実際に効果があるものの割合が__半分__ならば、片側2.5%の有意水準と検出力80%の下で効果があると判定された治療法の中で実際には効果がないものの割合は3%程度になり、有意水準と同程度に小さくなってくれます。

#統計さらに別の数値例

仮説検定で調べる治療法の集まりの中で実際に効果があるものの割合が__3分の2__ならば、片側5%(両側換算10%)の有意水準と検出力80%の下で効果があると判定された治療法の中で実際には効果がないものの割合は再び3%程度と小さくなってくれます。

wolframalpha.com/input?i=%28%CE…

                            33
                        
#統計 つまり、両側換算での有意水準αと検出力80%の仮説検定で効果があると判定されたのに実際には効果がない確率を3%程度に抑えるためには、

* 調べる治療法達の中での効果があるものの割合が__半分__ならα=5%で十分

* 調べる治療法達の中での効果があるものの割合が__3分の2__ならα=10%でも十分！

                            34
                        
#統計 効果があると判定された治療法の中での実際には効果がないものの割合は、有意水準と検出力だけではなく、

仮説検定で調べる治療法達の中での実際に効果があるものの割合

にも強く依存しているので、(両側)P値が5%を切ったか否かにのみ強くこだわることは誤りであることが分かります。

                            35
                        
#統計 小さくなって欲しい確率(=割合)が、有意水準と検出力だけで決まらないことは、仮説検定に至るまでの手続きがすべてが理想的にうまく行っているという状況で成立していることです。

そこにさらに、データの取得法の適切さや統計モデルの妥当性という難しい問題が追加されるわけです。

                            36
                        
#統計 上で示した数値例より、最終的な判断を下すための仮説検定の前に、テストする治療法に効果があるという仮説成立の確率が__おおよそ半分以上__になっていないと、効果があると判断された治療法の中での効果がないものの割合を3%程度以下に抑えることができなくなってしまうことがわかります。

#統計解説の内容が間違っていると思いました。正規分布でなければt検定は使えないという考え方は間違っています。 Mann-...

Actions

What You Can Do

Actions

What You Can Do

More from @genkuroki