#統計 jstage.jst.go.jp/article/kagaku… 改訂増補版：統計検定を理解せずに使っている人のためにII...

61 views Feb 11, 2025 ~3 min read

#統計

jstage.jst.go.jp/article/kagaku…
改訂増補版：統計検定を理解せずに使っている人のためにII
池田郁男
化学と生物57 巻 (2019) 9 号

これは3年前なのですが、いつものよく見る誤解がもろに説明されています。

現代でもこういうので統計学入門の勉強をしてしまう人達がいるわけです。非常に残念。続く

黒木玄 Gen Kuroki@genkuroki

#統計 Wilcoxonの順位和検定=Mann-WhitneyのU検定は

(WMW) 2群の母集団分布はぴったり等しい

という仮説の検定になっており、Brunner-Munzel検定は

(BM) P(X<Y)+P(X=Y)/2 = 1/2 (勝率は5割)

という仮説の検定になっています。BM検定では中心極限定理を使うことによってこれを実現している。

#統計以下はすべて誤り。

❌t検定は正規母集団以外には使えない。

❌Wilcoxonの順位和検定=Mann-WhitneyのU検定は等分散であれば使用可能

❌Wilcoxonの順位和検定=Mann-WhitneyのU検定やBrunner-Munzel検定は平均値ではなく中央値を扱う。

誤りを認めて訂正するべき解説者が多い。

                            3
                        
#統計

⭕️Welchのt検定は標本平均の分布が中心極限定理によって正規分布で近似されていると期待できる場合には概ね使用可能である。

⭕️Wilcoxonの順位和検定は「2つの母集団分布が等しい」という仮説の検定である。

⭕️Brunner-Munzel検定は「大小比較で勝率5割」という仮説の検定である。

                            4
                        
#統計 Wilcoxonの順位和検定=Mann-Whitneyの順位和検定は「2つの母集団分布が等しい」という仮説の検定です。

「2つの分布が等しい」という条件は「2つの分布の平均が等しい」や「2つの分布の中央値が等しい」という条件よりも圧倒的に強い条件です。続く

                            5
                        
#統計 だから、Wilcoxonの順位和検定=Mann-Whitneyの順位和検定では、2つの母集団分布がともに左右対称で平均値と中央値と分散が互いに等しくても、尖度が異なると有意差が出易くなります。

そのような場合でもは、尖度の違いを検定では検出していることになり、実際にやりたいことではなくなる。

                            6
                        
#統計 Wilcoxonの順位和検定=Mann-Whitneyの順位和検定やBrunner-Munzel検定は、データの数値の絶対値の情報を使わず、数値の順位だけしか使いません。

一方、分散は数値の絶対値の情報を使って定義される量です。

だから、分散の話をそれらの検定で持ち出すことには疑問を持たないとおかしい。

                            7
                        
#統計 順位(順序)の情報しか使わない検定と相性が悪そうな分散の話を持ち出すときには、「あれ？おかしいな」と感じるべきなのですが、なぜかそうしない。

Wilcoxonの順位和検定=Mann-Whitneyの順位和検定やBrunner-Munzel検定がどのような仮説の検定であるかを軽視し過ぎている。ひどすぎ。

                            8
                        
#統計 仮説検定は仮説のテストのはずなのに、各検定がどのような仮説の検定になっているかについて真っ当に説明しようとしない態度は、特にノンパラメトリック検定の解説で目立ち、統計学入門の解説という分野内で自浄作用がほとんど働いていないように見える。

(私は統計学についてはど素人です)

                            9
                        
#統計 

分散が等しい正規母集団の場合には、Mann-WhitneyのU検定の検出力はt検定とほとんど変わらない(ほんの少ししか弱くない)

という話がよく強調されていますが、Mann-WhitneyのU検定は

　2つの母集団分布が等しい

という超絶強い仮説の検定なので、その比較の仕方はちょっとミスリーディング。

                            10
                        
#統計 確率分布の全体をパラメータ付けするには無限個のパラメータが必要になります。

Wilcoxonの順位和検定=Mann-WhitneyのU検定は「2つの分布が等しい」=「2つの分布の無限個のパラメータがすべて一致する」という仮説の検定です。

Welchのt検定は「2つの平均値は等しい」という仮説の検定。続く

                            11
                        
#統計 「無限個あるすべてのパラメータの値が一致する」という仮説を扱う検定と「平均値というたった1つのパラメータの値が一致する」という仮説を扱う検定を比較するときには、仮説の強さが段違いであることを強調しておかないと誤解誘導的になると私は思います。

伝統的な説明の多くに問題がある。

                            12
                        
#統計 等分散性に関するF検定は正規母集団の仮定に強く依存しており、正規母集団の仮定が崩れていると信頼できない検定法になります。

この点は平均に関するt検定達とは大違いなので要注意です。t検定では正規母集団の仮定が崩れていても、標本平均の分布が正規分布で近似されていれば概ね使える。

                            13
                        
#統計 

Mann-WhitneyのU検定=Wilcoxonの順位和検定
平均の差に関するStudentのt検定
等分散性に関するF検定

は検定法が前提としている条件が厳しい検定の例になっており、使える場合は限られていると考えられます。

                            14
                        
#統計 それらとは対照的に

Welchのt検定
Brunner-Munzel検定

の使用可能条件はかなり緩い。

                            15
                        
#統計 Studentのt検定の使用可能条件はWelchのt検定とt値の定義を比較すればわかります。2つのt値の分子は等しく、分母の2乗はそれぞれ

Welch分母²=u²/m+v²/n

Student分母²=((m-1)u²+(n-1)v²)/(m+n-2)×(1/m+1/n)

ここで、u²,v²は2つの標本の不偏分散で、m,nは標本サイズです。続く

                            16
                        
#統計 2つの分母²を比較すると

Student分母²=Welch分母² ⇔ u²=v² or m=n

となることが分かります。

これに近い状況ではStudent分母²とWelch分母²の違いは小さくなり、Studentのt検定のt値はWelchのt検定のt値で近似され、Studentのt検定はWelchのt検定で近似されると期待されます。続く

                            17
                        
#統計 そのことを確認するためには、Studentのt検定で使う自由度

m+n-2

とWelchのt検定で使う自由度

複雑なので略

を比較すればよい。ちょっと頑張れば(結構面倒)

min(m-1,n-1) ≤ Welchのt検定の自由度 ≤ m+n-2

を示せます。m,nが十分大きいなら、2つの自由度はどちらも十分大きくなる。続く

                            18
                        
#統計 自由度が大きなt分布は標準正規分布で近似されるので、自由度が大きければ、自由度のことは忘れてよい。

                            19
                        
#統計

以上をまとめると、標本平均の分布が正規分布で近似されていると期待できて、標本サイズが十分大きくて、

* 2つの不偏分散が等しい

または

* 2つの標本サイズが等しい

に近い状況ならStudentのt検定を概ね使えると考えて良いことが分かります。続く

                            20
                        
#統計 Studentのt検定の使用可能条件として追加される条件は

* 2つの不偏分散が等しい

または

* 2つの標本サイズが等しい

なのですが、後者の「等標本サイズ」という条件は触れられずに済まされることが多いのですが、過去のStudentのt検定の適用事例を評価するときには重要です。続く

                            21
                        
#統計 なぜならば、伝統的にStudentのt検定が適用される場合では、実験計画の段階で2群の標本サイズを同じにすることが多いからです(そうするのが合理的)。

だから、不等分散の場合であっても、等標本サイズであれば、Studentのt検定は安全に適用できる場合が多いという知識は結構重要です。

                            22
                        
#統計 「等分散」という条件だけではなく、「等標本サイズ」という条件も提示する方が、Studentのt検定の解説では実践的にはより適切だと思われます。

しかし、そのような解説をしているのを見たことがありません。

                            23
                        
#統計 多分、多くの解説者達は自分の頭で考えずに昔から言われていることのコピー&ペーストで説明を作っている。

これが質の低い統計学入門の解説が生産される大きな原因の1つになっていると思われます。

理解が伴わないコピー&ペーストはやはりまずいということが常識になるべきです。

#統計 Welchのt検定の自由度は一般に整数にならないのですが、

❌四捨五入して整数にする

としてはいけません。

一体どうして四捨五入すると信じてしまったのか？
↓
jstage.jst.go.jp/article/kagaku…
改訂増補版：統計検定を理解せずに使っている人のためにII
池田郁男
化学と生物57 巻 (2019) 9 号

#統計【paired t testを行うべき場合に、unpaired t testを行うと、有意差が出にくい！】と！付きで書いている部分も酷いです。

本当に問題なのは「有意差の出にくさ」ではなく、ユニット単位で比較するべきことを、平均の比較に置き換えていることです。続く

                            26
                        
#統計 科学研究では、有意差の出やすさよりも、科学的なまともさの方を優先する必要があります。

ユニット単位で比較して傾向を見たい場合に、全体の平均を比較してしまうことは、科学研究としてまるっきりおかしなことをしているわけで、統計学以前の問題になります。

#統計【paired t testを行うべき場合に、unpaired t testを行うと、有意差が出にくい！】という言い方で解説してしまっていることは、科学的にまともであることではなく、「有意差」の方を重要だとみなしているようにも見えるので、非常にまずいと思いました。

                            28
                        
#統計 比較する予定のものを比較すると有意差が出にくくなる場合には、有意差が出にくくなることを受け入れて、それに合わせて必要な標本サイズを見積もる必要があります。

                            29
                        
#統計 例えば

* 処置Xの効果を指標Yで調べたい。
* 指標Yで効果を見ると有意差が出難くなりそう。
* そこで効果指標Yとは異なる指標に基く有意差が出易い検定Aを使用する。

のようなことをやって、検定Aで有意差が出たか否かを指標Yによる判断よりも優先すると、おかしなことになります。

                            30
                        
#統計 多分、統計学入門の解説では検定についても「処置Xの効果を指標Yで測る」という発想の仕方で教えることが重要で、「有意差を出す」という発想への偏りは科学的に有害であるとはっきり教えて行く必要があると思われます。

                            31
                        
#統計 「処置Xの効果を指標Yで測る」という発想をするようになれば、「t検定の代わりにノンパラメトリック検定を使う」のようなことを安易に言えなくなるはずです。

検定法の選択において

　効果を測るための指標の変更が妥当であるかどうかの判断

をしなければいけないことに気付くようになる。

#統計 P値の解釈も、P値を過信せずに済ませられるcompatibilityの解釈に移行するべきだと思います。

そういうことはGreenlandさん達が昔から言っており(最近の論文→ )、最近ではMcElreathさんはcompatibilityによる穏健な解釈をベイズ統計にも導入しています。

黒木玄 Gen Kuroki@genkuroki

#統計 Statistical Rethinking, 2nd ed.を見ると、添付画像のようにGreenlandさん達に従って、ベイズ信用区間をも「両立区間(compatibility interval)」と呼んでいます。添付画像のように書いてある。

compatibilityはGreenlandさん達の論文 journals.sagepub.com/doi/10.1177/02… のキーワードでもあります。

                            33
                        
#統計 検定法の解説では「背理法に似ており、差があることを示したいときに、差がないと仮定してP値を求める。P値がα未満ならば有意差があると判断する」のように説明されることがあるのですが、これは有害な教え方であるとみんなが言うようになると良いと思います。続く

#統計 Greenlandさん達によれば(例 journals.sagepub.com/doi/10.1177/02…)、P値は

データの数値とモデルとそのパラメータ値の
compatibility(両立性、整合性、適合度)の指標の1つ

でしかありません。(McElreathさんはベイズ統計での事後分布の値もcompatibilityの指標の1つだとみなしている。)

                            35
                        
#統計 そのcompatibilityは「相性の良さ」と訳すと親しみ易いかもしれない。

P値が小さいこと

は

データの数値とモデルとそのパラメータ値の組み合わせの
相性が悪いこと

を意味する。そのとき、データの数値とモデルとそのパラメータ値のうち少なくとも1つに問題があることを疑いたくなる。

                            36
                        
#統計 有意差が出た場合には、「差がない」という仮説の成立を疑うだけではなく、モデル自体が妥当でなかったせいで有意差が出易くなっていた可能性や、データに問題があったせいで有意差が出た可能性も疑う必要があります。

これが論理的に正しい考え方で、よくある解説の内容は間違っています。

                            37
                        
#統計 ベイズ統計の場合には、パラメータの事後分布は同様に

データの数値と事前分布を含むモデルとパラメータ値の
相性の良さ(compatibility)

を測るために利用できます。

ポイントは、データやモデル(ベイズ統計では事前分布を含む)も疑いの対象にすることを忘れないことです。

#統計 P値と事後分布のcompatibilityによる解釈を両方グラフで示すと、信頼区間(confidence interval)とベイズ信用区間(credible interval)と呼ぶよりも、compatibility interval(両立区間)と呼んだ方が良さそうだと気付きます。

実際、Statistical Rethinkingではそうしています。

黒木玄 Gen Kuroki@genkuroki

#統計以上で紹介したStatistical Rethinkingの立場での信頼区間とベイズ信用区間の正しい解釈の仕方については、そのことを知らずに、私も独立にほぼ同じことを述べていました。

Statistical Rethinkingにも書いてあったことはとてもうれしいです。

                            39
                        
#統計 以上で説明した「P値も事後分布もcompatibilityの指標に過ぎない」のような自信過剰にならずに済む解釈の仕方は、FisherやらNeyman-Pearsonの話を持ち出す検定法の説明からは大幅に離れています。

専門家達の間ではこういう話になっていることは、日本語圏でも広まるべきだと思います。

                            40
                        
#統計 現代的には、P値や事後分布や区間推定については、大昔のFisherやらNeyman-Pearsonを参照するよりも、Greenlandさん達やMcElreathさんの"compatibility"という穏健な解釈の方を参照する方が無難で安全なように私には感じられます。

                            41
                        
#統計 McElreathさんのStatistical Rethinkingに従えば、非ベイズとベイズの間の排他的な線引きも自動的に撤廃されることになり、科学研究の実践で非ベイズとベイズの両方の方法を同じような考え方で使っている研究者達の実感にも近付きます。

                            42
                        
#統計 さらに現代的には、統計的因果推論の考え方にも触れる必要があるのですが、回帰(より一般に条件付き確率分布の解釈の仕方)について十分な理解がないと苦しいので、現実の教育では統計学入門の次の段階にまわさざるを得ないかも。

                            43
                        
#統計 個人的な意見では、統計的因果推論の解説では、使用するモデルを明示的に説明するスタイルを取るべきで、欠損値を埋めるというイメージによる説明を強調したり、具体的なやり方のみを説明することは避けるべきだと思います。

compatibilityという解釈の徹底でもモデルのクリアな説明は重要。

#統計実際、Greenlandさん達によるcompatibilityによる解釈をベイズ統計にも導入しているMcElreathさんのStatistical Rethinkingの講義でも、統計的因果推論の解説では最初に因果モデルをクリアに提示するスタイルを採用しています。

これが標準になると良いと思います。

github.com/rmcelreath/sta…

#統計添付画像を見ればわかるように、Statistical Rethinkingの講義の重要な目的の1つはギャグで他人を笑わせることです。かなりお勧め。

ターミネーター2の有名なシーンを利用したミーム。

github.com/rmcelreath/sta…

黒木玄 Gen Kuroki@genkuroki

#統計解説

シュワちゃんターミネーター: お前のお母さんの職業は？

ジョン: 統計学者

シュワちゃんターミネーター(ジョンの声で): 欠損値をゼロで置き換えてもいい？

里親のジャネル: その通りよ。それで正しいわ。

シュワちゃんターミネーター: お前の里親は死んでいる。

統計学者ではない。

                            46
                        
McElreathさんは他人を笑かすためのミーム画像を大量に自分で作っているわけで、作業量が半端ない分量になっているように見える(笑)

                            47
                        
#統計 Greenlandさん達のcompatibilityによる解釈やそれをベイズ統計でも踏襲してさらに統計的因果推論の解説で因果モデルを最初に提示しているStatistical RethinkingのMcElreathさんのスタイルにどういう人達が抵抗することになるのでしょうかね？

抵抗する人達を見つけたら教えて欲しいです。

#統計このスレッドで説明したように、池田郁男先生による検定法に関するその解説は内容的に間違っているので、推奨ツイートを繰り返し拡散するのをやめて、その代わりに

　この解説には従ってはいけない

と繰り返し自動ツイートするようにするべきだと思います。

研究生活tips垂れ流しbot@bot_tips

【統計検定を理解せずに使っている人のためにⅠ〜Ⅲ】
東北大学の池田郁男先生による生物実験でよく用いる統計検定法を
原理からどのように使い分けるかまで数学が苦手な人(僕)でもわかるようにまとめられている。
jstage.jst.go.jp/article/kagaku…
jstage.jst.go.jp/article/kagaku…
jstage.jst.go.jp/article/kagaku…

#統計このスレッドで説明したように、池田郁男さんによる検定法の解説はお勧めできません。

部品（石原さとみ）@tjmlab

改訂増補版：統計検定を理解せずに使っている人のために I

池田郁男

東北大学未来科学技術共同研究センター
katosei.jsbba.or.jp/view_html.php?…
メモメモ_φ(･_･の

#統計このスレッドで説明したように、池田郁男氏による検定法に関するその解説はお勧めできません。

會澤（会沢）裕貴 / マーケティング研究者の卵兼主夫@zawazawa1987

【都立大学MBA日記#141】
続き。

改訂増補版：統計検定を理解せずに使っている人のために Ⅱ
jstage.jst.go.jp/article/kagaku…

池田郁男
東北大学未来科学技術共同研究センター

#国内MBA #都立大学MBA

#統計このスレッドで説明したように、池田郁男氏による検定法に関するその解説はお勧めできません。

かほ🌱もと獣医師の英日メディカル翻訳者@Kahori_km

【参考】改訂増補版：統計検定を理解せずに使っている人のためにII（東北大学未来科学技術共同研究センター　池田郁男） katosei.jsbba.or.jp/view_html.php?…

#useful_reference

#統計このスレッドで説明したように、池田郁男さんによる検定法の解説はお勧めできません。

REN@Pt_Baboon

池田郁男先生の
『統計検定を理解せずに使っている人のために』シリーズ
が改定増補版になってWeb上にあるの知らなかった。
自分的にはこれ以上分かりやすい資料見たことない。
Ⅰ: katosei.jsbba.or.jp/view_html.php?…
Ⅱ: katosei.jsbba.or.jp/view_html.php?…
Ⅲ: katosei.jsbba.or.jp/view_html.php?…

                            53
                        
#統計 「池田郁男」で検索したら、検定法に関する分かり易い解説だとみなしてリンクを紹介している人が大量に見つかる。

その悪影響を打ち消すために、リンクをはって拡散した人達は、「この解説を信用してはいけない」という情報を拡散し直すべきだと思いました。

                            54
                        
#統計 通常であれば、ここまでおかしな解説であれば、出版や公開までのどこかの段階で「このまま出すのはまずい！」と言われると思うのですが、そうならなかった。

誰も「これはおかしい」と思わなかったのか、それともそういうことを言える雰囲気ではなかったのか？

どちらにしても非常にまずい。

                            55
                        
#統計 こういう話は他人事ではないので、めちゃくちゃ怖い。

というわけで、誤りの指摘については読者の皆様の力をいつもあてにしています。

実際、いつも助けてもらって感謝しています。

                            56
                        
#統計 「データの数値の様子を見てから検定法を選択して仮説検定を行うと、検定結果は信用できなくなりがちである」ということは強調されてしかるべきだと思う。

#統計以下はt検定に関するよく見る__誤解__

❌母集団に正規分布を仮定できないときにt検定を使うのは誤用
(多くの場合に誤用にならない)

❌有意差を出すために検定法を選択する
(違いの測り方が検定法によって異なることの無視は杜撰な考え方)

❌小標本だという理由でノンパラ検定を勧める

ゲジ姉モード@uc_thirdly

@sairaku_agri 母集団に正規分布が仮定できないときにt検定を使うのは誤用ですが、ご質問にあるような差がないのに有意差を出すのと差があるのに有意差を出さないのとどちらが多いかはすぐわかりません...恐らく真の分布によるのでしょうけれどいずれにせよ信頼性には欠けます
またやってみます

                            58
                        
#統計 他にも、以下のような__誤解__をよく見る。

❌F検定で分散に有意差がない場合にはStudentのt検定を使い、有意差がある場合にはWelchのt検定を使う

❌等分散でない場合にもMann-WhitneyのU検定を行う

❌等分散ならばMWのU検定を使えるかのように説明

❌MWのU検定は中央値を扱うと説明

#統計 2群の平均の差については等分散性と無関係にWelchのt検定を使う。ただし、標本平均の分布が正規分布で十分近似されていると期待される場合でないと誤差は大きくなる。(正規母集団の仮定は必要ない。)

2群の分散の違いに関するF検定は正規母集団の仮定が成立していないと危ないです。

黒木玄 Gen Kuroki@genkuroki

#統計【t検定は結局標本が正規分布に従うと仮定できる時に使うでいいのかな。母集団の分布は関係がないと。】は完全に誤り。

Welchのt検定は、標本平均の分布が中心極限定理によって正規分布でよく近似されていれば概ね使えますが、標本平均の分布は未知の母集団分布から決まることに注意！続く

Ph.D.アルパ力@ReseArpaca

t検定は結局標本が正規分布に従うと仮定できる時に使うでいいのかな。母集団の分布は関係がないと。

                            61
                        
#統計 標本平均の分布は未知の母集団分布から決まるので、我々はそれを知ることができません。

しかし、未知の母集団分布が外れ値を含まず、その左右の非対称性があまり大きくないと期待できるなら、あまり大きくないnでその標本平均の分布は正規分布でよく近似されていると期待できます。

                            62
                        
#統計 その辺は、中心極限定理による正規分布近似がどのような分布とnの組み合わせでどれだけうまく行くかに関する予備知識がないと判断できないことです。

中心極限定理の理解が不十分だとt検定を使って失敗する可能性が増える。

#統計この投稿を含むスレッドトップで指摘したように、

改訂増補版：統計検定を理解せずに使っている人のためにII
池田郁男

は実質的に

統計検定について十分に理解していない人によるさらに誤解を増やすための解説

になっているので要注意です。

信用できない解説の方が多数派なので要注意。

佐藤佑太郎 | Yutaro SATO@yutarojpt6

②標準誤差，パラメトリック検定の基本， t 検定の原理，有意水準，両側検定，片側検定，paired と unpaired t 検定の違い，等分散性の検定，ノンパラメトリック検定の原理や利点，欠点について

②
jstage.jst.go.jp/article/kagaku…

#統計この投稿を含むスレッドで具体的に指摘したように、

改訂増補版：統計検定を理解せずに使っている人のためにII
池田郁男

は実質的に

統計検定について十分に理解していない人によるさらに誤解を増やすための解説

になっているので要注意です。

信用できない解説の方が多数派なので要注意。

shinta@APlantScientist

改訂増補版：統計検定を理解せずに使っている人のためにII
katosei.jsbba.or.jp/index.php?aid=…

改訂増補版：統計検定を理解せずに使っている人のためにIII
katosei.jsbba.or.jp/index.php?aid=…

#統計「いい学びになった」とコメントしたゼミ生には、「統計学における入門的な事柄について十分に理解していない人が書いた杜撰な解説を勧めたのはまずかった」と伝えた方が良いと思いました。

正しくて勉強になることも書いてあるので、まずい部分を具体的に説明する必要もあると思います。

shinta@APlantScientist

これら統計関係の情報を伝えたゼミ生から、いい学びになったとのコメントがあり嬉しいです。いい書物、いい情報を少しでも共有、伝えていければ。

#統計相互リンク

このスレッドの事例は孤立しておらず、旧帝大レベルでも統計学の入門的な事柄についてデタラメが広く教えらているようだ。

内輪で「それ間違ってますよ」という指摘があれば、インターネットで公開される前に訂正されると思うのですが、全然そうなっていないように見える。

黒木玄 Gen Kuroki@genkuroki

#統計ノンパラメトリック検定に関する解説はおかしなものの方が多数派で、しかもまともに訂正される気配が感じられない。

どうして同業者達が訂正させる方向に動かないのか？

私は誤りを指摘してくれる人達にいつも助けられています。

そういう世界になっていないように見える。

事例
↓

                            67
                        
#統計 現実は相当に厳しくて、何十年も前からデタラメを教えて来た人たちの杜撰な考え方が、インターネットを通して表に出て来ただけのように見える。

間違っていることを指摘されても、間違いの内容を正確に理解できない人が解説しているという問題もある。だから、正しく訂正することもできない。

                            68
                        
リソースを投入するべき事柄に投入しなかった(できなかった)ツケがまわって来ているのだと思います。

#統計

jstage.jst.go.jp/article/ningen…
荒瀬康司
論文投稿に際しての統計学的記述の留意点
人間ドック (Ningen Dock) 2018 年 33 巻 4 号 p. 557-570
キーワード: 医療統計, 統計リテラシー, 研究デザイン

を見てみました。いつもの誤解が満載の酷い内容。

『人間ドック』誌の関係者達は恥を感じるべき。

井口豊@Iguchi_Y

コクランの規則については自戒を込めて注意したい。が，近年でも，これに準ずるのが良いという論文が少なくない。雑誌編集委員長による荒瀬康司 (2018) 論文投稿に際しての統計学的記述の留意点 t.ly/varPt p.22 右段　これも論文タイトルがスゴイ。

#統計その荒瀬康司 (2018) jstage.jst.go.jp/article/ningen… で引用されている丹後俊郎『統計学のセンス』(1998)が結構基本的な所で致命的に有害な解説をしていることについては以下のリンク先を参照。

一般にWelchのt検定の使用を当然視していない解説者達は基本的なことを理解していないことが多い。

黒木玄 Gen Kuroki@genkuroki

#統計

丹後俊郎『統計学のセンス』医学統計学シリーズ1、朝倉書店、1998年のpp.6-8でのMann-WhitneyのU検定(=Wilcoxonの順位和検定)の進め方が最悪。

不等分散の場合にWilcoxonの順位和検定を進めている。

この本では1940年代には出来上がっていたWelchのt検定を紹介していない。

#統計信頼区間の説明が怪しい。

⭕️θの値をθ₀に設定した統計モデルの確率分布に従って仮想的なデータの数値をランダムに生成したときにそれから計算されるパラメータθの95%信頼区間にθ₀が含まれる確率は(約)95%になる。

↑これが正しい理解。続く

荒瀬康司 (2018) jstage.jst.go.jp/article/ningen…

#統計しかし、

荒瀬康司 (2018) jstage.jst.go.jp/article/ningen…

の説明では、【標本[データ]から平均値を出したとき】というおかしな説明の仕方がされている。「標本から区間を計算したとき」なら少しマシになる。

何よりもまずいのは、統計モデルにも信頼区間が依存することに何も触れていないこと。

                            73
                        
#統計 通常のt分布を使って計算される母平均の95%信頼区間の場合には、統計モデルとして正規分布モデルを採用している。

母集団分布が正規分布でなくても、標本平均の分布が中心極限定理によって正規分布で十分に近似されていれば、2つ上の発言で述べた性質を母平均の信頼区間は持ちます。続く

                            74
                        
#統計 しかし、標本平均の分布が正規分布から大きく外れてしまっていると、母平均の信頼区間は信頼できないものになります。

統計モデルの妥当性は実践的な状況では常に疑いの対象になり、しかも

❌正規母集団でなければt検定は使えない

のような判断の仕方は典型的な誤解になる程度に非自明です。

                            75
                        
#統計 「統計モデル」の定義は「統計分析のための計算で仮定されている数学的仮定の全体」(近似の成立の仮定なども含める)だと思っておくと、統計学の実践について考えるときに便利です。

統計モデルについて理解せずに、信頼区間や仮説検定を使うことは禁忌とされるべきです。

                            76
                        
#統計 よくある伝統的な誤解に満ちた解説の特徴は、

* Welchのt検定を勧めていない。

* t検定達は正規分布でない母集団であっても多くの場合に使えることを説明しない。

* ノンパラメトリック検定であっても厳しい条件の成立抜きには使えない場合があることを説明しない。

#統計

荒瀬康司 (2018) jstage.jst.go.jp/article/ningen…

はもろにそういう特徴を持っているように見える。

Wilcoxonの符号付き順位検定やMann-WhitneyのU検定は、結構き厳しい条件が成立していないと使えない検定法です。

悪しき伝統のせいで多くの人達がそれらを使って杜撰な統計分析を発表している。

#統計

荒瀬康司 (2018) jstage.jst.go.jp/article/ningen… にある検定法選択の「伝統的マナー」は、伝統の権威に依存し切っているという意味で典型的に非科学的であり、内容的にも合理的ではない。

コクラン・ルールについては下の方のリンク先スレッドを参照。

黒木玄 Gen Kuroki@genkuroki

#統計分割表の独立性検定について、70年近く前のCochranさんの論文にあるルールをCochran's ruleと呼んで普及させる行為は、優秀で忙しい人達に不合理なルールを押し付ける行為になっているので、Cochran's ruleを広めて来た人達は自分の誤りをはっきりと認めるべき。続く

scholar.google.co.jp/scholar?cluste…

                            79
                        
#統計 個人単位で見たら、論理と証拠ではなく伝統や慣習に従うことによって論文の査読者に文句を付けられないように振る舞った方が楽で得なことがあるかもしれないが、そういう態度は非科学的であるがゆえに、社会的には負の貢献になってしまうことを自覚しておくべきだと思います。

#統計補足

1標本に関するWilcoxon's signed-rank testは母集団分布の左右対称性の条件(結構厳しい！)の成立が必要な検定法。

2標本に関するMann-Whitney U-testの帰無仮説は「2つの母集団分布は等しい」という無駄に強烈に強い(ゆえに無用に否定し易い)条件になっていることに注意が必要です。

黒木玄 Gen Kuroki@genkuroki

                            81
                        
#統計

❌正規母集団でなければt検定は使えない

とか

❌ノンパラメトリック検定であれば無条件でいつでも使える

という考え方はまるっきり間違っており、こららの言説を広めた人たちは誤りを認めることによって責任を取るべきです。

#統計この発言を含むスレッドで繰り返し説明したように、

❌正規母集団でなければt検定達はつかえない

とか

❌ノンパラメトリック検定であれば無条件で安全につかえる

という考え方は単純に間違っています。

脆弱なMann-WhitneyのU検定を安易に使っている人達は概ね信用できないと警戒するべき。

フラン【フランの卓ログ】@frantsta9

@PF5_Platform5 そういうご意見割と嬉しいです！

「体力的にスピードが落ちた」を正規分布でない根拠にする事には疑問が残りますが（現に最後あたりで最高速です）、ノンパラ検定にするのはありだと思いますというか無難です。よく分からない時はノンパラでかけますし。

→

#統計おそらく「ノンパラ」検定はMann-WhitneyのU検定=Wilcoxonの順位和検定を意味しているのでしょうが、MWのU検定は優劣を付けるべきでない場合であっても母分散や母歪度や母尖度などが異なることが原因で有意差が出やすくなったりするので要注意。

フラン【フランの卓ログ】@frantsta9

@PF5_Platform5 今回平均値の統計をする→正規分布に則ると仮定してウェルチt検定して、有意差あり→ノンパラでも有意差出るからウェルチ検定としてポストする

って思考回路ですねw正規性の証明はしていないので、wilcoxonが妥当かもしれません。また正規性確認してみますね。

#統計正規性検定もあてにならない場合がある。

標本サイズが大きいと、近似的に正規分布とみなして問題ない場合であっても、正規性の帰無仮説が棄却されがち。

正規性の帰無仮説が棄却されないことは、仮説検定のイロハより、正規分布だと判断して良いことを意味しない。判断保留が正しい。

フラン【フランの卓ログ】@frantsta9

@PF5_Platform5 shapiro-wilkをかけてみました！

表はp=0.337と正規分布であるが、
裏はp=0.049とぎりぎり正規分布ではない

Excelの図表では正規分布のってるな！と目算で判断してましたが、計算すると裏はなんとも微妙な結果ですねw

#統計順序尺度だとそもそも平均値自体が定義されないのでt検定を使えないことは自明でつまらない話でしかない。

❌順序尺度での2群の比較ではWilcoxonの順位和検定=Mann-WhitneyのU検定を常に使える

と誤解して、実際に順序尺度で安易にWMW検定を使っている人達が沢山いるという問題も深刻。

たぬき@9ponpokoyama

誤っているのはどれかの答えは「順序尺度の測定値にt検定を適用できる」となりますポン(*´ω｀*)
順序尺度は質的計算となるため、量的計算であるｔ検定は使用できませんポン🐾

難しめの問題でしたが皆様は正解できたでしょうかポン🦝
正解者の皆様おめでとうございましたポン㊗🎊

#統計等分散性検定をして等分散性の帰無仮説が棄却さないときに、「等分散性の帰無仮説は正しい」と判断することは、仮説検定の典型的な誤用。等分散性を検定で保証するのは無理。

その問題は、等分散性に依存するStudentのt検定を使うことをやめて、Welchのt検定を使えば解決。続く

ぴかーど@msk_ncc1701d

独立2群のt検定は2つの母集団が正規分布に従うこと、この2つが等分散であることを仮定するが、前者は中心極限定理から標本平均が正規分布に近似するけれど、後者は等分散検定をしない場合にどれくらい等しいと想像できるだろうか。無数にある観測値の中で等分散になりやすい・なりにくい違いはあるのか

#統計等分散性に依存する脆弱な検定法であるStudentのt検定との比較で、Welchのt検定を不当に貶す人がいるので要注意。

そういう不当な言説は無視して、母平均の差を扱いたればWelchのt検定を使えばよい。

R言語のt.test函数でもデフォルトでWelchのt検定を使うようになっている。

黒木玄 Gen Kuroki@genkuroki

#統計統計学入門書の中には、理解度の低さが原因でWelchのt検定を不当にdisる解説が結構よく見つかる。

理解度の低い解説者達が活躍しているという事実を宣伝する必要がある。

その典型例の1つが、

　永田靖『統計的方法のしくみ』(1996)のpp.187-188

の説明。これがかなりひどい。続く

#統計事例追加。こういう自分では見つけることができそうもない酷い事例の紹介はありがたいです。どうもありがとうございます。

* n=10,11と標本サイズが非常に小さい。

* Mann-WhitneyのU検定を不等分散の場合に安易に使うことは統計学の誤用になる。

井口豊@Iguchi_Y

t検定とU検定の使い分け。 Pena-Leon et al.2022 Prolonged breastfeeding protects・・. Nature Metabolism　t.ly/7_Ul8 Fig2 caption t.ly/ce30D 著名な雑誌でも，相変わらずだ。

関連

黒木玄 Gen Kuroki@genkuroki

@bot_tips #統計

jstage.jst.go.jp/article/kagaku…
統計検定を理解せずに使っている人のために II
池田郁男

の添付画像の部分は廃棄処分にするべき解説だと思います。

等分散性の検定をせずに、最初からWelch検定を使うべきです。

現代においてこの解説はちょっとありえないと思いました。

#統計このスレッド(長い！)で詳しく説明したように、池田郁男さんによる検定法の解説はお勧めできません。

これ色々酷い
↓
jstage.jst.go.jp/article/kagaku…

黒葉@kuro_siro_9

@Yudofu_Hobby と、等分散、不等分散はしょーじき私の学じゃ理解できんかった…()
同じ母集団なら等分散する、そうでなければ不等分散…つまり同じ母集団ではない標本である、としか…

jstage.jst.go.jp/article/kagaku…

#統計 logics-of-blue.com/t-test/ の添付画像の部分には誤りと正しい説明が混在しているので注意して下さい。

統計学の使い方の解説は大抵間違っているので注意が必要です。有名な教科書や大学の先生の解説は原則として「間違っているだろう」と思って読んで、自分で訂正する必要があります。

黒葉@kuro_siro_9

@Yudofu_Hobby logics-of-blue.com/t-test/

正直よく調べないと等分散、不等分散は理解できそうにないので代わりにこれを置いておきます

#統計

まず「有意確率」はミスリーディングな言い方なのでやめた方が良いです。「P値」という言い方が普及しています。

等分散検定でP値が有意水準(例えば5%)以上のとき等分散だと判断することは仮説検定の誤用になります。そういう判断の仕方は危ない。

この投稿を含むスレッド全体も見て下さい。

ゆどーふ@Yudofu_Hobby

@kuro_siro_9 僕もそこ全く分からなかったんですよね…
有意確率が一定以上で等分散、未満で不等分散
みたいのは見かけたんで計算自体はできそうなんですけど、理論的なところがさっぱりで。。。

#統計 P値の無難な解釈の仕方は

データの数値と
モデルとそのパラメータの値の設定の
相性の良さ(compatibility)の指標の1つ

です。詳しくはGreenlandさんの講演スライドを参照。

biostat.ucdavis.edu/sites/g/files/…

「有意」(significant)という言い方は廃した方がよい。

分岐スレッド

黒木玄 Gen Kuroki@genkuroki

@ohikaenasuttei #統計 P値の概念については、上で紹介したGreenlandさんの講演スライドと、最近出版されたしまりす本(リンク先スレッドで紹介)の第1話(試し読みで読める)と、その本の著者の佐藤俊哉さんの講義動画

ocw.kyoto-u.ac.jp/course/328/?vi…
仮説検定とP値の誤解
佐藤俊哉

がお勧めです。

#統計このスレッド内で引用した池田郁男さんの解説はかなり酷かったのだが、きちんと今までの考え方の誤りを訂正できているだろうか？

伝統的慣習的な方法を酷い誤り扱いできていないなら訂正は不十分だということになる。

検定法選択のフローチャートはまずい。

Kosaku Noba@yanami85

ちゃんと改定されていることを切に願います。
改定前のものは等分散検定をしてからスチューデントのt検定を行うかどうかを判断するというフローチャートが記載されていたので。

                            97
                        
#統計 世界的に普及してしまっている検定法選択のフローチャート(内容は杜撰で統計学の誤用の大きな原因の一つになっていると推測される)の問題は結構深刻だと思います。

立派な経歴を持つ影響力の強い先生によるフローチャート的解説はみんなで厳しくダメ出しして行く必要があると思います。

#統計ああ、それは酷い。

他の場合になりますが、フローチャートを描いていなくても実質的に同じことを言っている場合もあるし、Brunner-Munzel検定を選択肢に追加していても理解していないせいで全然ダメなものもある。

全然理解していないのに解説を書く人達が多い。理解の苦しみが感じられない。

Kosaku Noba@yanami85

これはいけない

#統計データの数値を見ながら使用する検定法を決めるという方針になっている時点で危ない。

正規性検定で正規性が棄却された時に、Mann-WhitneyのU検定のような無条件で使えない脆弱な検定法にわざわざ誘導するのも酷い。みんなMWのU検定を気楽に使っているよね。

Kosaku Noba@yanami85

実験屋向けに出版されている生物統計の本買ったんやが、正規性の検定→F検定→t検定のスキームが書かれていておぅ...となった。

                            100
                        
#統計 科学的な正しさは権威でも多数決でも決まりません。

みんなMann-WhitneyのU検定を気軽に使っていても、有力な学術誌でそういう行為が受け入れられていても、それで正しいと判断するのは誤り。

科学的であるためには、権威と多数決に頼らない覚悟が必要。

                            101
                        
#統計 多数決にも権威にも頼らないことにしようとしたとき怖くなるのは、自分自身も間違いを犯す人間であることです。

自分自身は正しく理解できているかどうか不安になる。

統計学については、そういう理解の苦しみや怖さが全然感じられない安易なハウツー解説があまりにも多い。

102

#統計池田郁男先生が数年前に書いた統計学の使い方の解説には沢山の酷い誤りを含んでいました(このスレッド全体を参照)。

近刊の「決定版」では酷い誤りは訂正されているのでしょうか？

もしも訂正されていないなら、統計学の誤用を勧める本を出版してしまうことになるので要確認だと思いました。

羊土社実験医学@Yodosha_EM

7/19発行予定の近刊が2冊同時にwebページ公開です！
『実験で使うとこだけ生物統計１　キホンのキ　決定版』
yodosha.co.jp/jikkenigaku/bo…
『実験で使うとこだけ生物統計２　キホンのホン　決定版』
yodosha.co.jp/jikkenigaku/bo…

103

#統計「基礎部分強化」は池田郁男先生による沢山の酷い誤解の訂正を含んでいるのでしょうか？

もしも池田郁男先生が過去の誤りを認めて全部訂正しているなら素晴らしいことだと思います。

訂正していないならその逆になる。

羊土社教科書編集部@Yodosha_text

@kaibo_chan 基礎部分強化のため、ガッツリ手を入れました！✨

104

#統計刊行後にみんなにチェックされると予想されるのは、

正規性検定
↓正規性は棄却されない
等分散性検定
↓等分散性は棄却されない
Studentのt検定を使う

という伝統的な悪習をきちんと否定しているかどうかです。

否定せずにそのままの場合は統計学の誤用を勧める本扱いされることになります。

羊土社実験医学@Yodosha_EM

105

#統計他にも、Mann-WhitneyのU検定やBrunner-Munzel検定のようなノンパラメトリック検定は「平均値ではなく中央値で考える」という有名な誤りが書いてある場合にも、統計学について間違った考え方を広める本扱いされる可能性があります。

以上の2つのチェック項目はわかり易いと思います。

羊土社実験医学@Yodosha_EM

                            106
                        
#統計 池田郁男先生は、池田先生による「統計検定を理解せずに使っている人のために」シリーズの解説の評判が非常に悪いということをご存じなのだろうか？

統計検定を理解せずに使っている人が「統計検定を理解せずに使っている人のために」というタイトルの解説を書いていると言われている。

                            107
                        
#統計 個人的な意見では、

統計学のような複雑な道具の解説で失敗せずに済ますことは不可能

なので、解説に挑発的なタイトルをつけたりせずに、

誤りや不適切な部分について正しく指摘されたら訂正することを最初から予定に組み込んでおく

と良いように思えます。

108

#統計池田郁男先生は2019年の時点では、Welchのt検定の自由度は四捨五入して使うと誤解していました。四捨五入しても害はほとんどないのですが、誤解は誤解なので要チェックだと思います。

羊土社実験医学@Yodosha_EM

109

#統計池田郁男先生は2019年の時点では「ノンパラメトリック検定は応用範囲が広い」とも誤解していました。

ノンパラメトリック検定も無条件では使用できず、非現実的な仮定を用いる場合があるので、ほとんどの場合に使用するべきではない検定になる場合もあります(例: Mann-WhitneyのU検定)。続く

羊土社実験医学@Yodosha_EM

110

#統計続き。通常パラメトリック検定に分類されるWelchのt検定は、現実の母集団分布が正規分布からかけ離れていても、標本平均の分布が中心極限定理によって正規分布で近似されていると期待できるなら十分に使用可能になります。つまり、Welchのt検定は結構広く使える。

羊土社実験医学@Yodosha_EM

111

#統計池田郁男先生は2019年の時点で、あたかも等分散性がMann-WhitneyのU検定の使用可能に関する十分条件であるかのようにも受け取れる説明を書いていました。

MWのU検定は等分散であっても使えない場合があるので、そういうミスリーディングな説明も要注意です。

羊土社実験医学@Yodosha_EM

112

#統計以上のように池田郁男先生がよく使われる2群の比較のための検定法について基本的な事柄をどのように理解していないかについては、非常に具体的に分かっています。

その誤解が訂正されていれば素晴らしいですが、本当に大丈夫かなと心配になったのでコメントを沢山書きました。質問は大歓迎。

羊土社実験医学@Yodosha_EM

113

#統計池田郁男著『実験で使うとこだけ生物統計２　キホンのホン　決定版』関連情報。

フローチャート統計学を教えることは社会への負の貢献になるので、負の貢献だときちんと評価されるべき。

負の貢献をしていると評価されずに済んでいるから、何度でも負の貢献をノーリスクで繰り返す。

Kosaku Noba@yanami85

バイオ系の実験屋さんに向けて書かれた、生物統計学の「決定版」が出版され、購入しました。多くの加筆修正を行なったとの事でしたが、残念なことに統計処理のフローチャートは前回と変わらず記載されていました。この作法ええ加減に無くならんか？

114

#統計「フローチャート統計」という言い方は以下の投稿から拝借。これからもありがたく使わせてもらうことにします。

フローチャート統計学を何十年間も教えて来た人達が結構いて、そういう人達は自分がやらかしたことがとてつもなくまずいことだと気付いていても息をひそめて黙っているのだと思う。

Katsushi Kagaya@katzkagaya

どの本かは分かりませんが、このフローチャート統計の呪いを解ける気がしない…

                            115
                        
#統計 補足

フローチャート統計学を何十年間も教えて来た人達が結構いて、そういう先生と一緒に仕事をしたことがある相対的に若い世代の人達は、その先生がまずいことをしていたことに気付いていても、そのことを指摘して次世代におかしな考え方が伝わることを防ごうとしたりしない感じ。

                            116
                        
#統計 補足に補足

悪しきフローチャート統計学の信者(現時点ではおそらく多数派)に論文を査読されてしまうと、余計な正規性検定やら等分散検定を要求されたり、脆弱で危険なMann-WhitneyのU検定を勧められたりするかもしれない。

フローチャート統計学はまともな科学研究を阻害している。

                            117
                        
#統計 さらに補足

そういう査読に過剰適応した人達は「正規分布だとわからないのだから、 ノンパラメトリックのMann-WhitneyのU検定を主に使うべきだ」のようになってしまい、脆弱で危険なMann-WhitneyのU検定を平気で使うようになる。

そういう人達は過去に遡ってダメな研究者リストに入れるべき。

                            118
                        
#統計 そのようにしてフローチャート統計学の信者になった人は、自分が査読するときにもフローチャート統計学を押し付けるようになり、後輩にもフローチャート統計学に従うことを勧めるようになる。

フローチャート統計学の維持には相当に強い正のフィードバックがかかっている。

119

#統計悪しきフローチャート統計学を勧める解説を書いている人達に悪いことをしている自覚がないことは以下のリンク先スレッドで紹介した事例達(氷山の一角にすぎない)を見れば分かる。

おそらく出版社の側も有害な解説を訂正せずに繰り返し売り続けて金銭を得ていることを自覚していない。

黒木玄 Gen Kuroki@genkuroki

#統計悪しきフローチャート統計学の例

例1

120

#統計同意見

Kosaku Noba@yanami85

121

#統計同意見

画像で引用されているフローチャートの内容が酷い。

Kosaku Noba@yanami85

122

#統計

悪しきフローチャート統計学の事例のリスト(氷山の一角)
↓

黒木玄 Gen Kuroki@genkuroki

#統計悪しきフローチャート統計学の例

例1

123

#統計池田郁男著『実験で使うとこだけ生物統計２　キホンのホン　決定版』はこの部分も酷いです。

Wilcoxon-Mann-Whitney検定の頑健性はたとえ等分散であっても保証されません。

等分散ならWMW検定を安心して使って良いと考えるのは誤解。

この誤解もよく見ます。指摘しても誰も訂正しない。

Kosaku Noba@yanami85

あーもうめちゃくちゃだよ。等分散の仮定なんて実験上ではまず設定できないし、BM testはサンプルサイズが小さいと中心極限定理の仮定が効かなくなるから使えないはず。

124

#統計 Brunner-Munzel検定は、私が試してみたシミュレーションの範囲では標本サイズがm=n=10の場合には頑健性が保たれており十分使えるように見えました。m=n=10の小標本で使っていても私なら文句を言いません。

それよりも標本サイズが小さい場合には、permutation版のBM検定の方が頑健。続く

Kosaku Noba@yanami85

                            125
                        
#統計 実際にはサイズが10未満のような場合には、検出力が大きく下がっているので、何かを犠牲にせざるを得ないし、多くの検定法の制度も下がり、事前に決めておいた有意水準での単純な二分法自体をやめた方が良い場合が多いと思います。

単純二分法をやめることにすれば選択肢は増える。続く

                            126
                        
#統計 何かを犠牲にせざるを得ない場合には、何をどのような理由で犠牲にするかはケースバイケースでしか決められないと思います。

しかし、いずれにせよ、統計学ユーザーは自分が使っている道具の性質をコンピュータシミュレーションなどで確認しておくことが無難。続く

127

#統計コードが整理されてなくて非常に申し訳ないのですが(今なら全部書き直す)、以下のリンク先にWelchのt検定とBrunner-Munzel検定とpermutation版BM検定のαエラー率の安定性の比較があります。

添付画像の場合には標本サイズm=n=10でもBM検定のαエラー率に問題がない。

nbviewer.org/github/genkuro…

128

#統計上の続き。#Julia言語のコードが

nbviewer.org/github/genkuro…

にあります(全部書き直したい)。

添付画像解説

①標本サイズm=n=5ではpermuration版Brunner-Munzel検定がBM検定に勝る。

②(m,n)=(10,5),(5,10)ではpermutation版BM検定がBM検定より良いとは言えないように見える。

                            129
                        
#統計 上の標本サイズm=n=5の例ではpermutation版BMの方がBrunner-Munzelよりbetterに見えますが、m=n=5では有意水準5%の二分法で科学的に信頼できることは言えそうもないので二分法自体をやめるべきで、解釈のし易さなどから誤差が大きいことを承知でBM検定を使うのはありだと思います。続く

                            130
                        
#統計 もちろんそういう判断は一般論だけでは無理なので、論文を書く人の責任で判断するべきことだと思います。

いずれにせよ「有意差の有無」という発想自体が科学的に有害であることを、統計学ユーザーは肝に銘じるべき。その辺りのことはGreenlandさん達が詳しく解説しています。

                            131
                        
#統計 「どのように違いを測るか」によって検出された違いの意味が全然違うものになる可能性があります。

だから、データの数値を見てから、自分にとって都合に良い違いの測り方を選択するという不正行為をしないように注意する必要があります。続く

                            132
                        
#統計 データの数値を見てから、Welchのt検定とBrunner-Munzel検定のどちらを使うかを選ぶことを安易に許すと、それらの違いの測り方は違うので、自分にとって都合に良い違いの測り方をデータの数値を見ながら選択することも許す危険性を増やします。

これは非常にまずいです。

                            133
                        
#統計 母平均の差が違いを測るか適切な指標だと判断できる場合にはたとえ誤差が大きくなる場合であってもWelchのt検定の側を使わざるを得ないと思います。

違いに指標として(Y側の母勝率)P(X<Y)+P(X=Y)/2が適切ならBrunner-Munzel検定の側を使うべきです。

134

#統計 Brunner-Munzel検定については、Wilcoxon-Mann-Whitney検定のように、

2つの母集団が互角になるようなシフトの値

を違いを測る指標として採用することもできます。

添付画像は互角シフトの信頼区間と母平均の差の信頼区間の同時プロットの例です。前者が狭くなる！

nbviewer.org/github/genkuro…

                            135
                        
#統計 Brunner-Munzel検定の方法で互角シフトを違いを測る指標として採用することは個人的に結構良い方法だと思うのですが、Wilcoxon-Mann-Whitney検定については多くの統計ソフトで普通に実装されているのですが、BM検定については現時点ではそうなっておらず、残念なことだと思います。

                            136
                        
#統計 Brunner-Munzel検定の帰無仮説はパラメータ

p=P(X<Y)+P(X=Y)/2

に関するp=1/2なのですが、さらにパラメータsを

p=P(X<Y+s)+P(X=Y+s)/2

のように入れて仮説p=1/2を設定したときのパラメータsの値が上で私が「互角シフト」と呼んだものになります。XとY+sが互角になるシフトsの値。

                            137
                        
#統計 このようにBrunner-Munzel検定の場合に限っても、違いを測るための指標として、

* p=P(X<Y)+P(X=Y)/2と1/2の差

を採用することもできるし、

* P(X<Y+s)+P(X=Y+s)/2=1/2となるsの値

を採用することができます。

どのような違いを測るかを研究者は適切に決める必要があります。

                            138
                        
#統計 どのような違いを測るかによって検出された違いの意味が変わることを無視して、単に「有意差を出せばよい」のように考え、パラメトリック検定が使えないなら ノンパラメトリック検定を使えば良いとすることは科学的に論外であるとみなされるべきだと思います。

139

#統計互角シフトについて補足

青線: 互角シフトの95%信頼区間
橙線: 母平均の差の95%信頼区間

添付画像①②: 正規母集団の場合
③: 対数正規分布母集団の場合

③の場合には母平均の差の信頼区間よりも互角シフトの信頼区間が概ね狭くなっています。続く

nbviewer.org/github/genkuro…

                            140
                        
#統計 1つ上の投稿の内容を理解できれば、母平均の差が違いの指標として不適切になるリスクが高い場合には、Brunner-Munzel検定の方法で互角シフトを違いを測る指標として採用することが十分に有力な選択肢になりそうなことが分かります。

統計ソフトの開発者達はこれを実装するべきだと思います。

141

#統計 Mann-WhitneyのU検定の脆弱性

Mann-WhitneyのU検定では、2つの対称な母集団分布の母中央値、母平均、母分散、母歪度、母尖度がすべて等しいのに、αエラー率が名目有意水準よりもかなり大きくなる場合があります。

そのことは

nbviewer.org/github/genkuro…

のシミュレーションを見れば分かる。

                            142
                        
#統計 Mann-WhitneyのU検定のハズレっぷりは、Studentのt検定の不等母分散の場合のハズレっぷりよりも小さくなるのですが、Welchのt検定と比較すると脆弱になる場合が非常に多く、Brunner-Munzel検定と比較すると月とスッポン。個人的な意見では使わない方が良いとはっきり教えた方が良いと思います。

                            143
                        
#統計 Mann-WhitneyのU検定は過去に(および現在も)沢山のユーザーが存在するので、「脆弱で危険な検定法である」と言い切ると過去及び現在の沢山の人達のメンツを潰すことになるので怖いのですが、科学的にはメンツ云々はすべて無視されるべきだと思います(当たり前)。

                            144
                        
#統計 仮に

「違いの指標として○○が適切なので、以前のt年の時点で普及していた検定法Aを誤差が大きくなることを承知で使った」

というなら、

「u年現在では違いの指標○○に関するより優れた検定法Bが普及しているので、現在ならBを使っていただろう」

ということなら十分合理的。続く

                            145
                        
#統計 現実には

「文句を言われずに有意差を出せれば十分なので、パラメトリック検定ではなく、 ノンパラメトリックな検定法Aを使った」

となっているので、統計学の誤用を認めざるを得なくなっており、ばれるとメンツが潰れることは必至。

おそらく、そのせいで誤りを認め難くなっている。

                            146
                        
#統計  ノンパラメトリックの場合も含めて統計分析では必ずモデル(数学的フィクション)を利用し、モデルが現実においても妥当であることの十分な根拠は多くの場合に得られない。

そういう場合の統計ソフトが出力する結果は、

モデルという名の物差しでデータの数値を測った結果

に過ぎません。続く

                            147
                        
#統計 統計ソフトの出力を

モデルを使ったデータの数値の計測結果のまとめ

とみなしたとき、モデルの妥当でなさは、計測結果の誤差の大きさや信頼度の低下を意味することになります。

そのことをわきまえていれば、そういう結果であっても科学的に有用な場合は多いと思います。続く

                            148
                        
#統計

モデルにパラメータの点推定値

は

モデルのパラメータの値でデータの数値と最も相性が良いもの

に過ぎず、モデルの外側にある現実における(何らかの適切な意味での)真の値と直接的に関係があるわけではない。続く

                            149
                        
#統計

モデルのパラメータの値に関する仮説のP値

は

モデルのパラメータの値に関する仮説とデータの数値の相性の良さの程度を表す指標の1つ

に過ぎません。このことはASA声明の原則1に書いてあるとみなせるのですが、適切に引用している人を見たことがない。続く

                            150
                        
#統計 

モデルのパラメータの値に関する仮説とデータの数値の相性の良さの程度を表す指標

には

P値

の他に

尤度

や

ベイズ統計での事後分布の密度関数の値

もあります。ベイズの場合にはモデルに事前分布を含めて考えます。続く

                            151
                        
#統計 信頼区間やベイズ的な信用区間は、

閾値を使って相性の良し悪しを二分法的に決めてしまうときに、データの数値と相性が良いとみなされるモデルのパラメータの値の範囲

だと解釈されます。続く

                            152
                        
#統計 以上の説明における「相性の良さ」はGreenlandさん達の意味でのcompatibilityの翻訳語のつもりです。

「矛盾の無さ」とほぼ同じ意味なのですが、そのように訳すとconsistencyと紛らわしいし、矛盾という言葉は強過ぎるので避けている。

                            153
                        
#統計 統計ソフトのアウトプットから

　科学的にお墨付きが得られる

と誤解している人達は「有意差の有無」という発想にこだわりたいでしょうが、普通の特別に難しくもないレベルの科学的常識で考えれば、「有意差の有無」という発想自体が馬鹿げていることは明らかだと思います。続く

                            154
                        
#統計 データの取得法の詳細とモデルの内容の両方を詳しく説明して、そのモデルを使うと得られたデータの数値はどのように見えるかを報告して、それの科学的価値の高さがどこにあるかを説明してくれれば十分なのに、色々おかしなことになっている。

                            155
                        
#統計 「フローチャートに従って有意差が出ればお墨付きが得られたとみなされる」という悪しきフローチャート統計学はきちんと全否定され、フローチャート統計学を教える行為自体が科学の世界では倫理的に悪いことだと評価されるようになるべきだと思います。

#統計 jstage.jst.go.jp/article/kagaku… 改訂増補版：統計検定を理解せずに使っている人のためにII...

Actions

What You Can Do

Actions

What You Can Do

More in Science & Research

More from @genkuroki