@genkuroki: #統計 フローチャート統計学の教育事例(教科書事例を含む)を...

#統計 フローチャート統計学の教育事例(教科書事例を含む)をしばらく前から収集しています。スレッドの次の投稿で事例集スレッドにリンクを貼ります。

結論: フローチャート統計学は有害！

ただし、その内容自体が間違っているので、初学者にフローチャート統計学を教えることは極めて有害です。続く

View Tweet

#統計 初学者にとっても極めて有害なフローチャート統計学の教育実践及び教科書記述の事例集をまとめたスレッドへのリンク

続く

View Tweet

#統計 フローチャート統計学の典型例は添付画像のようなものです。これが本当に酷い。

まず「正規性の検定」で「t検定」と「ノンパラメトリック検定」を使い分けようとしている所からおかしい。

さらに「等分散の検定」で「Studentのt検定」と「Welchのt検定」を使い分けるのも誤りです。

続く

View Tweet

#統計 まず、統計学の基礎をよく理解していない人達は「正規分布でないとt検定を使えない」とよく信じているのですが、それは誤りです。続く

#統計 中心極限定理のお陰で、t検定達は正規性からの逸脱について結構頑健。

ただし、左右非対称性が大きく、外れ値が出易い場合には弱い。

しかし、そういう場合は平均値は代表値として不適切である可能性が高いという理由で、母平均の差に関するt検定達は良い方法にはならない可能性が高い。続く

#統計 不等サンプルサイズの場合のStudentのt検定は等母分散の仮定からの逸脱に脆弱です。

等母分散性検定を使ってStudentとWelchを使い分けると、検出力の弱さの分だけ、不等母分散のよろしくない場合にStudentのt検定を使用することになってしまいます。続く

#統計 データの値を見る前から何か特別な理由があって等母分散だと分かっている場合以外には、不等サンプルサイズのStudentのt検定は不適切な方法とみなして使わずに、Welchのt検定を使うべきです。

等母分散の場合にもWelchで全然問題ない。続く

#統計 そもそも、初学者に、データの値を見ながら、統計分析の方法を選択する行為を安易に教えること自体が危険行為です。

あらゆる選択肢の分岐全体における確率と、選んだ方法限定での確率の評価は全く異なります。そういうややこしい話を初学者は理解できないでしょう。続く

#統計 統計学における「分岐する小道の庭 (Garden of Forking Paths)」の概念は、統計学を教える立場や論文を読んだり仕事で使ったりする立場では重要。

View Tweet

#統計 フローチャート統計学は、脆弱で危険な検定法であるWilcoxonの順位和検定(=Mann-WhitneyのU検定)を勧める傾向が強い。

頑健な代替法のBrunner-Munzel検定について知っていても、等分散ならMann-WhitneyのU検定を安全に使えると誤解していたりする。

#統計 そもそも、初学者に「有意差を出す」という発想で作られた手続きを教え込むこと自体が酷い時代錯誤です。

ASA声明2016やNature 2019に出た統計的有意性の廃止の提案論文の内容を教える側が一切考慮してなかったり、読んだ気配があっても内容を全然理解していなかったりする。

#統計 帰無仮説有意性検定(NHST)の考え方は極めて有害。

「差がない」のようなゼロ仮説単独のP値が5%未満か否かで「有意差あり/なし」と結論するのがNHSTです。

常識的な科学的素養があれば、こういうやり方を初学者に教え込むことは明らかに非常にまずい。続く

#統計 フローチャート統計学は結論が「有意差あり/なし」の形になる帰無仮説有意性検定を教え込むために設計されている。

そのせいで、異なる意味での差の有無を全部ごっちゃにして「有意差あり/なし」にまとめる杜撰さのおまけ付き。

母平均の差(t検定)とP(X<Y)+P(X=Y)/2と1/2の差(BM検定)は違う。

#統計 これから統計学をどう教えるべきかについては、超大家のSander Greenlandさんの講演スライド2022が非常に分かり易いです。

これと初学者を害するフローチャート統計学の教育事例を比較すると愕然としてしまいます。

これ、特に高等教育の大問題だと思います。

View Tweet

#統計 フローチャート統計学に忠実に従うと

①間違った検定法が選択されがちになる。
②「差」の意味の違いに無頓着になる。
③結論が「有意差あり/なし」の二分法に単純化され、不確実性ロンダリングの原因になる。

①だけですでにアウト。他にも科学的にダメになってもらうための要素が満載！

#統計 生成AIも、初学者にとって特に有害なフローチャート統計学を学習してしまっているっぽい。

View Tweet

#統計 フローチャート統計学が特に初学者にとって有害な理由は以上で説明したこと以外もある。

添付画像は見つけたらフローチャートの中で最もシンプルだとみなせるものだが、初学者に無駄に複雑な手続きを課しているという点でも迷惑なものになっている。

無駄に複雑であることの解説に続く

View Tweet

#統計 無駄に複雑な点①

母平均の差を扱いたいなら、余計なことを考えずにWelchのt検定とそれに付随する母平均の差の信頼区間を使えば良い。

たったそれだけのことなのにフローチャートは無駄で有害な手続きを要求している。特に脆弱なMann-WhitneyのU検定は危険なので初学者に勧めてはいけない。

#統計 無駄に複雑な点②

2×2の分割表での独立性について、小さな値のセルがあったら(もしくはサンプルサイズ小さいならば)、Pearsonのχ²検定を使ってはいけないという悪しき慣習を初学者に押し付けて、手続きを煩雑にしている点も酷い。続く

#統計 Fisher検定との比較で、連続性補正なしのPearsonのχ²検定のαエラー率は、期待値が小さなセルがあってもαをよちよく近似していることを、コンピュータシミュレーションで容易に確認できます。

Fisher検定は小サンプルではP値が無駄に大きくなる傾向が強く、検出力が犠牲になります。続く

#統計 期待値が小さなセルがあったり、小サンプルであることを理由に、Pearsonのχ²検定の使用を禁止して、Fisher検定を使わなければいけないと、他人に教えて来た人達は、自分が間違っていたことをおおっぴらに認めて反省するべきです。続く

#統計 連続性補正されたPearsonのχ²検定は非常に保守的な片側確率の2倍でP値を定義するバージョンのFisher検定の良い近似に過ぎないので、片側確率の2倍版Fisher検定を使用できるならば、使う必要はありません。

シンプルに「Pearsonのχ²検定では連続性補正をしない」と覚えておけば十分です。続く

#統計 数値実験すれば、連続性補正なしのシンプルなPearsonのχ²検定は、αエラー率がαに近くなり易いという意味では、Fisher検定よりも正確であることが分かります。

だから、初学者を誤解させないためには、Fisher検定をFisherの正確検定と呼ばない方が良いと思います。続く

#統計 P値が大きくなり易いFisher検定は「αエラー率が確実にα以下になる」という数学的性質を持っています。自分の目的のためにこの条件が重要ならばFisher検定を使うべきです。

そうでないなら、連続性補正なしのPearsonのχ²検定を相当に自由に使っても良いと思います。

続く

#統計 「期待値が4以下のセルがあるのにPearsonのχ²検定を使っているので統計学を誤用している」のような内容的にデタラメな警察行為は、初学者に合理性の欠けた萎縮を強いています。

これは極めて有害だと思われます。続く

#統計 シンプルに「Fisher検定も連続性補正なしのPearsonのχ²検定もどちらも概ね自由に使って良いですよ」で良いと思います。

Fisher検定も連続性補正なしのPearsonのχ²検定は互いに異なる利点と欠点を持っていることを理解すれば、さらに良い使い方をできるようになります。

#統計 まとめ

* フローチャート統計学は、間違った方法を選択させるだけではなく、無駄に複雑に従うことを強いており、初学者を不合理に萎縮させている点においても有害である。

伝統的なフローチャート統計学は入門的な解説では特に有害なので、きちんと全否定して行った方が良い。

#統計 重要な補足

Fisher検定も(補正なしの)Pearsonのχ²検定も「有意差あり/なし」の型を結論とする帰無仮説有意性検定として使うことは有害なので、初学者にも有害だとはっきり教えるべきです。続く

#統計 重要な補足続き

Fisher検定や(補正なしの)Pearsonのχ²検定は、それらと整合的な以下の信頼区間のどれかと一緒に使うべきです。

* リスク差の信頼区間
* リスク比の信頼区間
* オッズ比の信頼区間

整合性は大事。

可能ならばP値関数のグラフも報告した方がよい。