#統計 フローチャート統計学の教育事例(教科書事例を含む)をしばらく前から収集しています。スレッドの次の投稿で事例集スレッドにリンクを貼ります。

結論: フローチャート統計学は有害！

ただし、その内容自体が間違っているので、初学者にフローチャート統計学を教えることは極めて有害です。続く

View Tweet

#統計 初学者にとっても極めて有害なフローチャート統計学の教育実践及び教科書記述の事例集をまとめたスレッドへのリンク

続く

View Tweet

#統計 フローチャート統計学の典型例は添付画像のようなものです。これが本当に酷い。

まず「正規性の検定」で「t検定」と「ノンパラメトリック検定」を使い分けようとしている所からおかしい。

さらに「等分散の検定」で「Studentのt検定」と「Welchのt検定」を使い分けるのも誤りです。

続く

View Tweet

#統計 まず、統計学の基礎をよく理解していない人達は「正規分布でないとt検定を使えない」とよく信じているのですが、それは誤りです。続く

#統計 中心極限定理のお陰で、t検定達は正規性からの逸脱について結構頑健。

ただし、左右非対称性が大きく、外れ値が出易い場合には弱い。

しかし、そういう場合は平均値は代表値として不適切である可能性が高いという理由で、母平均の差に関するt検定達は良い方法にはならない可能性が高い。続く

#統計 不等サンプルサイズの場合のStudentのt検定は等母分散の仮定からの逸脱に脆弱です。

等母分散性検定を使ってStudentとWelchを使い分けると、検出力の弱さの分だけ、不等母分散のよろしくない場合にStudentのt検定を使用することになってしまいます。続く

#統計 データの値を見る前から何か特別な理由があって等母分散だと分かっている場合以外には、不等サンプルサイズのStudentのt検定は不適切な方法とみなして使わずに、Welchのt検定を使うべきです。

等母分散の場合にもWelchで全然問題ない。続く

#統計 そもそも、初学者に、データの値を見ながら、統計分析の方法を選択する行為を安易に教えること自体が危険行為です。

あらゆる選択肢の分岐全体における確率と、選んだ方法限定での確率の評価は全く異なります。そういうややこしい話を初学者は理解できないでしょう。続く

#統計 統計学における「分岐する小道の庭 (Garden of Forking Paths)」の概念は、統計学を教える立場や論文を読んだり仕事で使ったりする立場では重要。

View Tweet

#統計 フローチャート統計学は、脆弱で危険な検定法であるWilcoxonの順位和検定(=Mann-WhitneyのU検定)を勧める傾向が強い。

頑健な代替法のBrunner-Munzel検定について知っていても、等分散ならMann-WhitneyのU検定を安全に使えると誤解していたりする。

#統計 そもそも、初学者に「有意差を出す」という発想で作られた手続きを教え込むこと自体が酷い時代錯誤です。

ASA声明2016やNature 2019に出た統計的有意性の廃止の提案論文の内容を教える側が一切考慮してなかったり、読んだ気配があっても内容を全然理解していなかったりする。

#統計 帰無仮説有意性検定(NHST)の考え方は極めて有害。

「差がない」のようなゼロ仮説単独のP値が5%未満か否かで「有意差あり/なし」と結論するのがNHSTです。

常識的な科学的素養があれば、こういうやり方を初学者に教え込むことは明らかに非常にまずい。続く

#統計 フローチャート統計学は結論が「有意差あり/なし」の形になる帰無仮説有意性検定を教え込むために設計されている。

そのせいで、異なる意味での差の有無を全部ごっちゃにして「有意差あり/なし」にまとめる杜撰さのおまけ付き。

母平均の差(t検定)とP(X<Y)+P(X=Y)/2と1/2の差(BM検定)は違う。

#統計 これから統計学をどう教えるべきかについては、超大家のSander Greenlandさんの講演スライド2022が非常に分かり易いです。

これと初学者を害するフローチャート統計学の教育事例を比較すると愕然としてしまいます。

これ、特に高等教育の大問題だと思います。

View Tweet

#統計 フローチャート統計学に忠実に従うと

①間違った検定法が選択されがちになる。
②「差」の意味の違いに無頓着になる。
③結論が「有意差あり/なし」の二分法に単純化され、不確実性ロンダリングの原因になる。

①だけですでにアウト。他にも科学的にダメになってもらうための要素が満載！

#統計 生成AIも、初学者にとって特に有害なフローチャート統計学を学習してしまっているっぽい。

View Tweet

#統計 フローチャート統計学が特に初学者にとって有害な理由は以上で説明したこと以外もある。

添付画像は見つけたらフローチャートの中で最もシンプルだとみなせるものだが、初学者に無駄に複雑な手続きを課しているという点でも迷惑なものになっている。

無駄に複雑であることの解説に続く

View Tweet

#統計 無駄に複雑な点①

母平均の差を扱いたいなら、余計なことを考えずにWelchのt検定とそれに付随する母平均の差の信頼区間を使えば良い。

たったそれだけのことなのにフローチャートは無駄で有害な手続きを要求している。特に脆弱なMann-WhitneyのU検定は危険なので初学者に勧めてはいけない。

#統計 無駄に複雑な点②

2×2の分割表での独立性について、小さな値のセルがあったら(もしくはサンプルサイズ小さいならば)、Pearsonのχ²検定を使ってはいけないという悪しき慣習を初学者に押し付けて、手続きを煩雑にしている点も酷い。続く