「チャート式」的なものを大学生になったり、大学を卒業した後になってもありがたがる人達が多いこと自体に私は問題があると思っています。...

40 views May 14, 2026 ~1 min read

「チャート式」的なものを大学生になったり、大学を卒業した後になってもありがたがる人達が多いこと自体に私は問題があると思っています。

「きちんと理解するための勉強をする気がない」のような態度にどうしても見えてしまいます。

統計学についてそれをやられちゃうと社会的な害は大きいと思う。
x.com/genkuroki/stat…

                            2
                        
「チャート式」的なものを大学生になったり、大学を卒業した後になってもありがたがる人達が多いことは、我々の社会が適切な高等教育に失敗していることを意味しています。

大学を卒業しているのに、「チャート式」的なものをありがたがっている人達は、その不幸な被害者達だと思います。

                            3
                        
ただし、そういう失敗を大学のせいだけにするのはまずくて、小学校でのおかしな教育の仕方まで戻って教育を改善しなければどうにもならない問題だと思います。

大学を卒業しているのに、数学的な事柄について受験数学の参考書的なものを求めることは恥ずかしいことだとみんなで言うことも必要。

                            4
                        
大学で検定法選択のフローチャート(←ある種の伝統になっており、その内容は杜撰)を教わって、その後大学の先生になって、学生に検定法選択のフローチャートを教えているような人達の問題も頭が痛く、解決の目処はまったくない。

これは日本だけの問題ではない。

#統計統計学の入門書の内容を確認するときには、アメリカ統計学会による『統計的有意性とP値に関するASA声明』(2016) biometrics.gr.jp/news/all/ASA.p… と整合的な内容になっているかを確認すると良いです。

P値や信頼区間が統計モデル依存であるという当たり前の話を強調していなければアウトです。

#統計そのASA声明の内容については、佐藤俊哉さんの講義動画が分かり易いです。

その講義の画期的なところは教科書が基本的なところでもろに間違っていることを繰り返し強調していることです。

基本的な内容がもろに間違っている教科書を再生産するのはちょっとまずいと思います。

                            7
                        
#統計 Greenlandさんに代表される大物達によるP値の使い方に関する議論で明瞭に危険行為だとされていることは、「P値について5%のような閾値を設けて安易にニ値的な判断をすること」であり、P値の積極的利用は否定されていません。続く

                            8
                        
#統計 例えば、95%信頼区間は「P値が5%以上になるパラメータ値全体の集合」なので、P値に関する5%の閾値を設ける行為の延長線上にあるので要注意です。

しかし、各パラメータ値のP値を全て集めてできるP値関数を見ること自体には閾値は必要ない。続く

                            9
                        
#統計 信頼区間もP値を使う方法の特別な場合とみなされるので、信頼区間を使うことを良いことだと思っている人は、必然的にP値を使うことも良いことだと言っていることになります。

P値の仕様を否定して信頼区間を使うべきだと考えることは論理的にシンプルに間違っています。

                            10
                        
#統計 危険視されているのは、例えば、治療や政策の効果を表すパラメータθについて、効果無しを意味する帰無仮説θ=0のP値のみを使ってかつ5%の閾値で安易なニ値的な判断をすることです。

パラメータθのすべての値にP値を対応させるP値関数の使用(=無数のP値を使うこと)は危険視されていない。続く

                            11
                        
#統計 脱線。

【パラメータθのすべての値にP値を対応させるP値関数の使用(=無数のP値を使うこと)】のように書くと、基本的な事柄について理解度の低い人達が、自分自身の理解度の低さを自覚せずに「多重検定の問題」と関係があるかのようなコメントをして来る場合がある。

理解度が低過ぎる。

                            12
                        
#統計 その手の「理解度の低さ」は勉強不足で生じているのではなくて、論理的にシンプルな理解を目指さずに、

❌昔から言われていることを受け入れる

というスタイルで勉強してしまったせいで生じています。複数のP値が出て来た途端にパターンマッチ的に「多重検定」と反応するようになる。

                            13
                        
#統計 データの数値とパラメータθの値の設定(例えば帰無仮説)からP値が計算されるのですが、そのときには統計モデル(統計分析で仮定する数学的仮定の全体)を使います。

P値は統計モデルに強く依存して決まり、使用した統計モデルの実践的な妥当性は非自明な問題になり、避けて通れません。

                            14
                        
#統計 よく見るのは

❌正規分布の母集団でなければt検定達を使えない。
❌ノンパラメトリック検定であれば無条件で使える。

という実践的には致命的な誤解です。

正規分布モデルを使っているt検定達の正規分布以外への適用は多くの場合に妥当になります。

ノンパラ検定も無条件では使えません。

                            15
                        
#統計 統計モデルは数学的フィクションであり、現実の母集団分布を十分に近似している保証が通常の場合には得られません。

だから、具体的な各々の場合に、目的に合わせて、使用した統計モデルの選択がどのような意味で合理的であるかをユーザー側が自分で判断する必要があります。続く

                            16
                        
#統計 例えば、「モデルMは現実の精緻な近似には全然なっていないが、○○対策のための緊急の政策案を作成するためには十分に役に立つので、モデルMを採用してパラメータθの値を色々変えてみて、既存のデータの数値との相性の良さを見ることは十分に合理的である」のような専門的な判断が必要になる。

                            17
                        
#統計 統計モデルMの下での、データの数値とパラメータ値の設定の間の相性の良さの指標の1つがP値です。(P値の他にも尤度やベイズ統計での事後分布もような選択肢がある。)

                            18
                        
#統計 それでは、帰無仮説のP値に有意水準と呼ばれる閾値αを設定したときの様々な事柄は役に立たないのか？例えば検出力のような概念は役に立たないのか？

もちろんそんなことはありません。

ただし、社会的には慎重な運用が求められます。続く

                            19
                        
#統計 5%のような有意水準の取り扱いで注意するべきことは、その5%を実際に誤りが起こる確率のように解釈してはいけないことです。

以下では統計モデルが正しいという理想化された設定(実践的には無理な設定)で説明します。続く

                            20
                        
#統計 その理想化された設定の下では、有意水準は

帰無仮説が正しい場合に制限したとき
帰無仮説を棄却されるという誤りが起こる確率

を意味していますが、

帰無仮説が棄却された場合に制限したときに
実際には帰無仮説が正しいという誤りが起こっている確率

ではありません。続く

                            21
                        
#統計 確率pに対してp/(1-p)をオッズと呼ぶ。

有意水準をα

とし、

(適当に設定した)対立仮説の検出力を1-β

とし、

帰無仮説が正しい確率をp
対立仮説が正しい確率を1-p

とする。続く

                            22
                        
#統計 このとき

帰無仮説が棄却された場合に制限したときに
実際には帰無仮説が正しいという誤りが起こっている確率

がαに等しいことは

p/(1-p) = (1-β)/(1-α)

と同値で、さらに、

p = (1-α)/((1-α)+(1-β))

と同値になります。続く

                            23
                        
#統計 有意水準α、検出力1-βの状況で、

帰無仮説が棄却された場合に制限したときに
実際には帰無仮説が正しいという誤りが起こっている確率

もα以下程度に小さくなるための必要十分条件は

帰無仮説が正しい確率 p ≤ (1-α)/((1-α)+(1-β))

であり、通常通りβ>αならば特にp<1/2である必要がある。

                            24
                        
#統計 要するに、

帰無仮説が棄却された場合に制限したときに
実際には帰無仮説が正しいという誤りが起こっている確率

も有意水準α程度に小さくするためには、帰無仮説が正しい確率pを最悪でも1/2未満にする必要があるということです。

全然そうでない場合には、仮説検定はザルになってしまいます。

                            25
                        
#統計 例えば、治療法の治験での帰無仮説は概ね「効き目がない」を意味する仮説になるのですが、テストする治療法達の大部分に効き目がないと考えられる状況では、「効き目がない」という帰無仮説が有意水準5%で棄却されても、実際には効き目がない確率は5%よりずっと大きくなります。続く

                            26
                        
#統計 以上の計算は、理想的な設定であっても、テストにかける仮説達の質が低ければ、有意水準5%の仮説検定で統計的有意になった場合のかなりの部分が正しくなくなることを意味しています。

仮説検定で決着を付けたいなら、かなりもっともらしいとわかっている仮説についてのみそうする必要がある！

                            27
                        
#統計 現実社会における治療法の治験はそういう問題があるので、第1相、第2相、第3相と多段階になっており、第3相にたどり着くまでに仮説の質が高まるようになっています。

有意水準5%の仮説検定で決着を付けたいなら、そういう工夫が必須になります。

                            28
                        
#統計 仮説検定による判断に厳しい制限を付ける仕組みを作らずに、有意水準5%のナマの仮説検定を安易に使っている分野で再現性がない研究結果が多数報告されそうなことは、高校生レベルの確率計算によって当たり前のことだと分かるわけです。

仮説検定を「不正」無しで理想的に使っていてもそうなる。

                            29
                        
#統計 このスレッドに書いたような初歩的な事柄をすべて無視して、統計学を使ってしまう人達を増やし続ける教育を維持し続けることは明らかに非常にまずいです。

社会のあらゆる場所で害が発生し続けることになる。

                            30
                        
#統計 以上のような話は「ペーパーテストでの点数を上げる」的な勉強との相性は非常に悪いと思います。

「基本的なことをしっかり理解する」という方針を徹底しないとどうにもならないと思います。

                            31
                        
#統計 すでに慣習的になってしまった杜撰な考え方に対抗しながら、「基本的なことをしっかり理解する」という方針を徹底するには、知的能力だけではなく、心の強さも必要。

研究室で自分が世話になっている人達のある種の考え方がことごとく間違っていることを理解することになる可能性が高い。

#統計このスレッドでは詳しく触れなかったが、伝統の一部になってしまった検定法選択のフローチャートの問題は深刻。

悪しきフローチャートの問題については私のツイログを参照
↓
twilog.togetter.com/genkuroki/sear…

#統計検定法選択に関する杜撰な内容の悪しきフローチャートの実例については以下のリンク先スレッドを参照。

#統計フローチャートの形式になっていなくても、以下のリンク先の丹後俊郎さんのように使ってはいけない場合も含めて安易にWilcoxonの順位和検定の類を勧めているものはアウトです。

#統計 P値に関する言説は混乱しまくっていて、

❌P値を使うことを止めるべきだ

という不適切に破壊的な言説に引っかかると、かなり恥ずかしいので注意した方がよい。

⭕️null P-value < 5% という条件だけで重要な決定を下すことは否定されるべきだ

は穏健で常識的な意見だと思います。区別が必要。

                            36
                        
#統計 P値を使う統計学では、パラメータθを持つ統計モデルMとパラメータ値θ₀とデータの数値yに対して、(両側)P値

pvalue_M(y|θ=θ₀)

が定義されます。これは帰無仮説「θ=θ₀」のデータの数値yに関するP値です(対立仮説は「θ≠θ₀」)。続く

                            37
                        
#統計 多くの場合に「効果無し」や「細工されていない」などを意味するパラメータ値が決まっており、仮にその値が0だったとしましょう。そのとき、帰無仮説「θ=0」のP値pvalue_M(y|θ=0)を上では null P-value と呼んでいます。

null P値以外に無数のP値pvalue_M(y|θ=θ₀)が定義されていることに注意。

                            38
                        
#統計 null P値以外に無数のP値pvalue_M(y|θ=θ₀)が定義されていることを使えば、パラメータθの信頼区間を

confint_M(y|α) = { θ₀ | pvalue_M(y|θ=θ₀) ≥ α }

で定義されます。

要するに信頼区間はnull P値以外の無数のP値達pvalue_M(y|θ=θ₀)が持つ情報の一部分を切り取ったものになっている。

                            39
                        
#統計 データの数値yが与えられたとき、パラメータ値θ₀にP値を対応させる関数

θ₀ ↦ pvalue_M(y|θ=θ₀)

をP値関数と呼びます。P値を使う統計学はP値関数に関する統計学として整理できます。パラメータθの点推定値も

(θの点推定値) = (P値を最大化するパラメータ値θ₀)

と定義できる。続く

#統計 P値 pvalue_M(y|θ=θ₀)の値は

データの数値y
パラメータθの値の設定θ=θ₀
統計モデルM

の3つのcompatibility (相性の良さ)の指標の1つだと解釈されます。
↓
twilog.togetter.com/genkuroki/sear…

#統計

データの数値y
パラメータθの値の設定θ=θ₀
統計モデルM

のcompatibility (相性の良さ)の指標としてはP値だけではなく、ベイズ統計での事後分布もよく使われています。ただし、統計モデルに事前分布を含めておく必要がある。
↓
twilog.togetter.com/genkuroki/sear…

#統計モデルがシンプルで事前分布を平坦事前分布などにした場合には、P値関数が持っている情報とベイズ統計での事後分布が持っている情報は数値的にほぼ同じになります。

具体例が以下のリンク先にあります。

P値を使う統計学とベイズ統計は水と油ではありません。この辺も酷く誤解されています。

#統計続き。その場合には、P値を使う統計学とベイズ統計はちょうど事前分布の分だけ違うと言ってよいでしょう。

しかし、nを大きくして行くとそれらは再び数値的に一致するようになります。

以下のリンク先に具体例があります。

#統計以下のリンク先の例は、

二項分布の正規分布近似によるWilsonのP値関数

と

平坦事前分布から得られる事後分布から作ったベイズ的なP値関数

の比較です。その場合にはnが小さいときにはぴったり一致していないのですが、線形回帰と平坦事前分布の組み合わせではn≥1でぴったり一致します。

#統計

最小二乗法とP値を使う通常の線形回帰

と

βとlog σ²についての平坦事前分布でのベイズ版線形回帰

は数学的にぴったり近似無しで同等なものとみなせる。

こういう所からベイズ統計への親近感を養えば良いと思うのですが、P値とベイズがまるで水と油であるかのように言いたがる人達がいる。

                            46
                        
#統計 要するに、伝統的な統計学入門の解説では、「null P値 < 5%」という条件の自信過剰な解釈やら、検定法選択について杜撰なフローチャートやら、P値とベイズ統計がまるで水と油であるかのように説明するとか、ほとんどあらゆる面で誤解誘導的な説明をしまくっているわけです。続く

                            47
                        
#統計 だから、もしも仮に誰かが「無難な教科書を書く」ために「伝統的な教え方に合わせた解説を書こう」と決心して実際に"わかりやすい解説"を書いて出版してしまうと、

　統計学入門の伝統における誤解誘導的な教え方を強化

してしまうことになるわけです。

#統計

eprints.lib.hokudai.ac.jp/dspace/bitstre…
樹木・森林生態学「よく出る」誤用統計学の基本わざ
久保拓弥
2003
より
【• 「チャート式」統計学: 「○○なら→××せよ」などなどといったあまり正しくもない「統計学の公式」をよくわからぬまま丸暗記して使っている．】

「チャート式」的なものを大学生になったり、大学を卒業した後になってもありがたがる人達が多いこと自体に私は問題があると思っています。...

Actions

What You Can Do

Actions

What You Can Do

More in News & Politics

More from @genkuroki