@genkuroki: #統計 95%信頼区間の95%について「何度も同じ無作為抽出...

#統計 95%信頼区間の95%について「何度も同じ無作為抽出を繰り返して区間を計算し直したときに、真の値が含まれる区間の割合が95%になる」という説明は誤り。この説明は本当によく見る。

現実での繰り返しは不要だし、モデルが妥当でないとそもそもそれは正しくない。

Greenlandさんによる説明
↓

View Tweet

#統計 特定の統計モデルの下で、現実世界で得たデータの数値とモデルのパラメータの値の相性の良さ(compatibility)の指標であるP値が与えられているとき、P値が5%以上になるパラメータの値全体が95%信頼区間になる。

P値はモデル内確率であり、単なる和や積分で計算される値で、「繰り返し」は不要。

#統計 仮に、統計モデルが現実において正しいならば、無作為抽出を繰り返して95%信頼区間を何度も計算し直せば、真の値を含む区間の割合は95%になります。

しかし、「統計モデルが現実において正しい」はあまりにも都合の良い仮定であり、複雑な現実における統計分析では真っ先に疑われる条件です。

#統計 そもそも、その95%は数学的フィクションであるモデル内確率分布における確率に過ぎないのだから、数学的な和や積分で計算される値に過ぎません。

現実における無作為抽出の繰り返しが必要であるかのように語るのは酷くミスリーディングです。

#統計 統計学入門の分野は伝統的に、モデルが正しいことを前提にしている「小さな世界」の非実践的な統計学の説明を平気でする傾向があります。

モデルが正しいことが保証されていなくても通用する実践的な統計学の説明で塗り変えて行くべきです。続く

#統計 どのように塗り変えると良いかについては、P値と信頼区間についてはGreenlandさん達によるたくさんの論文がすでにあります。

データの数値とモデルとそのパラメータの値に関する仮説の相性の良さ(compatibility)だと解釈すれば良い。

この解釈法はそのままベイズ統計にも拡張されます。

#統計 P値は、データの数値とモデルとそのパラメータの値に関する仮説の3つの相性の良さ(compatibility)の指標です。P値だけからは3つの相性の良さしか分からず、仮説に関する結論はそれだけだと何も出せない。別の情報と議論が必要になる。

#統計 信頼区間は、閾値の設定によって、データの数値と相性が良いとみなされたモデルのパラメータの値の範囲のこと。

信頼区間だけを見ても、大雑把にどの範囲のパラメータの値がデータの数値と相性が良いかしか分からず、区間と真の値の関係についてはそれだけだと何も言えない。追加の議論が必須。

#統計 ベイズ統計でのベイズファクターや事後分布についてもまったく同じことが言えます。それらを見ても、データの数値とモデルの相性の良さの様子しか分からず、何らかの仮説に関する結論を出したければ、別の情報と議論が必要になります。

主義思想哲学によってベイズ統計の優位性を語るのは誤り。

#統計 P値や信頼区間や事後分布やベイズファクターを計算しただけで、確率的な(科学的な)お墨付きが得られると期待すること自体が誤り。

科学的に常識的な感覚にフィットする正しい考え方は以下のリンク先で紹介した論文に書いてあると思います。

View Tweet

#統計 このスレッドは、主に大学で統計学の講義を担当することがある人達向けに書いたつもりです。

その内容を真面目に受け取ると、普通に出回っている統計学入門の教科書群は全部根本的に書き直す必要があるという結論が出てしまうと思います。

これは日本だけではなく、世界的な問題。