@genkuroki: #統計 添付画像は<a target="_blank" ...

#統計 添付画像は

diamond.jp/articles/-/364…
【p値とは？】
西内 啓
2025.5.3

より。「意味のある偏り」(悪名高い「有意差」と同じ意味)という言い方や「偶然」か否かを強調してP値について説明する伝統的なスタイルは、一般的な場合でのP値の理解にとって非常に有害です。続く

#統計 その添付画像の文脈では信頼、データの取得法として「ランダム化比較実験」を仮定しており、統計モデルも正しいものを選んでいるという設定なので、「偶然」か否かを強調することはその場合に限っては誤りとは言えません。

しかし、そういう極めて特殊な場合にのみ通用する説明は非常に危ない。

#統計 理想的なランダム化比較試験のような極めて特殊な場合を除けば、データの取得法とモデルの妥当性の疑わしさを十分に払拭することは不可能です。疑わしさは残る。

現実の理想的ではないランダム化比較試験では疑わしさの程度は下がりますが、それでも疑わしさは残ります。

#統計 P値については、データの取得法とモデルの妥当性の疑わしさは常に残るという予備知識がないと、統計学を悪用したり、杜撰な使い方をする悪い奴らに容易に騙されてしまうことになります。

これは、信頼区間を使っても、ベイズ統計を使っても全部同じことになります。

#統計 さらに有害なのは「意味のある偏り」(「有意差」と呼ばれることが多い)の有無という言い方でP値について説明することです。

伝統的だが時代遅れの統計学について劣っている考え方をしている人達が好んで使う言い方でP値について解説するべきではありません。

#統計 P値に関する安全な説明の仕方は、まず、P値は

データの値とモデル＋検定仮説(帰無仮説)の相性の良さの指標

だと説明することです。そして、

モデル＋検定仮説の確率分布で生成されるデータについてP値<αとなる確率は概ねα以下になる

と説明することです。

View Tweet

#統計 P値について要請される「モデル＋検定仮説の確率分布で生成されるデータについてP値<αとなる確率は概ねα以下になる」という条件が、モデル内での偶然によるP値の解釈を支えています。

そこで登場するP値<αとなる確率は、現実における確率ではなく、モデル内確率にすぎない点が非常に重要。

#統計 「〇〇以上に極端な」の意味を「そのP値が〇〇のP値以下になる」だとすると、

P値は、モデル＋検定仮説の確率分布において観察データの値以上に極端な値が生成される確率(もしくはその近似値)である

とも言えます。この説明は悪くありません。

#統計 統計学の応用を主にほぼ理想的に行われたランダム化比較試験だけに限ってしまうと、「統計学は最強の学問である」という宣伝文句は明らかに過剰広告になってしまうと思います。

P値の説明の仕方も広く通用するものに更新した方が良いと思います。

#統計 「意味のある差があるか」「有意差があるか」という言い方の有害さを知れば知るほど、もうやめてくれぇ～と思います。

significant, significanceという言い方をせずに、P値を使うようにする教育が必要だと思われます。

#統計 「統計的有意」という言い方抜きでどのように説明するかについては

discourse.datamethods.org/t/language-for…

で活発に議論が行われています。nature 2019の統計的有意性廃止論説の共著者3人のうちの2人(Greenland, Amrhein)も議論に参加しています。

Greenlandさんの発言だけを読むだけでも十分です。

#統計 その二人はP値の概念に関する簡潔な解説論文

journals.sagepub.com/doi/epub/10.11…
Discuss practical importance of results based on interval estimates and p-value functions, not only on point estimates and null p-values
Valentin Amrhein and Sander Greenland
2022

の共著者でもあります。

#統計 NotebookLMに指示を出してP値解説の決定版とみなせるAmrhein-Greenland 2022の音声概要を作らせてみました。
↓
notebooklm.google.com/notebook/d2508…

7分程度と短いのでNotebookLMに興味がある人は聴いて見てください。多分勉強にもなる。

音声概要は指示を出して作らせた方が良いです。
↓

#統計 関連の別の論文の音声概要

かわいい方が頭に入る気がするがこれは気のせいか？

View Tweet