#統計 私のフォロワーなので、おそらく「どれだけ酷い本であるか」を確認して批判するために購入したのだと思いました。...

豊田秀樹『瀕死の統計学を救え!』(以下、豊田瀕死本)によって瀕死なのは豊田さんの信用だと思います。
詳しくは続きを参照。続く
t.co/baxpg4GmBn
私のツイッターでの発言で、豊田秀樹さんはベイズ統計学に関する最も有害な解説者扱いされています。
↓
twilog.org/genkuroki/sear…
P値の代わりにP値を使うべきである
と主張していることになります。
www

添付画像のグラフとソースコード nbviewer.jupyter.org/gist/genkuroki… を見て下さい。
この一致は偶然ではなく、一般的に成立しています。
私による確認例
↓
nbviewer.org/gist/genkuroki…
豊田『瀕死本』の5.4節について
図5.2,5.3のphcは実質的にP値

瀕死の統計学を救え!: 有意性検定から「仮説が正しい確率」へ
を読んで感銘をうけ、主張にも賛成して、 PHC という概念、これは流行る。流行るべき。と思い始めていたところに、黒木さんの厳しい批判スレッドに出会ったので、「ちょっと立ち止まってゆっくり考えねば」となってる。
こういう極めて滑稽な話になってしまっている。
仮説θ=aの数値aを動かせることを忘れると、仮説θ=0や仮説θ=1のP値しか考えないというおかしなことになる。
最尤法が有効な場合には、漸近的に、P値函数と事後分布は同じ情報を持っていることを数学的に示せます。(超大雑把な説明なことに注意!)
その記事の共著者3名のうちの2名がP値函数の使い方の解説を書いていることに注目!

「統計的有意性」への反対と「P値」の使用への反対は全然違う話なので誤解しないように気をつけて下さい!
そういう大きな流れから豊田さんは隔絶されています。
journals.sagepub.com/doi/10.1177/02…
のタイトルに "not only on point estimates and null p-values" とあることに注目するとよいと思います。続く
だから、"not only on point estimates" の部分は常識の範囲内だと思います。続く
「違いはaである」(aは数値)のような仮説各々のP値をすべて考慮することと、null P値だけしか考慮しないことの違いは大きい。続く
これはベイズ統計好きの人にとってうれしいボーナス。
こういう道を潰そうとする行為が横行している。

一般に、特定モデルにおける PHC の値が、実質的に P値と一致することがあっても特に問題ないのでは?
結構基本を理解できていない人は多い。
まずは信頼区間について勉強することが大事。
へたに対立図式を描くと大恥をかくことがあるので、「ベイズも非ベイズも有用な道具だよね」で通した方が無難(笑)

__不適切な__信頼区間の構成法と平坦事前分布のベイズ信用区間を比較して、信頼区間を強くdisり、さらにp.198辺りでそのことについて講演したときの様子を偉そうに説明している。
「800人以上の科学者が統計的有意性に反対した」というnarureの有名な記事の共著者のうちの2人が書いた journals.sagepub.com/doi/10.1177/02… を読んだ方がよいです。

一般に、特定モデルにおける PHC の値が、実質的に P値と一致することがあっても特に問題ないのでは?
それとP値の使用に反対することは全然別の話になります。
知的レベルが低い人達の問題をP値の問題にしてしまうのは非常にまずい。
↓
twilog.org/genkuroki/sear…
解説
↓
nbviewer.org/github/genkuro…
ツイログ検索で見つけた
↓

そして、Clopper-Pearsonの信頼区間では二項分布とベータ分布の関係を使っている。
↓
標本サイズが小さい場合には、信頼区間が広くなり過ぎてダメな場合が多く、ベイズでは事前分布を狭くすれば信用区間も狭くできるが、豊田さんはそういう話はしていない。

PHCとP値が数値的に近過ぎる例なのはこの文脈に影響無いのでは?
P値よりPHCを示すべき、という主張の論拠として、数値の差が大きくなる例が欲しいのは同意。
わざわざそういう場合を選んで豊田さんはP値の使用を否定しているわけ。

PHCとP値が数値的に近過ぎる例なのはこの文脈に影響無いのでは?
P値よりPHCを示すべき、という主張の論拠として、数値の差が大きくなる例が欲しいのは同意。
定義が違うことにこだわり過ぎると容易にはまる。
異なるP値の定義達を認める立場なら、ベイズ版も仲間に入れざるを得ない。
一方、モデルが複雑になった場合にはそもそも非ベイズ版の使用自体が難しくなります。その場合にはベイズ法がお勧めということになります。
ガウス過程回帰はパラメータ空間が無限次元の場合で、その場合にはベイズ的な方法が当然有効で実際にそうなっているわけです。
重要なポイントはその解釈によって、P値だけから自信過剰な結論を出すことを防ぐことです。続く
例えば事後分布におけるθ≥cの確率は「データの数値と統計モデル+事前分布と仮説θ≥cの相性の良さの指標」とみなし、自信過剰な解釈を防ぐのがよいと思います。
そのとき、AとBが妥当ならば、妥当なAとBの組み合わせと相性の良い仮説Cの妥当性も高まったという結論が得られます。
しかし、AやBを疑うことを常に経由する必要が出て来る!!!(これ重要)
そして、データとモデルの両方の妥当性を疑うことは統計学の応用で最も重要なステップになり、そのことへの配慮が重要。
私がソースコード全公開でやっているレベルの数値例を1つ以上示してから私の発言に返答を送って頂きたいと思います。

誤用されやすい概念を誤用されにくい形に加工して広めることができるなら、そうするべき。
統計リテラシ要求水準を高くして、P値警察の利権にするのは嫌。
x.com/genkuroki/stat…
最尤法が破綻する場合についても具体的な例を示していたりします。
そういう知識を前提に「豊田さんはダメだ」と言っているわけです。
P値の計算で使ったデータAやモデルBの現実における妥当性は多くの場合に疑う価値がある。続く
事後分布の計算に使ったデータAやモデルB(事前分布を含む)の妥当性は多くの場合に疑う価値がある。続く
パラメータ付き確率分布とパラメータの事前分布の組で定義されるモデルとパラメータ値
の
相性の良さ
を
データの数値から定まる条件付き確率密度
で測っていると解釈できます。
この解釈は穏健であり、自信過剰な解釈と相性が悪いです。
❌事後分布で測った仮説Cが成立する確率が大きければ、現実において仮説Cが正しい確率が高くなった
と単純に考えることです。これは非常にまずい。
ベイズ統計の事後分布と現実の関係はそういう単純なものではありません。
↑
これ、非常に重要!
❌ベイズ版の95%信用区間であれば真の値を95%の確率で含むと考えてよい
のような自信過剰になるための解説をしている困った人達は、ベイズ統計の解説者の中では多数派になっていると思います。
そういう解説を理解できなかった人は論理的に正しいと思います。
❌ベイズ版の95%信用区間であれば真の値を95%の確率で含むと考えてよい
のようなミスリーディングなことを堂々と言っている場合が珍しくないこと。
おそらく、不幸な歴史に答えがあるのだと思う。
例えば、統計学入門の教科書で、よく「正規母集団の仮定」を当然であるかのように書いてあることとも関係がある。
データとモデルを疑うことを平気で省略して良いかのような入門的解説が実に多い。
データ+モデルの組み合わせの妥当性を疑うことを忘れさせないようにしないとまずいのではないか?
ベイズ統計の事後分布は
データの数値と
パラメータ付き確率分布と事前分布の組で定義されるモデルと
パラメータ値
の3つ組の
相性の良さ
を
データの数値から定まる条件付き確率密度
で測っていると解釈できる。
データの数値
と
パラメータ付き確率分布と事前分布の組で定まるモデル
と
パラメータ値θ=a
の3つ組からモデル内条件付き確率密度として決まります。その値はこの3つ組の相性の良さの指標の1つになっている。
仮説の妥当性については、P値や事後分布以外を使う議論が必ず必要になります。これは当たり前の話だと思います。
データの数値
と
統計モデルと近似計算法
と
仮説θ=aを定める値a
から決まり、この3つ組の相性の良さ(compatibility)の指標の1つになります。
これによって、データとモデル(+近似計算法)とパラメータ値の3つ組の相性の良さ(compatibility)の互いに異なる指標として、
P値
と
尤度
と
事後分布の密度函数の値
の3つが得られることがわかります。続く
その条件は概ね最尤法が有効に使える状況になっているという条件と同じことになります。
統計学入門の教科書にある状況では概ね成立していると考えてよいです。
ただし、極端に偏った事前分布が妥当だという十分に証拠がある場合は、非ベイズ的方法を使う場合にもそのことを考慮する必要があります。
こういう場合はこのスレッドの文脈では考慮外として良いでしょう。
豊田さんがP値ではなく事後分布を使うべきだと言っているのはそういう場合になっています。
例えば、θ > 0.5 という条件を θ > 0.7 により厳しくすることは、事後分布を使わずに、P値を使っても同じようにできます。そして、数学的な理由で数値的にもほぼ同じ結果が得られる。
まあ、これ、初歩中の初歩の話題に過ぎないのですが。
❌事後分布でθ=aが成立する確率(常に0になる)
ではないという予備知識も必要です。この辺も数学を知らないせいで、誤解してしまっている場合もあると思います。
きちんと漸近論に基いて翻訳の辞書を作る必要があります。
帰無仮説θ=a
の両側検定について、よく
対立仮説θ≠a
と略記して書くのですが、これを
❌θはaに等しくないという単独の仮説
だと解釈すると誤りになります。続く
⭕️a以外の値bに関する仮説θ=b全体の集合
が両側検定の対立仮説の正しい解釈です。無数の仮説の集合になる。このように解釈できないと、仮説検定に関する数学的理論を理解できなくなります。
この辺は「教科書を読め」という話になる。
⭕️事後分布で測ったθ≥aの確率とθ≤aの確率の小さい方の2倍
です。これは両側検定のP値が片側確率の2倍で定義可能なことの類似になっています。
個人的には、議論をするならば、こういうことを当然の前提にした上で議論をしたいです。
最尤法に基く仮説θ=aのP値
と
θ=aに台を持つ事前分布を使った場合とのベイズファクター
の間の翻訳も作れます。
同書第4章を見れば、ベイズ統計の方法がどのような場合に優れているかを知ることができます。
しかし、豊田さん的な怪しい話には決してなりません。
実装のソースコードまで全部見せてくれている場合は稀だと思います。
例えば、平坦 事前分布 を検索した結果は
↓
twilog.org/genkuroki/sear…









