#統計 議論「二項分布のベータ事前分布Beta(a,b)」の解釈の仕方？

app.emuyn.net/stats/simulato… では

a=想定される成功数+1
b=想定される失敗数+1

と解釈しているのですが、「+1」は不要なのではないか？

これは事後分布と通常のP値の比較の仕方にもよる問題。続く

View Tweet

#統計 「+1」の有無は些細な問題。しかし、些細な話にも面白い部分があると思うので、自分で考えたことを書きます。

事前に本当に何も情報がない状況は期待値さえ不明になっていると考えられます。

そのような二項分布の事前分布はimproperであると考えられます。第一候補はBeta(0,0)です。続く

#統計 ベータ分布Beta(0,0)は確率分布としては定義されていません。∫₀¹ p⁰⁻¹(1-p)⁰⁻¹ dp=∞なので全確率=1となるように正規化できない。

しかし、kとn-kが共に正ならば、

∫₀¹ pᵏ(1-p)ⁿ⁻ᵏ×p⁰⁻¹(1-p)⁰⁻¹ dp=B(k, n-k)<∞

となり、事後分布はBeta(k,n-k)として構成可能。続く

#統計 そういう意味で使えるimproper事前分布としてなら、Beta(0,0)は意味を持ちます。

improperベータ事前分布Beta(0,0)は「事前に何も情報がないと事前には期待値も含めて本当に何もわからない」ということをうまく表現しているようにも見えます。続く

#統計 「事前に何も情報がないこと」を「事前に何のデータも得られていなかったこと」とも解釈すると、improperベータ事前分布Beta(0,0)は事前の成功回数aと失敗回数bのデータが何もなくて両方0の状況の数学的表現だとも解釈できます。続く

#統計 その立場では区間[0,1]上の一様事前分布Beta(1,1)は、事前に成功回数a=1、失敗回数b=1のデータがすでに得られていた状況を表現していると解釈されます。

その事前分布での成功率の期待値a/(a+b)=1/2は事前の最尤推定値に一致している。続く

#統計 一般にベータ事前分布Beta(a,b)は、事前に成功回数a、失敗回数bのデータが得られた状況(もしくはそれと同等な状況)の数学的表現になっていると考えられて、その期待値a/(a+b)は事前のデータからの最尤推定値に一致している。続く

#統計 p~Beta(a,b)の密度関数の対数オッズ座標x=log(p/(1-p))での表示は、p(x)=1/(1+e⁻ˣ)とおいたときのp(x)ᵃ(1-p(x))ᵇになり、指数の-1が消えます。

p(x)ᵃ(1-p(x))ᵇは

　p(x)=a/(a+b)=(p(x)の期待値)

で最大化されます。続く

#統計 improperベータ事前分布Beta(0,0)は、対数オッズ座標系x=log(p/(1-p))では、ℝ上のimproper一様分布に一致します。

improperベータ事前分布Beta(0,0)を事前に何もデータがない状況の表現だと解釈する流儀は、対数オッズx=log(p/(1-p))を座標系とする表示と相性が良いです。

#統計 対数オッズx=log(p/(1-p))ではなく、元のpで平坦な事前分布Beta(1,1)を事前に何もデータが得られていないことの表現とみなす立場もあり得ると思いますが、期待値がすでに定義されており、本当に何も情報がない状況の表現としては弱い感じがします。(注意！些細な問題！)

#統計 ベータ分布Beta(a,b)の座標pでの密度関数は(a-1)/(a+b-2)で最大化されるので、座標pでの密度関数の最大化でpの点推定値を得る立場での、事前に何も情報が無かった状況を表現する事前分布はBeta(1,1)になると考えられる。

#統計 事前分布から、事前の推定値を得る方法には以下がある。

①期待値を求める。

②密度関数を最大化する。これは座標系に依存する。(例えば元のpと対数オッズx=log(p/(1-p))では結果が異なる。対数オッズ座標系でのベータ分布の密度関数を最大化するpは期待値に一致)

③中央値を求める。

#統計 以上では、①期待値と②密度関数の最大化について少し述べた。③中央値の場合についてはどうなるか？

ベータ分布Beta(a,b)の中央値は(a-1/3)/(a+b-2/3)で近似されることが知られています。この立場での、事前に何も情報がない状況は近似的にBeta(1/3,1/3)に対応していると考ええられます。続く

#統計 ベイズ統計のソフトでは、点推定値として中央値を表示して、2.5%と97.5%分位点も合わせて表示して区間推定とするものが多い。

点推定値として中央値として採用する流儀での、事前に何も情報がない状況を近似的に表現する事前分布はBeta(1/3, 1/3)だと考えられます。

#統計 このように事前に何も情報が無かった状況を表現する事前分布の取り方は、点推定や区間推定をどのように行うとつもりかにも依存するので、一意的には決まらないと考えるのが妥当だと思います。

私はこういう些細な事柄に関する話も結構好きです。

#統計 注意警告1

密度関数は座標に依存して決まる関数なので、密度関数の最大化も座標の取り方に依存します。

密度関数の最大化による点推定の区間推定への自然な拡張は、最高密度区間(HDI)になります。HDIも座標の取り方に依存する点に注意しないと失敗します。

#統計 注意警告2

ベイズ統計について「事前の信念をデータによって更新する」という解釈で押し通すことは科学的に有害なのでやめた方がよいです。特に医学的には極めて有害だと思います。

「そのように解釈する人達がいる」という事実を説明して、科学研究には向かないと説明した方が無難。続く

#統計 Statistical Rethinking 2nd ed. p.35より【ベイズ推論には、分析者の個人的な信念に基づいて事前分布を選択することを重視する一派がある。この主観的ベイズのアプローチは、一部の統計学、哲学、経済学の分野では盛んに研究されているが、科学の分野ではあまり一般的ではない。】続く

#統計 Statistical Rethinkingは主観的ベイズに明瞭に否定的な立場で、私は科学的に常識的な感覚を素直に述べていて好ましいと思います。これを言われたて困りそうな人にはベイズ統計について教わらない方が無難です。

添付画像部分は無料で読めます。

xcelab.net/rmpubs/sr2/sta… のp.35

#統計 Statistical Rethinkingにも書いてあるように、事前分布もモデルの一部分です。科学的な研究者はデータを得た後にモデルを破棄することがよくあります。事前分布もモデルの一部分に過ぎず、破棄する可能性がある対象の1つとして扱われることになります。

これは科学的には当たり前の話です。