@genkuroki: #統計 ベイズ統計のやり方を思いっ切り単純化して説明モデ...

#統計 ベイズ統計のやり方を思いっ切り単純化して説明

モデルp(y,z)は観測される変数yと観測されないもしくはされていない変数zの同時確率分布の確率密度関数であるとする。

現実でyの値y_realが観察されたとする。

p(y=y_real) = ∫ p(y=y_real, z) dz とおく。

続く

#統計 このとき、観測されないもしくはされていない変数zに関するモデル内条件付き確率分布

p(z|y=y_real) = p(y=y_real, z) / p(y=y_real)

が定義される。このモデル内条件付き確率分布を現実におけるzに関する推定や予測に使いたいというのがベイズ統計の考え方。もちろん無条件では使えない。続く

#統計 モデルp(y,z)のy,zの組み合わせは多彩。

(1) よくありがちなベイズ統計の解説では、yは観測されるデータの数値を意味する変数で、zはモデルのパラメータ変数の場合で、

p(y,z)=p(y|z)p(z)

と書いて、p(z)を事前分布と呼び、p(z|y=y_real)を事後分布と呼んだりする。

#統計 (2) モデルp(y,z)のyは観測されたデータの数値を意味する変数で、zは現時点では未知のこれから観測されるデータの数値を意味する変数であってもよい。

その場合の条件付き確率分布p(z|y_real)は事後予測分布と呼ばれたりする。

#統計 (3) モデルp(y,z)のy,zはデータの数値を意味する変数だが、yは実際に値が得られ、zの値は欠損すると考えることもできる。

この場合には欠損値zのベイズ的な取り扱いが可能になり、p(z|y=y_real)はモデル内での欠測値の事後確率分布になる。

#統計 注意1

以上の単純化されたベイズ統計の方法の説明にはベイズの定理が出て来ておらず、同時確率分布p(y,z)についてyの値が観察されたときのzに関する条件付き確率分布しか使っていない。

ベイズ統計においてベイズの定理は必須でも本質的でもなく、条件付き確率分布の利用が本質的である。

#統計 注意2

モデルのパラメータzの事後分布を利用する場合(1)に限ってはベイズ統計の方法を「結果から原因の確率を求めること」のようなキャッチーな言い方でも説明できるかもしれないが、それだけだと、未来予測(2)や欠損値の処理(3)にもベイズ統計が使えるので、ミスリーディングな説明になる。

#統計 注意3

モデルp(y,z)の使用の現実の問題処理における妥当性は別の困難な問題になる。一般に不良設定問題になる。

モデルの妥当性を当然とする「小さな世界」の統計学は実践的には危険なので注意を要する。ベイズ的な意思決定論は「小さな世界」の統計学なので、そのままでは現実で通用しない。

#統計 観測される値yと観測されない値zの同時確率分布のモデルp(y,z)さえ与えられれば、ベイズ統計の仕組みは機能する。zは

モデルのパラメータ
現時点で未知のこれから観察される値
欠損値

など、未知の値であれば何でも良い。どれであっても条件付き確率分布の考え方で一貫した処理が可能。