@genkuroki: #数楽 モンティホール問題での「事後確率」が「主観確率」だと...

#数楽 モンティホール問題での「事後確率」が「主観確率」だと強調したい人達は、私と賭けをしようという提案にのってくれるだろうか？もちろんあなたは最初の選択を変えてはいけない。当てたら1万円私からもらう。外したら私に1万円払う。全部で1000回繰り返す。www

#数楽 確率の話はほんもののギャンブルで役に立つだけではなく、行動を決定するときの広義のギャンブルで役に立たなければいけない。ベイズ更新で計算したパラメーターの事後分布を広義のギャンブルに使う場合には「勝ち目」について何らかの指標が得られる場合に限るべきだと思う。

#数楽 説明の都合のためにパラメーターの事前分布と事後分布を「主観確率」扱いするのは勝手だが、それらを政策決定で使用したいならそれらが「広義の意味でもギャンブルの勝ち目」とどう関係しているかを説明する責任が生じる。

#数楽 何度読み直してもリンク先のスライド slideshare.net/mobile/takehik… で確率の哲学的諸概念がリスク解釈で役に立つという主張が理解不能。これに関心した人達はどこに関心したのだろうか？

#数楽 続き。例によって、ベイズ更新を「ベイズの定理」で説明しているし。「確信の度合い」に「ベイズの定理」を適用できる根拠が不明だし(単にそう決めた？)、ベイズ更新が真の確率分布の推定に使えることは「ベイズの定理」から決して出て来ない。

#数楽 続き。ベイズ更新で使われる確率モデルと事前分布は人間が勝手に導入するものであり、それ自体はベイズの定理が適用できる数学的対象ではない。ベイズの定理でベイズ更新の性質を理解しようとする人はベイズ更新の正体を見失うだろう。続く

#数楽 続く。実際には、ベイズ更新の性質だけではなく、最尤法の性質も自明ではない。尤度函数が鋭い山型の函数になる場合にはベイズ更新による推定と最尤法による推定は本質的に一致することもわかる。そうならないケースでは最尤法は有効ではないが、ベイズ推定は有効。これはかなり非自明な話。

#数楽 続き。あと、頻度主義とベイズ主義を「未知のパラメーターは１つに固定」と「未知のパラメーターは確率的に分布する」で対比していて、それ自体は誤りではないのですが、ベイズ統計の方の事後分布の対応物が最尤法の方にもある(尤度函数のこと)ので、比較する対象がおかしいと思う。続く

#数楽 定数倍を除いて、事後分布は尤度函数と事前分布の積に等しい。最尤法では尤度函数が最大になるパラメーターを確率モデルに代入して真の確率分布の推定結果とみなし、ベイズ推定では事後分布で確率モデルを平均して得られる確率分布を真の確率分布のモデルとみなします。

#数楽 正しい比較の仕方はこうです。

最尤法←→ベイズ推定

尤度函数←→事後分布=尤度函数×事前分布×定数

尤度函数を最大にするパラメーターを確率モデルに代入したものを真の確率分布の推定結果とみなす←→事後分布による確率モデルの平均を真の確率分布の推定結果とみなす

#数楽 実際に誰かの意見を政策決定で活かすときには、その人の確信の度合いだけだはなく、その人による真の確率分布の推定結果が真の確率分布にどれだけ迫っているかが気になるはずです。政策の現実での影響の度合いは誰かの確信の度合いで決まるわけではない。

#数楽 確率モデルが真の確率分布について正則でかつ、事前分布が特別に偏ったりしていないならば、漸近的に尤度函数と事後分布のグラフの形は定数倍を除いてほぼ同じになります。事後分布がそんなに役に立つなら、尤度函数も同じように役に立ちそう。その辺でも妙なことが書いてあるように見える。

#数楽 真の確率分布の推定とみなせる確率分布そのもの(これはリスク対策などの政策で重要になる)ではなく、なぜか確率モデルのパラメーターの方に注目しまくる理由も理解できない。最尤法でもベイズ推定でも、推測するのはパラメーターではなく、確率分布の方。

#数楽 p.127以降の階層ベイズが役に立ちそうな例の話は面白そう。しかし具体的にどのようなモデルを設定したかの肝腎な部分の説明が不十分でわかりにくいと思いました。さらにモデルによる予測の信頼性をどのように政策現場で説明するつもりなのかが全く不明。リスク対策に本当に使えるのか？

#数楽 続く。しかし、階層ベイズモデルの方法は、逐次近似的な試行錯誤によってリスク対策のためのモデルを改善するために役に立つことは確実そうに見えたし、改善されたかどうかはWAICとWBICのような客観的な情報量規準で確認すれば良いだろう。(このツイートは建設的な提案)

#数楽 というわけで、私による slideshare.net/mobile/takehik… の感想は、(1)「哲学」がらみの部分は全く納得できない。(2)ベイズ統計の柔軟な枠組み(階層ベイズ)は役に立ちそう。(3)推定結果の精度の相対的比較のために各種情報量規準を使ったらどうか？

#数楽 リスクがらみの政策で使うための推定結果について「これは私個人の確信の度合いを表しています」と言われても困る。その推定結果が現時点で使えるものの中でベストもしくはそれに近いものであることの客観的証拠の提出を求めるのは当然のことだと思う。最尤法でもベイズでもそれは全部同じ。

#数楽 「間主観性」の話に繋げたければ、確率の哲学について語るのではなく、「あなたは推定結果の精度や信頼性についてみんなにどのような根拠に基いて説明するつもりなのか」についてきちんと説明して欲しいと思いました。特にリスク対策のための推定であるなら。

#数楽 階層ベイズでのWAICの計算については

そちらの連続ツイートはこちらの連続ツイートにおける最尤法とベイズ推定の比較や階層ベイズの有用性の話に結構関係のある話だと思う。

View Tweet

#数楽 階層ベイズモデルは単純なベイズモデルのいち表現に過ぎない。階層ベイズモデルはパラメーターw_{i+1}付きのw_iの確率分布の列p_i(w_i|w_{i+1}), i=1,…,sのこと。w_{s+1}がハイパーパラメーター。一直線の列ではない自明な一般化も考えられる。

#数楽 の比較の続き。

最尤法ではサンプルサイズが増すごとに尤度函数が更新される←→ベイズ推定ではサンプルサイズが増すごとに事後分布(=尤度函数×事前分布×定数)が更新される。

データが増えたときに推定を更新できるのは両方。

View Tweet