#統計 尤度関数だけに頼って推定しようとすると無理もしくは非常に面倒になってしまう場合の例として、Robins-Ritov-Wassermanの例が非常に有名。ググっても日本語での解説説は見当たらないが、英語では沢山見つかる。

Robins-Ritov 1997の例を単純化したものがWasserman 2004の本に載っている。続く

#統計 尤度関数だけに頼って推定しようとする方法として最尤法やベイズ法があるのですが、それらが適切な方法になり難い例として、Robins-Ritov-Wassermanの例は非常に有名。

Google検索→google.com/search?q=Wasse…

Wassermanによる解説
* normaldeviate.wordpress.com/2012/08/28/rob…
* stat.cmu.edu/~larry/=sml/Ba… の第2節

#統計 Wasserman, All of Statistics, 2004のpp.186-188の11.9 Exampleでは、設定がさらに初等的になっており、Xᵢは値が1,2,…,Bの有限離散値(ただしBは標本サイズよりもずっと大きな数)になっています。

Wasserman, All of Statistics, 2004のpp.186-188の11.9 Exampleの設定は以下の通り。続く

#統計 0<δ<1, δ≤ξ(x)≤1, 0≤θ(x)≤1 (x=1,2,…,B)であり、ξ(x)達は既知であるとし、θ(x)達は未知だとします。標本サイズNはN≪Bを満たしていると仮定する。

目標は以下のデータ(Xᵢ, Rᵢ,Yᵢ), i=1,2,…,Nから、未知の

ψ=(θ(1)+θ(2)+⋯+θ(B))/B

を推定することです。続く

#統計 (Xᵢ, Rᵢ,Yᵢ)または(Xᵢ, Rᵢ)=(Xᵢ, Rᵢ,missing)が独立に以下のように生成されているとする:

(1) Xᵢ~({1,2,…,B}上の離散一様分布)
(2) 独立にRᵢ~Bernoulli(ξ(Xᵢ)), Yᵢ~Bernoulli(θ(Xᵢ)0
(3) Rᵢ=1のとき(Xᵢ, Rᵢ,Yᵢ)が得られ、Rᵢ=0のときYᵢが欠損して(Xᵢ,Rᵢ)が得られる。

続く

#統計 N≪Bより、x=1,2,…,Bについて

n(x)=(Xᵢ=xかつRᵢ=1となるi∈{1,2,…,N}達の個数)

とおくと、ほとんどのxについてn(x)=0となり、ほとんどのxについて未知のパラメータθ(x)に関する情報は尤度関数から得られなくなってしまいます。続く

#統計 ほとんどのxについて未知のパラメータθ(x)に関する情報は尤度関数から得られ無くなってしまっていても、未知であるψ=(θ(1)+θ(2)+⋯+θ(B))/Bの値の不偏一致推定量を

ψ̂ = (1/N) Σ_{i=1}^N RᵢYᵢ/ξ(Xᵢ)

で作れます(Horvitz-Thompson推定量)。

#統計 ξ(x)達は既知だと仮定したので、尤度関数はθ(x) (x=1,2,…,B)達の関数になるのですが、標本サイズNはBよりもずっと小さいと仮定したので、尤度関数はほとんどのxについてθ(x)を含まなくなってしまいます。

尤度関数外の情報を使わないと、ψ=(θ(1)+θ(2)+⋯+θ(B))/Bの推定は不可能。

#統計 ψ=(θ(1)+θ(2)+⋯+θ(B))/Bの推定のためにが、既知のξ(x)達の値の情報が必要なのでですが、θ(x)達の関数としての尤度関数だけから既知のξ(x)達の値の情報を引き出せない。

データの数値と統計モデルの関係の尤度関数による要約で失われる情報があることに注意が必要。

#統計 ある種の困りもののベイズ主義者達は「尤度原理」への信奉を熱心に語るのですが、そういう話題ではRobins-Ritov 1997の例やそのWassermanによる単純化版がよく紹介されています。(一般教養のごとく紹介される。)

良きベイズ統計ユーザーになるためには、妙なこだわりを捨てないとまずい。

#統計 Horvitz-Thompson推定量ψ̂がψの不偏一致推定量になっていることの証明は、Wasserman, All of Statistics, 2004では練習問題になっており、その解答例が

parsiad.ca/assets/pdf/all…

などにあります。Wasserman, All of Statistics, 2004の練習問題の解答例は検索すると容易に複数見つかる。

#統計 関連情報

添付画像は

Language for communicating frequentist results about treatment effects discourse.datamethods.org/t/language-for…

のSander Greenlandさんの発言。

Ritov, et al. 2014, pp.635-636は

* projecteuclid.org/journals/stati…

* arxiv.org/abs/1203.5471

のSummaryの節。

#統計 関連情報

Robins-Wasserman 2000
↓
* scholar.google.co.jp/scholar?cluste…
* pdf projects.iq.harvard.edu/files/applied.…

View Tweet

#統計 ずっと一般的な話。

Stanのような確率プログラミング言語でモデルを記述して各種の推定を行うときには、そのように記述されるモデルで多くのは重要な情報が削除されていることに注意が必要。

例えば、「予測分布」の定義はそのように記述されたモデルだけでは確定しない。

#統計 さらに、予測分布の定義を確定させたとしても、因果関係の情報が落ちているので、因果効果推定のためにはさらなる情報が必要になる。

複雑な現実の問題を扱うためには、主義思想原理に基いて「〇〇だけでよい」的な決め付けを行うと失敗する。

#統計 無作為抽出の統計学の入門的な話を知っていれば、確率1-ξ(Xᵢ)でRᵢ=0となってYᵢの値が欠損する場合には、欠損無しの場合の不偏一致推定量(1/N)Σ_{i=1}^N Yᵢを欠損について補正した

ψ̂ = (1/N)Σ_{i=1}^N RᵢYᵢ/ξ(Xᵢ)

を考えれば良さそうだと、多くの人が気付くと思われます。

View Tweet

#統計 Refs.

Robins-Ritov 1997
* scholar.google.co.jp/scholar?cluste…
* pdf projects.iq.harvard.edu/files/applied.…

Wasserman's book 2004 の11.9 Example
* Google search google.com/search?q=Wasse…

View Tweet

#統計 募集

上記の文献 Robins-Ritov 1997もしくは、その例を初等化したWasserman, All of Statistics, 2004の例11.9について日本語で紹介している文献を知っている人がいたら教えて下さい。

Google検索では発見できませんでした。

#統計 関連スレッド

View Tweet

#統計 Robins-Ritov 1997やその簡略化のWasserman 2004の例を知ってしまった人は「尤度原理は正しい」と安易に言えなくなるはずです。

尤度原理に興味を持ってしまった人にはそれらの例の存在を知っているか聞いてあげると親切だと思います。知らない場合には残念な人だということになる。

View Tweet