✨ Visual Editor
close
warning

Thread Truncated

Only the first 20 tweets are shown to ensure high-quality rendering and prevent image size issues.

arrow_forward
135°

40px
16px

16px
黒木玄 Gen Kuroki
@genkuroki
#統計 ベータ分布は0から1の間に分布するので、6個の独立なベータ分布に従う確率変数Pᵢについて、Pᵢ達の和は0から6の間に分布し、1より大きくなることがあります。

総和が1の離散確率を定める条件pᵢ≥0, Σpᵢ=1 は単体を与えます。Dirichlet分布はそのようなpᵢ達の同時分布。
黒木玄 Gen Kuroki
@genkuroki
#統計

普通に多項分布を使います。「すべての目が出る確率は等確率」という帰無仮説のカイ二乗検定(多項分布の正規分布近似を使う検定法、自由度は(目の個数)-1))はスタンダード。

これは二項分布の正規分布近似による検定法の一般化になっている。
黒木玄 Gen Kuroki
@genkuroki
#統計 二項分布Binomial(n, p)の正規分布近似は結構小さなnpやn(1-p)であってもそう悪くないです。

二項分布の正規分布近似の基礎はn→∞で精度が高まるn!のスターリング近似だとみなせるのですが、スターリングの近似公式の相対誤差はn=1であっても8%弱で結構小さいです。

#Julia言語 →ALT
Thread image
黒木玄 Gen Kuroki
@genkuroki
#統計 正規分布近似(多変量の場合を含む)が有効な場合ごとに無数のカイ二乗検定があります。

大事なことなので繰り返します。カイ二乗検定は無数にある。

最尤法の漸近論に付随する対数最大尤度比法、スコア法、Wald法は全部カイ二乗検定を与えます。
黒木玄 Gen Kuroki
@genkuroki
#統計 多項分布をそのまま使う検定法も容易に作れます。流行らない理由は知りません。続く
黒木玄 Gen Kuroki
@genkuroki
#統計 もしも「正規分布近似を使う方法よりも確率を正確に計算する方法の方が常に優れている」のように考えているとしたら、それは誤解です。

文献
↓
scholar.google.co.jp/scholar?cluste…
Approximate is better than “exact” for interval estimation of binomial proportions
Agresti-Coull 1998
黒木玄 Gen Kuroki
@genkuroki
#統計 多項分布に限らず、任意の離散分布P(x)のデータの数値xに関するP値を

pvalue(x) = Σ_{P(k)≤P(x)} P(k)
(x以下の確率になるkの確率全体の和)

で定義できます。これを、すべての目の出る確率が等しい多項分布に適用すれば多項分布をそのまま使う検定法が得られます。

計算量は非常に増えます。
黒木玄 Gen Kuroki
@genkuroki
#統計 近似を嫌う人達は基本的なことを酷く誤解していることが多いので要注意です。

特に有害だと思うのは、2×2の分割表について

χ²検定はFisher検定の近似に過ぎないので
可能ならばFisher検定を常に使った方がよい

のような間違った考え方が蔓延していることです。

その辺、大丈夫でしょうか？
黒木玄 Gen Kuroki
@genkuroki
#統計 2×2の分割表でのPearsonのχ²検定とFisher検定に関する蔓延している誤解(コクランルールに従うべきだと教える誤り)については以下のリンク先スレッドとそのリンク先にある資料を参照。

統計学ユーザー界には伝統的に誤解が蔓延している。昔から言われていることの多くが誤り。
黒木玄 Gen Kuroki
@genkuroki
#統計 「近似しなくてよいならしない方がうれしい」という有害な誤解は非常によく見ます。

検定法の性質の理解ではまずαエラー率がどうなっているかが重要です。

理想的には「(αエラー率)=α」となっていて欲しいのですが、離散分布モデルの検定法では近似を使わない方法でもそうなりません。続く
黒木玄 Gen Kuroki
@genkuroki
#統計 続き。離散分布モデルの検定法であっても、同一の固定されたデータの数値から帰無仮説が棄却されるか否かを確率的にランダムに決めることを許せば、「(αエラー率)=α」を実現できるのですが(所謂UMPU検定はそういう話)、実践的には使えません。
黒木玄 Gen Kuroki
@genkuroki
#統計 離散分布モデルについての実践的に使用可能なすべての検定法は「(αエラー率)=α」を満たしていないという意味で、不正確な検定法になります。

確率を正確に計算する方法によって「(αエラー率)≤α」となるようにはできますが、αエラー率がαよりひどく小さくなって検出力が犠牲になったりします。
黒木玄 Gen Kuroki
@genkuroki
#統計 特に2×2の分割表でのFisher検定では検出力が犠牲になり易いです。

2×2の分割表では、Yatesの連続性補正なしのPearsonのχ²検定の方がαエラー率がαに近くなり、理想的なUMPU検定に近い性質を持つ場合が多いことを数値計算で確認できます。続く
黒木玄 Gen Kuroki
@genkuroki
#統計 しかし、Pearsonのχ²検定では (αエラー率) ≈ α という近似は効率的に実現できても、(αエラー率) > α となる場合が生じることを防げません。

要するに、Pearsonのχ²検定とFisher検定はどちらも不正確であり、それぞれ異なる利点と欠点を持つということです。
黒木玄 Gen Kuroki
@genkuroki
#統計 二項分布や多項分布の検定法についても同様です。

確率を正確に計算する検定法もαエラー率の意味では不正確な検定法になり、正規分布近似を使う方法との比較では利点だけではなく、欠点もある。

方法の選択はトレードオフの問題でしかない。
黒木玄 Gen Kuroki
@genkuroki
#統計 そもそも使用するデータの数値にはバイアスが入り込んでいる疑いが常にあるので、理想化されたモデル内での確率を正確に計算しても大してうれしくない。

あと、モデル内確率についても人間の直観はあまり効かないので、αエラー率などをコンピュータで地道に計算して確認するべきです。
黒木玄 Gen Kuroki
@genkuroki
#統計 確率についての直観的な処理は人間にとっては非常に難しいです。本当に難しい。

検定法の評価において基本になる確率の数値であるαエラー率と検出力の数値をコンピュータで地道に計算して確認するまで、検定法の評価について変な思い込みを持たないように注意するべきだと思います。
黒木玄 Gen Kuroki
@genkuroki
#統計 2×2の分割表の2つの二項分布モデルにおける

理想的だが実践的には使えないUMPU検定
Pearsonのχ²検定
Fisher検定

の有意水準5%でも検出力の比較(続く)
↓
黒木玄 Gen Kuroki
@genkuroki
#統計 理想的だが実践的には使えないUMPU検定はFisher検定と同様の方法(条件付き確率分布を使う方法)を使って構成されるのですが、Fisher検定とUMPU検定は検出力の比較で大きく違い、近似を使うχ²検定はUMPU検定に非常に近いという結果が得られています。

nbviewer.org/github/genkuro…
Thread image
黒木玄 Gen Kuroki
@genkuroki
#統計 UMPU検定に近い構成法で得られるFisher検定が数値的にUMPU検定とは全然違い、近似を使うχ²検定の方がUMPU検定と似たような検出力を持つということも、実際に地道に計算しないと分かりません。

UMPU(UMP unbiased)検定についてはLehmannさんの超有名な教科書を参照
↓
google.com/search?q=Lehma…
Generated by Thread Navigator
100%
workspace_premium Upgrade
Press ⌘ + S to quick-export