@genkuroki: #統計ベータ分布は0から1の間に分布するので、6個の独立な...

1

#統計ベータ分布は0から1の間に分布するので、6個の独立なベータ分布に従う確率変数Pᵢについて、Pᵢ達の和は0から6の間に分布し、1より大きくなることがあります。

総和が1の離散確率を定める条件pᵢ≥0, Σpᵢ=1 は単体を与えます。Dirichlet分布はそのようなpᵢ達の同時分布。

2

#統計

普通に多項分布を使います。「すべての目が出る確率は等確率」という帰無仮説のカイ二乗検定(多項分布の正規分布近似を使う検定法、自由度は(目の個数)-1))はスタンダード。

これは二項分布の正規分布近似による検定法の一般化になっている。

3

#統計二項分布Binomial(n, p)の正規分布近似は結構小さなnpやn(1-p)であってもそう悪くないです。

二項分布の正規分布近似の基礎はn→∞で精度が高まるn!のスターリング近似だとみなせるのですが、スターリングの近似公式の相対誤差はn=1であっても8%弱で結構小さいです。

#Julia言語 →ALT

4

#統計正規分布近似(多変量の場合を含む)が有効な場合ごとに無数のカイ二乗検定があります。

大事なことなので繰り返します。カイ二乗検定は無数にある。

最尤法の漸近論に付随する対数最大尤度比法、スコア法、Wald法は全部カイ二乗検定を与えます。

5

#統計多項分布をそのまま使う検定法も容易に作れます。流行らない理由は知りません。続く

6

#統計もしも「正規分布近似を使う方法よりも確率を正確に計算する方法の方が常に優れている」のように考えているとしたら、それは誤解です。

文献
↓
scholar.google.co.jp/scholar?cluste…
Approximate is better than “exact” for interval estimation of binomial proportions
Agresti-Coull 1998

7

#統計多項分布に限らず、任意の離散分布P(x)のデータの数値xに関するP値を

pvalue(x) = Σ_{P(k)≤P(x)} P(k)
(x以下の確率になるkの確率全体の和)

で定義できます。これを、すべての目の出る確率が等しい多項分布に適用すれば多項分布をそのまま使う検定法が得られます。

計算量は非常に増えます。

8

#統計近似を嫌う人達は基本的なことを酷く誤解していることが多いので要注意です。

特に有害だと思うのは、2×2の分割表について

χ²検定はFisher検定の近似に過ぎないので
可能ならばFisher検定を常に使った方がよい

のような間違った考え方が蔓延していることです。

その辺、大丈夫でしょうか？

9

#統計 2×2の分割表でのPearsonのχ²検定とFisher検定に関する蔓延している誤解(コクランルールに従うべきだと教える誤り)については以下のリンク先スレッドとそのリンク先にある資料を参照。

統計学ユーザー界には伝統的に誤解が蔓延している。昔から言われていることの多くが誤り。

10

#統計「近似しなくてよいならしない方がうれしい」という有害な誤解は非常によく見ます。

検定法の性質の理解ではまずαエラー率がどうなっているかが重要です。

理想的には「(αエラー率)=α」となっていて欲しいのですが、離散分布モデルの検定法では近似を使わない方法でもそうなりません。続く

11

#統計続き。離散分布モデルの検定法であっても、同一の固定されたデータの数値から帰無仮説が棄却されるか否かを確率的にランダムに決めることを許せば、「(αエラー率)=α」を実現できるのですが(所謂UMPU検定はそういう話)、実践的には使えません。

12

#統計離散分布モデルについての実践的に使用可能なすべての検定法は「(αエラー率)=α」を満たしていないという意味で、不正確な検定法になります。

確率を正確に計算する方法によって「(αエラー率)≤α」となるようにはできますが、αエラー率がαよりひどく小さくなって検出力が犠牲になったりします。

13

#統計特に2×2の分割表でのFisher検定では検出力が犠牲になり易いです。

2×2の分割表では、Yatesの連続性補正なしのPearsonのχ²検定の方がαエラー率がαに近くなり、理想的なUMPU検定に近い性質を持つ場合が多いことを数値計算で確認できます。続く

14

#統計しかし、Pearsonのχ²検定では (αエラー率) ≈ α という近似は効率的に実現できても、(αエラー率) > α となる場合が生じることを防げません。

要するに、Pearsonのχ²検定とFisher検定はどちらも不正確であり、それぞれ異なる利点と欠点を持つということです。

15

#統計二項分布や多項分布の検定法についても同様です。

確率を正確に計算する検定法もαエラー率の意味では不正確な検定法になり、正規分布近似を使う方法との比較では利点だけではなく、欠点もある。

方法の選択はトレードオフの問題でしかない。

16

#統計そもそも使用するデータの数値にはバイアスが入り込んでいる疑いが常にあるので、理想化されたモデル内での確率を正確に計算しても大してうれしくない。

あと、モデル内確率についても人間の直観はあまり効かないので、αエラー率などをコンピュータで地道に計算して確認するべきです。

17

#統計確率についての直観的な処理は人間にとっては非常に難しいです。本当に難しい。

検定法の評価において基本になる確率の数値であるαエラー率と検出力の数値をコンピュータで地道に計算して確認するまで、検定法の評価について変な思い込みを持たないように注意するべきだと思います。

18

#統計 2×2の分割表の2つの二項分布モデルにおける

理想的だが実践的には使えないUMPU検定
Pearsonのχ²検定
Fisher検定

の有意水準5%でも検出力の比較(続く)
↓

19

#統計理想的だが実践的には使えないUMPU検定はFisher検定と同様の方法(条件付き確率分布を使う方法)を使って構成されるのですが、Fisher検定とUMPU検定は検出力の比較で大きく違い、近似を使うχ²検定はUMPU検定に非常に近いという結果が得られています。

nbviewer.org/github/genkuro…

20

#統計 UMPU検定に近い構成法で得られるFisher検定が数値的にUMPU検定とは全然違い、近似を使うχ²検定の方がUMPU検定と似たような検出力を持つということも、実際に地道に計算しないと分かりません。

UMPU(UMP unbiased)検定についてはLehmannさんの超有名な教科書を参照
↓
google.com/search?q=Lehma…

21

#統計まとめ

* αエラー率と検出力などを実際に計算するまで、検定法の比較評価は控えるべきである。

* αエラー率と検出力がどうなるかは、多くの場合に実際に計算してみないと分からない。

* 離散分布モデルでの検定法については、確率を正確に計算する方法が良いとは限らない。

22

#統計簡単のために1標本t検定を考えましょう。

1標本t検定では、数学的フィクションであるモデル内の母集団分布として正規分布を仮定します。

しかし、データを取得する現実の母集団の分布は正規分布だとは仮定しません。

モデル内の仮想的な母集団と現実の母集団を完全に区別する必要がある。続く

23

#統計実際にデータを取得する母集団の分布が正規分布から外れている場合には、モデル内では成立している正規母集団の仮定が現実には成立していない場合になります。

そういう場合であっても、中心極限定理によって結構多くの場合に、母平均に関する1標本t検定がうまく行きます。続く

24

#統計データを取得する未知の母集団分布からのサイズnの標本の標本平均が従う分布が正規分布で十分近似されていると仮定します。(未知の母集団分布ごとにnを十分大きくすれば実際にそうなるというのが中心極限定理の主張です。)

続く

25

#統計さらに、データを取得する未知の母集団分布からのサイズnの標本の不偏分散は、未知の母集団分布の分散(母分散)を十分近似していると仮定します。(大数の法則よりnを十分条件大きくすればそうなる。)

続く

26

#統計そのとき、

T = (標本平均 - 母平均)/√(不偏分散/n)

は近似的に標準正規分布に従います。

自由度が大きめのt分布は標準正規分布でよく近似されます。

だからこの場合には1標本t検定は近似的にうまく行きます！続く

27

#統計自由度が20未満のt分布と標準正規分布は結構違います。その場合のt分布の使用は保守的な(P値を大きめにする)補正の役目を果たすことになります。

その補正は、未知の母集団分布が正規分布でなくても、そこそこ正規分布に近ければ結構うまく働きます。続く

28

#統計そういう場合には「本当のことはよくわからないこと」を受け入れて、誤差が大きい可能性が高いこと断った上で、参考情報として、結果を提示すれば良いと思います。

続く

29

#統計中心極限定理やら大数の法則による近似の仮定が実際に成立しているかは、ある程度分かる場合もあるし、ほとんど分からない場合もあります。

分からない場合には、1標本t検定の結果は信用し切るべきではない結果になります。続き

30

#統計データの数値(標本の数値)が与えられたとき、1標本t検定のP値は具体的な数値μに関する「母平均はμである」という検定仮説ごとに決まるので、P値は数値μの関数になります。

これをデータの数値から決まるP値関数と呼びます。続く

@genkuroki: #統計ベータ分布は0から1の間に分布するので、6個の独立な...

You're reading 30 of 114 posts

Actions

What You Can Do