#統計 うわっ！...
黒木玄 Gen Kuroki@genkuroki
82 views
Mar 03, 2025
~1 min read
Advertisement
1
#統計 うわっ！
以前から危惧していた通りに、アメリカ統計学界のASA声明に違反しているP値の使い方を仮定している問題が出題されたようだ。
こういう問題を作った人とそのまま出すことを許可した人達に何らかのペナルティーが課せられるべきだと思いました。続く
以前から危惧していた通りに、アメリカ統計学界のASA声明に違反しているP値の使い方を仮定している問題が出題されたようだ。
こういう問題を作った人とそのまま出すことを許可した人達に何らかのペナルティーが課せられるべきだと思いました。続く
2
#統計 大学で統計学を数十年間教えて来た人達であっても、ASA声明の厳しい批判を理解していない人たちは、こういう問題を出しても良いと多分思っています。
そういう人達は結果的に次世代の若い人達の知的レベルを下げることに貢献している。
統計学教育の内容が伝統的に酷いことは深刻な問題。
そういう人達は結果的に次世代の若い人達の知的レベルを下げることに貢献している。
統計学教育の内容が伝統的に酷いことは深刻な問題。
3
#統計 統計学教育のスタンダードがASA声明 biometrics.gr.jp/news/all/ASA.p… 的にはトンデモであることについては、佐藤俊哉先生の講義動画を参照して下さい。
高校生にアメリカ統計学会が誤りだと言っていることを教える伝統を我々の世代は作ってしまうかもしれない。高校の数学の教科書の内容も酷い。
高校生にアメリカ統計学会が誤りだと言っていることを教える伝統を我々の世代は作ってしまうかもしれない。高校の数学の教科書の内容も酷い。
黒木玄 Gen Kuroki@genkuroki
#統計 「統計的有意性とP値に関するASA声明」の翻訳者の佐藤俊哉先生による素晴らしい講義動画もよく紹介されています。これも統計学を教える仕事をする人は視聴しておいた方がよい。教科書に誤りが書いてあることを明瞭に説明している。教科書通りに講義をしてはいけない。
youtu.be/vz9cZnB1d1c?si…
youtu.be/vz9cZnB1d1c?si…
4
#統計 現実の高校生達の大部分は高校の数学の教科書通りに仮説検定について習っているので、アメリカ統計学会の声明で統計学の誤用扱いされているやり方を学んでいることになります。
以前は18歳以上でされていたトンデモ教育が15歳の子にされるようになってしまった。
普通はなかなか見れない暴挙。
以前は18歳以上でされていたトンデモ教育が15歳の子にされるようになってしまった。
普通はなかなか見れない暴挙。
5
#統計 アメリカ統計学会が出した伝統的に蔓延している統計学の誤用を指摘した声明(ASA声明)関連情報。
黒木玄 Gen Kuroki@genkuroki
#統計
ASA声明> how incompatible the data are with a specified statistical model
(注意: incompatibleはcompatibleに訂正した方がbetter)
と
Linkedin> how compatible your data are with null hypothesis
では重要な違いがあります。
「モデル」と「帰無仮説」では大違いです！
ASA声明> how incompatible the data are with a specified statistical model
(注意: incompatibleはcompatibleに訂正した方がbetter)
と
Linkedin> how compatible your data are with null hypothesis
では重要な違いがあります。
「モデル」と「帰無仮説」では大違いです！
6
#統計 件の問題文における
【この仮説のもとで、かたよりなく選ばれた 35人のうち 23人以上が「キャンペーンAの方がよい」と回答する確率が5%未満であれば、その仮説は誤っていると判断】
の部分はASA声明の添付画像の部分に違反しているやり方になっています。
biometrics.gr.jp/news/all/ASA.p…
【この仮説のもとで、かたよりなく選ばれた 35人のうち 23人以上が「キャンペーンAの方がよい」と回答する確率が5%未満であれば、その仮説は誤っていると判断】
の部分はASA声明の添付画像の部分に違反しているやり方になっています。
biometrics.gr.jp/news/all/ASA.p…
黒木玄 Gen Kuroki@genkuroki
#統計 うわっ！
以前から危惧していた通りに、アメリカ統計学界のASA声明に違反しているP値の使い方を仮定している問題が出題されたようだ。
こういう問題を作った人とそのまま出すことを許可した人達に何らかのペナルティーが課せられるべきだと思いました。続く
以前から危惧していた通りに、アメリカ統計学界のASA声明に違反しているP値の使い方を仮定している問題が出題されたようだ。
こういう問題を作った人とそのまま出すことを許可した人達に何らかのペナルティーが課せられるべきだと思いました。続く
7
#統計 モデルが正しく、データの取得法にも何の瑕疵がなくても、帰無仮説が正しい可能性(確率)が非常に高い場合には、P値<5%となったときの帰無仮説が正しい(条件付き)確率はかなり高くなります(典型的な場合には数十%の確率になる)。
P値は最終判断のために使える情報の1つでしかない。
P値は最終判断のために使える情報の1つでしかない。
8
#統計 ASA声明的には、P値は参考情報の１つに過ぎないのですが、統計学教育の伝統(悪しき伝統)では、まるでP値だけを使って判断して良いかのように教えて来た。
そういうのはダメだとアメリカ統計学会ははっきり言っており、しかも、それは科学的には普通に常識的な意見に過ぎないということ。
そういうのはダメだとアメリカ統計学会ははっきり言っており、しかも、それは科学的には普通に常識的な意見に過ぎないということ。
黒木玄 Gen Kuroki@genkuroki
#統計 件の問題文における
【この仮説のもとで、かたよりなく選ばれた 35人のうち 23人以上が「キャンペーンAの方がよい」と回答する確率が5%未満であれば、その仮説は誤っていると判断】
の部分はASA声明の添付画像の部分に違反しているやり方になっています。
biometrics.gr.jp/news/all/ASA.p…
【この仮説のもとで、かたよりなく選ばれた 35人のうち 23人以上が「キャンペーンAの方がよい」と回答する確率が5%未満であれば、その仮説は誤っていると判断】
の部分はASA声明の添付画像の部分に違反しているやり方になっています。
biometrics.gr.jp/news/all/ASA.p…
9
#統計 P値な信頼区間についてどのように教えるべきか、についてはGreenlandさん達が穏健で合理的に見える提案をずっとして来ています。Greenlandさんの講演スライドが率直で分かり易いです。
黒木玄 Gen Kuroki@genkuroki
#統計 お勧めのGreenlandさんの講演スライドより
P値を推定のための道具として扱わない誤りの繰り返しはやめるべき。
「差がない」という帰無仮説のnull P値単体を帰無仮説有意性検定(NHST)で使うだけなのは誤解の主な原因になっている。
biostatistics.ucdavis.edu/sites/g/files/…
P値を推定のための道具として扱わない誤りの繰り返しはやめるべき。
「差がない」という帰無仮説のnull P値単体を帰無仮説有意性検定(NHST)で使うだけなのは誤解の主な原因になっている。
biostatistics.ucdavis.edu/sites/g/files/…
10
#統計 アメリカ統計学会の声明(ASA声明) scholar.google.co.jp/scholar?cluste… が出たのは2016年なので、日本での高校数学に仮説検定をねじ込むことの実施時の非トンデモ化に十分間に合っていたのですが、高校数学に仮説検定をねじ込んだ勢力はそれをサボったわけです。
きちんと責任の所在をはっきりさせるべき。
きちんと責任の所在をはっきりさせるべき。
11
#統計 間違っていたら申し訳ないのですが、多くの人が受験している統計検定で出されている問題でも同様のトンデモが標準的になっている疑いがあると思います。
その辺の事情を知っている人がいたら、どうなっているかについて教えて下さい。
その辺の事情を知っている人がいたら、どうなっているかについて教えて下さい。
12
#統計 おそらく、𝕏上にも責任を取るべき立場かもしれない人たちがいると思います。そういう人達にこのスレッドの情報を伝えてくださる人がいると助かります。
13
#統計 うわっ。
共通テストの問題は基本を理解していない人達が作っているということですね。高校の数学の教科書も同様。責任を取らなければいけない人達が沢山いる。
たくさんいるがゆえに、無知無能に基いて教科書を執筆したり共通テストの問題を作ったりした人達は責任を取らない可能性が高い。
共通テストの問題は基本を理解していない人達が作っているということですね。高校の数学の教科書も同様。責任を取らなければいけない人達が沢山いる。
たくさんいるがゆえに、無知無能に基いて教科書を執筆したり共通テストの問題を作ったりした人達は責任を取らない可能性が高い。
井口豊@Iguchi_Y
@genkuroki p値の扱いは，試作問題からそんな感じで，予備校でも，そのように教えている。 Toshin Times 4ページ11月の学習 t.ly/bcnc5 これからも，このまま行きそうな気配？
14
#統計 添付画像は toshintimes.com/uploadPdfs/bac… より。
こういう問題が(また)出題される可能性があることを知った高校生は、ASA声明に反するやる方を高校生時代に一所懸命勉強するようになる。
大学入学後に脱洗脳が必要になる。
こういう問題が(また)出題される可能性があることを知った高校生は、ASA声明に反するやる方を高校生時代に一所懸命勉強するようになる。
大学入学後に脱洗脳が必要になる。
15
#統計 こういう問題を平気で作れてしまうレベルの教養しかない人は統計学の問題を作るチームから外さないとまずい。そして誰かがASA声明についてスタッフに解説して、2度とこの手の問題が作られたりしないようにする必要がある。
ASA声明は2016年に出版されたので知らないではさすがにすまされない。
ASA声明は2016年に出版されたので知らないではさすがにすまされない。
黒木玄 Gen Kuroki@genkuroki
#統計 現実の高校生達の大部分は高校の数学の教科書通りに仮説検定について習っているので、アメリカ統計学会の声明で統計学の誤用扱いされているやり方を学んでいることになります。
以前は18歳以上でされていたトンデモ教育が15歳の子にされるようになってしまった。
普通はなかなか見れない暴挙。
以前は18歳以上でされていたトンデモ教育が15歳の子にされるようになってしまった。
普通はなかなか見れない暴挙。
16
#統計 分岐スレッドへ
黒木玄 Gen Kuroki@genkuroki
@kkqr #統計
asakura.co.jp/detail.php?boo…
↓
asakura.tameshiyo.me/9784254122978?…
宇宙怪人しまりす 統計よりも重要なことを学ぶ
佐藤俊哉
pp.4-6
に答えがある。この本の著者はASA声明の翻訳者です。ASA声明よりもずっと詳しく大事なことが解説されています。
この本を読むと普通の教科書の内容が酷いことも分かる。
asakura.co.jp/detail.php?boo…
↓
asakura.tameshiyo.me/9784254122978?…
宇宙怪人しまりす 統計よりも重要なことを学ぶ
佐藤俊哉
pp.4-6
に答えがある。この本の著者はASA声明の翻訳者です。ASA声明よりもずっと詳しく大事なことが解説されています。
この本を読むと普通の教科書の内容が酷いことも分かる。
17
#統計 仮説検定の結果をそのまま最終的判断とすることがまるで普通であるかのように説明している教科書は、少なくともNeyman-PearsonのPearsonによる1955年の論文には反しています。検定は「最終的な意思決定の形成を助ける道具」に過ぎません。
統計学の教科書はこのPearson (1955)を無視している。
統計学の教科書はこのPearson (1955)を無視している。
黒木玄 Gen Kuroki@genkuroki
#統計 Pearson (1955)には
NeymanとPearsonは「__最終的な__採択と棄却の話をしていない」し、「仮説検定が不可逆な採択の手続きを強制するべきだとは全然示唆していない」
とはっきり書いてあります。証拠提示終了！
戯画化されたNPについて騙る行為は滅びるべき！
NeymanとPearsonは「__最終的な__採択と棄却の話をしていない」し、「仮説検定が不可逆な採択の手続きを強制するべきだとは全然示唆していない」
とはっきり書いてあります。証拠提示終了！
戯画化されたNPについて騙る行為は滅びるべき！
18
#統計 Neymanの弟子のLehmannは1993年の論文で、仮説検定による二分法的な結果だけを報告するのではなく、普段はP値(=帰無仮説が棄却される有意水準の下限)の値を報告し、必要に応じて閾値未満かどうかにも触れると良いとしています。
やはり検定は最終的な二分法的意思決定を与えないとされている。
やはり検定は最終的な二分法的意思決定を与えないとされている。
黒木玄 Gen Kuroki@genkuroki
#統計 要するにP値を1つ報告するだけで「すべての有意水準での仮説検定の結果」を報告したことになります。
Neymanの弟子のLehmannも、通常はP値を報告するべきだと言っています。
errorstatistics.com/wp-content/upl…
Neymanの弟子のLehmannも、通常はP値を報告するべきだと言っています。
errorstatistics.com/wp-content/upl…
19
#統計 「帰無仮説が棄却されるか否か」の二値的情報よりも、P値=「帰無仮説が棄却される有意水準の下限」の方が多くの情報を持っているし、さらに帰無仮説「効果はゼロ」以外の「効果はaである」(aは任意の数値)という検定仮説達のP値全体(P値関数)なら圧倒的に豊富な情報を持っています。
詳しくは↓
詳しくは↓
黒木玄 Gen Kuroki@genkuroki
#統計 バージョンアップ
P値関数に至る道を具体例で説明
データの数値「n=20回中5回成功」が得られたときに、報告内容の制限を外して行くと、自然にP値関数の報告というアイデアに到達する。
添付画像はP値経路。続く
github.com/genkuroki/publ…
P値関数に至る道を具体例で説明
データの数値「n=20回中5回成功」が得られたときに、報告内容の制限を外して行くと、自然にP値関数の報告というアイデアに到達する。
添付画像はP値経路。続く
github.com/genkuroki/publ…
20
#統計 最終的な意思決定を助けるために、そのP値全体はデータの数値とモデルの相性の良さの様子を適切に要約すると手段の1つであり、P値全体の持つ情報は区間推定と点推定の情報も持っています。
P値の取り扱いについてはGreenlandさん達が勧めているやり方が合理的です。
↓
P値の取り扱いについてはGreenlandさん達が勧めているやり方が合理的です。
↓
黒木玄 Gen Kuroki@genkuroki
#統計 お勧めのGreenlandさんの講演スライドより
P値を推定のための道具として扱わない誤りの繰り返しはやめるべき。
「差がない」という帰無仮説のnull P値単体を帰無仮説有意性検定(NHST)で使うだけなのは誤解の主な原因になっている。
biostatistics.ucdavis.edu/sites/g/files/…
P値を推定のための道具として扱わない誤りの繰り返しはやめるべき。
「差がない」という帰無仮説のnull P値単体を帰無仮説有意性検定(NHST)で使うだけなのは誤解の主な原因になっている。
biostatistics.ucdavis.edu/sites/g/files/…
21
#統計 以上では仮説検定の使い方について偉い人達(Neyman-PearsonのPearson (1955)、Neymanの弟子のLehmann (1993)、疫学と統計学の基礎の超絶偉い先生であるGreenland (2022))がどのように述べているかの歴史を簡単にたどりました。
それらと比較すると普通の教科書の説明はおそろしくレベルが低い。
それらと比較すると普通の教科書の説明はおそろしくレベルが低い。
22
#統計 P値<5%で二分法的な判断をするときには、
P値<5%という条件の下での帰無仮説が正しい条件付き確率
の大雑把な見積りが重要です。例えば薬の効き目については、「効果はゼロ以下」という帰無仮説が棄却されたのに実際には効果がゼロ以下である確率の見積もりは重要です。続く
P値<5%という条件の下での帰無仮説が正しい条件付き確率
の大雑把な見積りが重要です。例えば薬の効き目については、「効果はゼロ以下」という帰無仮説が棄却されたのに実際には効果がゼロ以下である確率の見積もりは重要です。続く
23
#統計 仮に仮説検定の結果で薬を承認するか否かを決定するならば
「効果はゼロ以下」という帰無仮説が棄却されたのに実際には効果がゼロ以下である確率
は
効果がゼロ以下の薬がどの程度の割合で出回るか
を意味しています。この割合が数十%のオーダーに高くなるのは非常にまずい。続く
「効果はゼロ以下」という帰無仮説が棄却されたのに実際には効果がゼロ以下である確率
は
効果がゼロ以下の薬がどの程度の割合で出回るか
を意味しています。この割合が数十%のオーダーに高くなるのは非常にまずい。続く
24
#統計 テストする薬の95%の効果はゼロで、5%が効果が正の効く薬であると仮定する。
このとき、有意水準2.5%と検出力100%(←非現実的な超理想的な設定)の片側検定で「効果はゼロ(以下)」という帰無仮説が棄却されたのに、実際には効果がゼロである条件付き確率は約32%になります。続く
このとき、有意水準2.5%と検出力100%(←非現実的な超理想的な設定)の片側検定で「効果はゼロ(以下)」という帰無仮説が棄却されたのに、実際には効果がゼロである条件付き確率は約32%になります。続く
25
#統計 その確率の計算式は
(0.025*0.95)/(0.025*0.95 + 1.0*0.05)≈0.32
です。検出力100%の非現実的な理想化を、検出力を慣習的な現実的数値の80%で置き換えると、
(0.025*0.95)/(0.025*0.95 + 0.80*0.05)≈0.37
と状況は少し悪化します。続く
(0.025*0.95)/(0.025*0.95 + 1.0*0.05)≈0.32
です。検出力100%の非現実的な理想化を、検出力を慣習的な現実的数値の80%で置き換えると、
(0.025*0.95)/(0.025*0.95 + 0.80*0.05)≈0.37
と状況は少し悪化します。続く
26
#統計 共通テストでは片側検定でも有意水準を5%にしていますが、慣習的には片側検定の有意水準は2.5%にすることが多いです。そうしておかないと、有意水準5%での両側検定+効果の正負による判断との整合性が取れなくなくなってしまいます。
だから以上では片側検定の有意水準を2.5%に設定した。続く
だから以上では片側検定の有意水準を2.5%に設定した。続く
27
#統計 有意水準と検出力の定義
有意水準は、帰無仮説の「効果はゼロ」が正しいときに帰無仮説が棄却される確率です。
検出力は、対立仮説の「効果は正」が正しいときに帰無仮説が棄却される確率です。検出力まわりは色々面倒なので非現実的な理想化の検出力100%を仮定して計算しました。続く
有意水準は、帰無仮説の「効果はゼロ」が正しいときに帰無仮説が棄却される確率です。
検出力は、対立仮説の「効果は正」が正しいときに帰無仮説が棄却される確率です。検出力まわりは色々面倒なので非現実的な理想化の検出力100%を仮定して計算しました。続く
28
#統計 仮説検定で使うモデルの正しさや、データの取得の理想的な適切さも仮定しました(これも現実では苦しい)。
そういう理想的な設定に下であっても、テストする薬の95%の効果がゼロならば、有意水準2.5%の仮説検定によって承認された薬の32%は実際には効かない薬になってしまいます。続く
そういう理想的な設定に下であっても、テストする薬の95%の効果がゼロならば、有意水準2.5%の仮説検定によって承認された薬の32%は実際には効かない薬になってしまいます。続く
29
#統計 完全に理想的に実施された仮説検定であっても、テストする薬の95%に効き目がないならば、仮説検定で承認された薬の32%は効き目ゼロの薬になってしまいます。
そのことを確認する計算は小学校5年生レベルの割合の計算に過ぎません。小5でも理解できる話。続く
そのことを確認する計算は小学校5年生レベルの割合の計算に過ぎません。小5でも理解できる話。続く
30
#統計 小学生レベルの算数をきちんと理解できていれば、完全に理想的な状況であっても、仮説検定で採用した5%や2.5%は現実におけるリスクの小ささの適切な値ではないことが分かります。現実的なリスクの評価は、テストする仮説群の中にどれだけ正しいものが含まれているかにも大きく依存するのです。
31
#統計 「P値<α」による判断の是非については、色々ややこしいことを全部無視して小学校5年生レベルの割合の計算をするだけで、「完璧に理想化の下であってもP値がα未満であるか否かだけで判断を下してはいけない」(確率的なリスクをそれでは制御できない)ということが分かります。
小学校5年生レベル
小学校5年生レベル
32
#統計 小学校5年生レベルの算数の実力があれば、理想化された設定であってもP値<5%という基準で最終判断を行ってはいけないということが分かる。
ところが、統計学を既習の大学卒業者達の多くが小5レベルのことを全然理解していないことが、このスレッドへの反応から分かります。
ところが、統計学を既習の大学卒業者達の多くが小5レベルのことを全然理解していないことが、このスレッドへの反応から分かります。
33
#統計 『ロスマンの疫学第2版』(2013)のp.214には
【いかなるデータ解析を行っても帰無仮説もしくはその他の仮説の真偽を断定することはできない】
と書いてあります。こういう良書に書いてあるこういう当たり前の考え方を普通に教えるようにしないとまずいです。
【いかなるデータ解析を行っても帰無仮説もしくはその他の仮説の真偽を断定することはできない】
と書いてあります。こういう良書に書いてあるこういう当たり前の考え方を普通に教えるようにしないとまずいです。
黒木玄 Gen Kuroki@genkuroki
#統計 すでに普及してしまっている「統計的に有意」という言い方について、統計学入門で解説せざるを得ないと思います。
そのときには『ロスマンの疫学第2版』のp.214の説明をそのままするのが良いと思います。この本の第8章のP値に関する解説は非常に良いです。
そのときには『ロスマンの疫学第2版』のp.214の説明をそのままするのが良いと思います。この本の第8章のP値に関する解説は非常に良いです。
34
#統計 補足
テストする薬の半分は効き目ゼロでもう半分は正の効き目があるとき、有意水準2.5%と検出力80%の片側検定によって帰無仮説の「効き目ゼロ」が棄却された薬の中での実際には効き目ゼロの薬の割合は
(0.025*0.50)/(0.025*0.50 + 0.80*0.50)≈3%
と小さくなります。続く
テストする薬の半分は効き目ゼロでもう半分は正の効き目があるとき、有意水準2.5%と検出力80%の片側検定によって帰無仮説の「効き目ゼロ」が棄却された薬の中での実際には効き目ゼロの薬の割合は
(0.025*0.50)/(0.025*0.50 + 0.80*0.50)≈3%
と小さくなります。続く
黒木玄 Gen Kuroki@genkuroki
#統計 その確率の計算式は
(0.025*0.95)/(0.025*0.95 + 1.0*0.05)≈0.32
です。検出力100%の非現実的な理想化を、検出力を慣習的な現実的数値の80%で置き換えると、
(0.025*0.95)/(0.025*0.95 + 0.80*0.05)≈0.37
と状況は少し悪化します。続く
(0.025*0.95)/(0.025*0.95 + 1.0*0.05)≈0.32
です。検出力100%の非現実的な理想化を、検出力を慣習的な現実的数値の80%で置き換えると、
(0.025*0.95)/(0.025*0.95 + 0.80*0.05)≈0.37
と状況は少し悪化します。続く
35
#統計 補足続き
要するに、帰無仮説が正しい確率(事前確率)を半分未満まで減らすことができていれば、帰無仮説が棄却されたのに帰無仮説が正しい条件付き確率(事後確率)は有意水準とほぼ同じオーダーで小さくなります。
手堅い仮説を否定したければその分だけより厳しいテストが必要だということ。
要するに、帰無仮説が正しい確率(事前確率)を半分未満まで減らすことができていれば、帰無仮説が棄却されたのに帰無仮説が正しい条件付き確率(事後確率)は有意水準とほぼ同じオーダーで小さくなります。
手堅い仮説を否定したければその分だけより厳しいテストが必要だということ。
36
#統計 以上の計算は、モデルの設定とデータも取得法の妥当性を仮定した理想化された設定の下での計算であることに注意。
現実にはモデルの妥当性とデータの取得法の妥当性は真っ先に疑いの対象になる事柄なので、以上の計算よりも現実の状況はより悪いということになります。
現実にはモデルの妥当性とデータの取得法の妥当性は真っ先に疑いの対象になる事柄なので、以上の計算よりも現実の状況はより悪いということになります。
37
#統計 P値についてはすぐにP-hackingやらHARKINGやらの不正行為の話を始めたい人が多いのですが、そういう不正がなくて、さらに理想化された状況を想定しても、P値<αという条件だけで判断することは小学校5年生レベルでアウトだということがわかる。
この手の問題はベイズ統計を使っても解決しない。
この手の問題はベイズ統計を使っても解決しない。
38
#統計 統計学教育では伝統的に統計分析によって機械的に結論を出せるかのように説明する傾向があって、科学的な常識的感覚を蔑ろにする非常に病的な分野になってしまっています。
このスレッドで名前を出した尊敬できる専門家達はそれを何とかしようとしているのですが、うまく行っていない。
このスレッドで名前を出した尊敬できる専門家達はそれを何とかしようとしているのですが、うまく行っていない。
39
#統計 所謂「再現性の危機」については以下のリンク先で紹介した論文の内容が、普通の常識的な科学的に感覚にフィットしていると思います。
黒木玄 Gen Kuroki@genkuroki
#統計 論文
scholar.google.co.jp/scholar?cluste…
Amrhein-Trafimow-Greenland 2019
のタイトルは
記述統計としての推論統計:
再現性を期待しなければ再現性の危機は存在しない
まさにこれが科学的に常識的な解答だと思います。論文一発で科学的に信頼できる結果が高確率で得られると期待する方がおかしい。
scholar.google.co.jp/scholar?cluste…
Amrhein-Trafimow-Greenland 2019
のタイトルは
記述統計としての推論統計:
再現性を期待しなければ再現性の危機は存在しない
まさにこれが科学的に常識的な解答だと思います。論文一発で科学的に信頼できる結果が高確率で得られると期待する方がおかしい。
40
#統計 反応を見直してみましたが、統計学教育の伝統に洗脳されている自覚がなくて、常識的に当たり前の話をまるっきり分かっていない人達が多い。
使用したモデルが正しくて、データ取得法も適切で、手続き的に何も瑕疵がなくても、P値<5%となったという理由だけで帰無仮説を否定することは誤りです。
使用したモデルが正しくて、データ取得法も適切で、手続き的に何も瑕疵がなくても、P値<5%となったという理由だけで帰無仮説を否定することは誤りです。
41
#統計 さらに現実には、モデルの妥当性の保証や理想的なデータの取得は困難なので、モデルやデータ取得の適切さを当然の仮定にしてしまう統計学教育は有害。
そういう有害教育の他に、さらにP値<5%なら帰無仮説を否定して良いかのようなまるっきり間違った考え方を15歳の子に教え込むのはまずい。
そういう有害教育の他に、さらにP値<5%なら帰無仮説を否定して良いかのようなまるっきり間違った考え方を15歳の子に教え込むのはまずい。
42
#統計 統計学教育の伝統がまるっきりダメな考え方を何十年間も教え続けて来たせいで、「統計学の文脈では、P値<5%なら帰無仮説を否定して良い」のように考えるダメな人達を大量生産してしまいました。
大学生以上の大人をダメにするだけではなく、まだ高1の子をダメにするようになってしまった。続く
大学生以上の大人をダメにするだけではなく、まだ高1の子をダメにするようになってしまった。続く
43
#統計 高1の子をダメにするための教え方は学習指導要領解説(≠学習指導要領、厳密に区別せよ)に書いてあります。「解説」は「学習指導要領」そのものとは違って拘束力はないので、「解説」にしたがって教科書を書いたり、高校生に教えた人達は自分の意思で高校生を傷付けた人達だとみなされます。
黒木玄 Gen Kuroki@genkuroki
#統計 大学以上での統計学教育の内容は杜撰。そういう環境の中で高校数学のカリキュラムに仮説検定が捩じ込まれた結果、酷いことになっています。
例えば学習指導要領解説(学習指導要領とは厳密に異なる文書)には添付画像のように書いてあります。対照群を設けていない。
mext.go.jp/content/202302…
例えば学習指導要領解説(学習指導要領とは厳密に異なる文書)には添付画像のように書いてあります。対照群を設けていない。
mext.go.jp/content/202302…
44
#統計 学習指導要領解説(≠学習指導要領そのもの、厳密に区別せよ)にあるその教え方が、現実に実践され、実際に高校生を知的に潰している場合があることも実践教育研究の報告を見れば分かります。
生徒S7さんがかわいそ過ぎ。
生徒S7さんがかわいそ過ぎ。
黒木玄 Gen Kuroki@genkuroki
#統計 上で紹介した文科省著作物で示唆された教え方については添付画像のような実践報告がされています。
新素材の枕だけを試させてもダメで比較対象が必要だという非常にもっともな意見を述べている生徒S7の意見は潰されています。
jstage.jst.go.jp/article/jssep/…
新素材の枕だけを試させてもダメで比較対象が必要だという非常にもっともな意見を述べている生徒S7の意見は潰されています。
jstage.jst.go.jp/article/jssep/…
45
#統計 NHK高校講座もすごいことをやらかしています。
P値<5%なだけでコインが細工されていたことが確定したかのように説明されている。
P値<5%なだけでコインが細工されていたことが確定したかのように説明されている。
黒木玄 Gen Kuroki@genkuroki
#統計 NHK高校講座はさらに酷いことに！
有意水準5%の片側検定によって
【やっぱりこのコイン、細工されてたんだなあ。うん。ぼくの思った通りだったよ！こんなふうに数学的に確かめる方法があったんですね。すっきり～】
と述べているのは酷い。そんな方法はない。
nhk.or.jp/kokokoza/suuga…
有意水準5%の片側検定によって
【やっぱりこのコイン、細工されてたんだなあ。うん。ぼくの思った通りだったよ！こんなふうに数学的に確かめる方法があったんですね。すっきり～】
と述べているのは酷い。そんな方法はない。
nhk.or.jp/kokokoza/suuga…
46
#統計 で、今回の共通テストの問題が新たな事例として追加されたわけです。高校生への統計学教育は共通テストの段階でも有害なものになっている。
高校数学に仮説検定をねじ込むことに成功した人達は、こういう悲惨な現状についてきちんと責任を取らないとまずいです。歴史に悪名が残ると思います。
高校数学に仮説検定をねじ込むことに成功した人達は、こういう悲惨な現状についてきちんと責任を取らないとまずいです。歴史に悪名が残ると思います。
47
#統計 このスレッドの中には小学校5年生で習う割合について理解していれば十分な説明もあります。自分で手を動かして自分で計算することは必須。
この件は「Aと考えてもBと考えてもCと考えても普通に常識的にダメな考え方をしていることが分かる」という話で、小5レベルの説明もあります。
この件は「Aと考えてもBと考えてもCと考えても普通に常識的にダメな考え方をしていることが分かる」という話で、小5レベルの説明もあります。
KIRA*@kkqr
@genkuroki 高校数学レベルの私には少し難しいのですが、P値の閾値は5%と無条件で仮定するべきでは無い、実験ごとに決めるべきという話と、そもそもデータにバイアスがある可能性も考えてという話の2本立てなのかしら？
48
#統計 その小5レベルの説明は、モデルやデータ取得法や検出力の適切さを仮定していてもP値<αだけで判断してはいけない理由の説明になっています。これがベースラインの説明になります。
小5レベルの割合について理解していれば分かるはずの計算(分からない人は1週間くらいかけて考える価値がある)
↓
小5レベルの割合について理解していれば分かるはずの計算(分からない人は1週間くらいかけて考える価値がある)
↓
黒木玄 Gen Kuroki@genkuroki
#統計 P値<5%で二分法的な判断をするときには、
P値<5%という条件の下での帰無仮説が正しい条件付き確率
の大雑把な見積りが重要です。例えば薬の効き目については、「効果はゼロ以下」という帰無仮説が棄却されたのに実際には効果がゼロ以下である確率の見積もりは重要です。続く
P値<5%という条件の下での帰無仮説が正しい条件付き確率
の大雑把な見積りが重要です。例えば薬の効き目については、「効果はゼロ以下」という帰無仮説が棄却されたのに実際には効果がゼロ以下である確率の見積もりは重要です。続く
49
#統計 小5レベルの大学入試問題の例が以下のリンク先にある。その入試問題とP値<αという基準だけで判断してはいけない理由の小5レベルの説明は算数的に同じ仕組みになっています。
黒木玄 Gen Kuroki@genkuroki
#統計 しばらく前に某小学生に添付画像の問題(適当な仮定のもとで検査陽性となった人が実際に胃ガンである確率を求める問題)を解かせてみました。「確率」などの意味はその場で口頭で説明した。
この問題、小学生でも解けることが分かりました。
要するに陽性的中率の話は小学生レベルの話題。
この問題、小学生でも解けることが分かりました。
要するに陽性的中率の話は小学生レベルの話題。
50
#統計 多分このスレッドで話題にした共通テストの問題がダメな理由に興味があるが全然分からないと感じている人達が抱えている問題は、すでにどこかで「統計的有意性」についての権威的だが非論理的かつ非科学的な説明を聞いて精神的に受け入れてしまったことにあるのだと思います。
51
#統計 論理的であることや科学的であることは、「権威ある人も含めてみんな言っているように見えること」をきっちり否定するための強力な道具だと思います。
小学生レベルの算数への十分な理解(手を動かして試行錯誤することが基本)とちょっとした論理的スキルの組み合わせは実は相当に強力。
小学生レベルの算数への十分な理解(手を動かして試行錯誤することが基本)とちょっとした論理的スキルの組み合わせは実は相当に強力。
52
#統計 統計学も「権威ある人も含めてみんな言っているように見えること」をきっちり否定するための強力な道具であるべきなのですが、統計学について共通テストのような問題の出し方(共通テストに限らない！)を放置しておくと、世間的に統計学は「他人を騙す側の味方」だとみなされてしまうと思う。
53
#統計 補足
P値<αという基準で判断したときの確率的なリスクを低く抑えるためにはとのような条件があれば十分であるかについては以下のリンク先を参照。
これも、小5レベルの議論に含まれている。
P値<αという基準で判断したときの確率的なリスクを低く抑えるためにはとのような条件があれば十分であるかについては以下のリンク先を参照。
これも、小5レベルの議論に含まれている。
黒木玄 Gen Kuroki@genkuroki
#統計 補足
テストする薬の半分は効き目ゼロでもう半分は正の効き目があるとき、有意水準2.5%と検出力80%の片側検定によって帰無仮説の「効き目ゼロ」が棄却された薬の中での実際には効き目ゼロの薬の割合は
(0.025*0.50)/(0.025*0.50 + 0.80*0.50)≈3%
と小さくなります。続く
テストする薬の半分は効き目ゼロでもう半分は正の効き目があるとき、有意水準2.5%と検出力80%の片側検定によって帰無仮説の「効き目ゼロ」が棄却された薬の中での実際には効き目ゼロの薬の割合は
(0.025*0.50)/(0.025*0.50 + 0.80*0.50)≈3%
と小さくなります。続く
54
#統計 既出の資料(特にGreenlandさんの講演スライド)を見ても分かるように(P値について理解していれば(P値は推定のための道具であることを当たり前だと思っていれば))、「P値の代わりに信頼区間を報告する」もダメな考え方です。
Aというダメな考え方から別のBというダメな考え方に移るのはよく見る。
Aというダメな考え方から別のBというダメな考え方に移るのはよく見る。
黒木玄 Gen Kuroki@genkuroki
#統計
群盲撫P値関数
「これはP値」(null P値のこと)
「これは信頼区間」
「これは効果量」(点推定値)」
「統計的に有意！」
「P値を報告せずに信頼区間を報告する」
「P値は廃止するべき！」
imgflip.com/memetemplate/5…
群盲撫P値関数
「これはP値」(null P値のこと)
「これは信頼区間」
「これは効果量」(点推定値)」
「統計的に有意！」
「P値を報告せずに信頼区間を報告する」
「P値は廃止するべき！」
imgflip.com/memetemplate/5…
55
#統計 さらに、このスレッドの話題がややこしく見えてしまう人が多い理由は、本当はシンプルな話を統計学教育の伝統がダメな考え方で複雑化して来たことに精神的に影響を受けてしまっているから。
Greenlandさんの講演スライドを見れば分かるように非常に単純な話です。
Greenlandさんの講演スライドを見れば分かるように非常に単純な話です。
56
#統計 P値が推定のための道具であることについて解説。
P値は特定のモデルの下でのデータの数値xとモデルのパラメータθの設定値の相性の良さの指標。
特定の閾値でデータの数値と相性が良いとみなされるθの値の範囲がθの区間推定になり、データの数値と最も相性が良いθの値がθの点推定値になる。
P値は特定のモデルの下でのデータの数値xとモデルのパラメータθの設定値の相性の良さの指標。
特定の閾値でデータの数値と相性が良いとみなされるθの値の範囲がθの区間推定になり、データの数値と最も相性が良いθの値がθの点推定値になる。
黒木玄 Gen Kuroki@genkuroki
#統計
群盲撫P値関数
「これはP値」(null P値のこと)
「これは信頼区間」
「これは効果量」(点推定値)」
「統計的に有意！」
「P値を報告せずに信頼区間を報告する」
「P値は廃止するべき！」
imgflip.com/memetemplate/5…
群盲撫P値関数
「これはP値」(null P値のこと)
「これは信頼区間」
「これは効果量」(点推定値)」
「統計的に有意！」
「P値を報告せずに信頼区間を報告する」
「P値は廃止するべき！」
imgflip.com/memetemplate/5…
57
#統計 P値と仮説検定の関係。
P値は特定のモデルの下でのデータの数値とモデルのパラメータθの設定値の相性の良さの指標です。
特定の値θ₀と特定の閾値によって、データの数値とパラメータの値の設定θ=θ₀の相性が悪いと判断されるとき、仮説検定用語では「帰無仮説θ=θ₀は棄却された」という。
P値は特定のモデルの下でのデータの数値とモデルのパラメータθの設定値の相性の良さの指標です。
特定の値θ₀と特定の閾値によって、データの数値とパラメータの値の設定θ=θ₀の相性が悪いと判断されるとき、仮説検定用語では「帰無仮説θ=θ₀は棄却された」という。
黒木玄 Gen Kuroki@genkuroki
#統計
群盲撫P値関数
「これはP値」(null P値のこと)
「これは信頼区間」
「これは効果量」(点推定値)」
「統計的に有意！」
「P値を報告せずに信頼区間を報告する」
「P値は廃止するべき！」
imgflip.com/memetemplate/5…
群盲撫P値関数
「これはP値」(null P値のこと)
「これは信頼区間」
「これは効果量」(点推定値)」
「統計的に有意！」
「P値を報告せずに信頼区間を報告する」
「P値は廃止するべき！」
imgflip.com/memetemplate/5…
58
#統計 大学生向けの統計学入門の教科書の多くは、推定(点推定、区間推定)と仮説検定を別の章で説明し、まるで別の話であるかのように説明しており、ちょっと古い教科書だと推定と検定の両方の背景にあるP値に関する一般的な説明が載っていなかったりします。
それだと全体像(象🐘)が見えない。
それだと全体像(象🐘)が見えない。
黒木玄 Gen Kuroki@genkuroki
#統計
群盲撫P値関数
「これはP値」(null P値のこと)
「これは信頼区間」
「これは効果量」(点推定値)」
「統計的に有意！」
「P値を報告せずに信頼区間を報告する」
「P値は廃止するべき！」
imgflip.com/memetemplate/5…
群盲撫P値関数
「これはP値」(null P値のこと)
「これは信頼区間」
「これは効果量」(点推定値)」
「統計的に有意！」
「P値を報告せずに信頼区間を報告する」
「P値は廃止するべき！」
imgflip.com/memetemplate/5…
59
#統計 P値は特定のモデルの下でのデータの数値とモデルのパラメータθの設定値の相性の良さの指標。
「相性の良さ」はGreenlandさん達が提案している"compatibility"の翻訳語のつもり。
"compatibility"は伝統的用語"significance", "confidence"のせいで生じている誤解を無くすために提案された語。
「相性の良さ」はGreenlandさん達が提案している"compatibility"の翻訳語のつもり。
"compatibility"は伝統的用語"significance", "confidence"のせいで生じている誤解を無くすために提案された語。
60
#統計 伝統的に、P値<αのときに"statistically significant"(統計的に有意)という権威的に響く言い方をするのですが、P値は特定のモデルの下でのデータの数値とモデルのパラメータの値の設定の"compatibility"(相性の良さ)の指標の1つでしかない。実際にはP値<αであってもsignificantだとは限らない。
61
#統計 伝統的に"confidence interval"(信頼区間)という言い方をするのですが、信頼区間は特定のモデルと閾値の下でデータの数値と相性が良いとみなされるモデルのパラメータの値の範囲に過ぎない。信頼区間は信頼できるとは限らない。だから本当は信頼区間を「信頼区間」と呼ばない方がよい。
62
#統計
推定と検定の両方を与えるP値
と
ベイズ統計における特定のパラメータの事後分布
は互いに類似の関係になっており、P値の使用廃止を唱えることは、ベイズ統計での事後分布の使用の廃止を唱えることに相当に近くナンセンスです。
推定と検定の両方を与えるP値
と
ベイズ統計における特定のパラメータの事後分布
は互いに類似の関係になっており、P値の使用廃止を唱えることは、ベイズ統計での事後分布の使用の廃止を唱えることに相当に近くナンセンスです。
黒木玄 Gen Kuroki@genkuroki
#統計 「P値だけではなく～」「P値の代わりに～」と言う人達の意味でのP値は「効果はゼロ」という仮説のP値単体に過ぎず(所謂nullismという病気)、P値関数全体が見えていない。
Greenlandさんのような超大物達の啓蒙活動にもかかわらず、あまりにも多い。おそらく統計学ユーザー達の大部分がそう。
Greenlandさんのような超大物達の啓蒙活動にもかかわらず、あまりにも多い。おそらく統計学ユーザー達の大部分がそう。
63
#統計 「統計的に有意」「信頼区間」という伝統的な言い方を廃止することは、それらの用語のユーザーが増え過ぎているので、非常に困難だと思う。
専門用語は合理的な理由で決まらずに、歴史的な偶然で広まったものが生き残っていることが多いので、言葉で考えるだけだと誤解必至になってしまう。
専門用語は合理的な理由で決まらずに、歴史的な偶然で広まったものが生き残っていることが多いので、言葉で考えるだけだと誤解必至になってしまう。
黒木玄 Gen Kuroki@genkuroki
#統計 伝統的に、P値<αのときに"statistically significant"(統計的に有意)という権威的に響く言い方をするのですが、P値は特定のモデルの下でのデータの数値とモデルのパラメータの値の設定の"compatibility"(相性の良さ)の指標の1つでしかない。実際にはP値<αであってもsignificantだとは限らない。
64
#統計 世界最高レベルの専門家(例えばGreenlandさん)は、「統計的に有意」(statistically significant)や「信頼」(confidence)のような伝統的な言い方は廃止した方が良いと言っています。これが事実であることは以下のリンク先を見れば分かる。
日本語圏でもこの事実情報をもっと拡散するべき。
日本語圏でもこの事実情報をもっと拡散するべき。
Sander Greenland@Lester_Domes
@david_colquhoun @vamrhein @dailyzad @learnfromerror David, would you please be clear that our call is to retire deceptive terms like "significance" and "confidence" to describe P-values and intervals based on P-value functions (which show the compatibility of effect sizes with data), NOT to retire P-values bmcmedresmethodol.biomedcentral.com/articles/10.11…
65
#統計 「統計的に有意」、「信頼」、null hypothesisの「null」などは確かにほとんどの統計学ユーザーに誤解を与えているので廃止したいという意見は当然出るべき。純合理的な提案。
ところが、Greenlandさんも嘆いていますが、P値の廃止の主張だと誤解されてしまった。P値は無罪です。
ところが、Greenlandさんも嘆いていますが、P値の廃止の主張だと誤解されてしまった。P値は無罪です。
66
#統計 Greenlandさん達はP値やP値から得られる信頼区間などの使い方について沢山論文を書いているのですが、実際に読んでみると、非自明で難しいことは書かれておらず、普通の科学的常識があれば当たり前のことしか書かれていない。
科学的に非常識で有害なスタイルが広まったことへの対抗措置。
科学的に非常識で有害なスタイルが広まったことへの対抗措置。
67
#統計 科学的に有害なスタイルを教育によって普及維持することに対しては徹底的に厳しく批判しないとまずい。
P値が5%未満になっただけで「キャンペーンAの方がよい」と判断しては__いけない__と教えるべきなのに、共通テストでこういう問題を出してしまっているわけ。
P値が5%未満になっただけで「キャンペーンAの方がよい」と判断しては__いけない__と教えるべきなのに、共通テストでこういう問題を出してしまっているわけ。
黒木玄 Gen Kuroki@genkuroki
#統計 うわっ！
以前から危惧していた通りに、アメリカ統計学界のASA声明に違反しているP値の使い方を仮定している問題が出題されたようだ。
こういう問題を作った人とそのまま出すことを許可した人達に何らかのペナルティーが課せられるべきだと思いました。続く
以前から危惧していた通りに、アメリカ統計学界のASA声明に違反しているP値の使い方を仮定している問題が出題されたようだ。
こういう問題を作った人とそのまま出すことを許可した人達に何らかのペナルティーが課せられるべきだと思いました。続く
68
#統計 「P値<αならば帰無仮説は誤りだと判断して良い」と信じてしまっている人達は、統計学の教科書に書いてあるデタラメに洗脳されてしまっているのだと思います。
常識的にダメだとすぐに分かる考え方であっても教科書に書いてあると騙される場合がある。
佐藤俊哉先生の講義動画がお勧め！
常識的にダメだとすぐに分かる考え方であっても教科書に書いてあると騙される場合がある。
佐藤俊哉先生の講義動画がお勧め！
黒木玄 Gen Kuroki@genkuroki
#統計 「統計的有意性とP値に関するASA声明」の翻訳者の佐藤俊哉先生による素晴らしい講義動画もよく紹介されています。これも統計学を教える仕事をする人は視聴しておいた方がよい。教科書に誤りが書いてあることを明瞭に説明している。教科書通りに講義をしてはいけない。
youtu.be/vz9cZnB1d1c?si…
youtu.be/vz9cZnB1d1c?si…
69
#統計 Greenlandさんは discourse.datamethods.org/t/principles-a… で、有意性にこだわる雑誌や共著者対策についても説明しています。
それを読んで私は、Greenlandさん達の各種の提案に従うことはそんなに厄介なことにはなってなさそうだと思いました。厄介だと思っていること自体が真に厄介な誤解なのかも。
それを読んで私は、Greenlandさん達の各種の提案に従うことはそんなに厄介なことにはなってなさそうだと思いました。厄介だと思っていること自体が真に厄介な誤解なのかも。
黒木玄 Gen Kuroki@genkuroki
#統計 Greenlandさんは、「P値<0.05」のように固定された単一の有意水準による2値的判断の情報だけを報告することを禁止しており、「P値=0.03」のようにP値の具体的な値も報告するべきだとしています。
統計学の講義を実践的な応用に繋がる内容にするにはP値の解説は重要。
discourse.datamethods.org/t/principles-a…
統計学の講義を実践的な応用に繋がる内容にするにはP値の解説は重要。
discourse.datamethods.org/t/principles-a…
70
#統計 「検定ではなく信頼区間を使おう」という提案が現実に失敗していることについては、以下のリンク先で紹介している論文を参照。
黒木玄 Gen Kuroki@genkuroki
#統計 これもおもろい。
これを読んだ人は「仮説検定よりも信頼区間を使おう」という提案が現実には失敗していることも学べる。
academic.oup.com/aje/article/18…
Invited Commentary: The Need for Cognitive Science in Methodology
Sander Greenland
15 September 2017
一部の機械翻訳
↓
これを読んだ人は「仮説検定よりも信頼区間を使おう」という提案が現実には失敗していることも学べる。
academic.oup.com/aje/article/18…
Invited Commentary: The Need for Cognitive Science in Methodology
Sander Greenland
15 September 2017
一部の機械翻訳
↓
71
#統計 「P値<5%ならば帰無仮説は誤っていると判断して良い」は誤り。
「帰無仮説の下でのモデルの確率分布においてP値<5%となる確率」は約5%になる。
しかし、仮にモデルが正しいとしても「P値<5%という条件の下での帰無仮説が正しい確率」が小さくなるとは限らない。実際にそうなることが多い。
「帰無仮説の下でのモデルの確率分布においてP値<5%となる確率」は約5%になる。
しかし、仮にモデルが正しいとしても「P値<5%という条件の下での帰無仮説が正しい確率」が小さくなるとは限らない。実際にそうなることが多い。
黒木玄 Gen Kuroki@genkuroki
#統計 添付画像は toshintimes.com/uploadPdfs/bac… より。
こういう問題が(また)出題される可能性があることを知った高校生は、ASA声明に反するやる方を高校生時代に一所懸命勉強するようになる。
大学入学後に脱洗脳が必要になる。
こういう問題が(また)出題される可能性があることを知った高校生は、ASA声明に反するやる方を高校生時代に一所懸命勉強するようになる。
大学入学後に脱洗脳が必要になる。
72
#統計 扱う帰無仮説達の中で正しいものの割合が高ければ、
P値<αという条件の下での帰無仮説が正しい確率
はαよりもずっと大きな値になる。大雑把には、事前に扱う帰無仮説達の中で正しいものの割合を半分未満にできていれば、上記の確率をα以下程度に抑えられる。事前調査も非常に重要。
P値<αという条件の下での帰無仮説が正しい確率
はαよりもずっと大きな値になる。大雑把には、事前に扱う帰無仮説達の中で正しいものの割合を半分未満にできていれば、上記の確率をα以下程度に抑えられる。事前調査も非常に重要。
黒木玄 Gen Kuroki@genkuroki
#統計 P値<5%で二分法的な判断をするときには、
P値<5%という条件の下での帰無仮説が正しい条件付き確率
の大雑把な見積りが重要です。例えば薬の効き目については、「効果はゼロ以下」という帰無仮説が棄却されたのに実際には効果がゼロ以下である確率の見積もりは重要です。続く
P値<5%という条件の下での帰無仮説が正しい条件付き確率
の大雑把な見積りが重要です。例えば薬の効き目については、「効果はゼロ以下」という帰無仮説が棄却されたのに実際には効果がゼロ以下である確率の見積もりは重要です。続く
73
#統計 この話の数学的難易度は小5の算数レベル(割合について小5で習う)なのですが、その小5レベルの話は、大学以降も含めて繰り返し教える価値があります。
このあたりの話は数学的には算数レベルだが、ヒトにとって直観的な処理が難しい事柄を扱っているので、大人になってからも教える価値がある。
このあたりの話は数学的には算数レベルだが、ヒトにとって直観的な処理が難しい事柄を扱っているので、大人になってからも教える価値がある。
黒木玄 Gen Kuroki@genkuroki
#統計 しばらく前に某小学生に添付画像の問題(適当な仮定のもとで検査陽性となった人が実際に胃ガンである確率を求める問題)を解かせてみました。「確率」などの意味はその場で口頭で説明した。
この問題、小学生でも解けることが分かりました。
要するに陽性的中率の話は小学生レベルの話題。
この問題、小学生でも解けることが分かりました。
要するに陽性的中率の話は小学生レベルの話題。
74
#統計 P値<αのときの言い方として「統計的に有意」や「帰無仮説は棄却された」しか知らないと、結果的にそのように言ってしまい、科学的にまともな人扱いされない立場に立つことになる。
現時点では科学的にまともな人扱いされない立場の人達の側が多数派なのでしばらくは逃げ切れるでしょうが。続く
現時点では科学的にまともな人扱いされない立場の人達の側が多数派なのでしばらくは逃げ切れるでしょうが。続く
75
#統計 しかし、P値<αのときの言い方として、
〇〇というモデルと閾値αの下で
パラメータθに関する仮説「θ=θ₀」(θ₀は具体的な数値)と
データの数値の相性は悪いと判断される
もあることを知っていれば話は違って来ます。続く
〇〇というモデルと閾値αの下で
パラメータθに関する仮説「θ=θ₀」(θ₀は具体的な数値)と
データの数値の相性は悪いと判断される
もあることを知っていれば話は違って来ます。続く
76
#統計 例えば、A君がB君と相性が悪いだけでA君は悪いやつだと決めつけてはいけないように、仮説「θ=θ₀」とデータの数値の相性が悪いだけで仮説「θ=θ₀」を否定してはいけない。「相性の良さ/悪さ」という言い方であれば、それだけから強い結論を出すことは不当であることが分かり易くなります。
77
#統計 強い結論を出せなくても、「〇〇ではないか？」と示唆するだけでも素晴らしい貢献になっている場合もあるので、「P値<αなだけで強い結論を出せるかのように語るな」と厳しく言われても、科学的には困ることは全然ないと思います。
より具体的にはリンク先の論文の提案に従えばよい。
より具体的にはリンク先の論文の提案に従えばよい。