皆さん、こんにちは。
今回で「統計学」シリーズは最終回です。
最後に紹介するのは、統計学的に仮説が正しいのかを検証する「仮説検定」です。
1. 仮説検定の具体例(t検定)
今回は、いきなり具体例から考えてみたいと思います。
「仮説検定」の例は、例えば次のような検証になります。
いくつかサンプルを調べた結果果汁割合が記載量より少なかったため、この人(以後Aさんとします)は「果汁割合が減っただろ!?」と主張し、ジュースメーカーに対して苦情を申し入れたという感じです。
さて、果汁割合は本当に「減った」といえるのか?この仮説を統計学的に検証するのが「仮説検定」です。
仮説検定を行う際には、「帰無仮説」と「対立仮説」という2つの主張を立てます。
今回の場合は次のようになります。
帰無仮説というのは文字通り「無に帰したい」主張のことで、要するに否定したい主張です。
今回の場合は、Aさんは「果汁割合の平均値が減った」という主張を通したいので、その反対の主張「果汁割合の平均値は変わらない」が帰無仮説となります。
(※統計データから「果汁割合が増えた」は考えられないので除外します)
一方の対立仮説は、帰無仮説と対立する主張、要するに自分が通したい主張です。
そして、仮説検定では、一旦帰無仮説を認めて、その上で帰無仮説の妥当性を検証するのがポイントです。
今回の場合は「果汁割合の平均は20%のまま変わってない」という帰無仮説を一旦信じて、その主張の妥当性を検証します。
帰無仮説を信じた場合、次の確率変数Tは、
(※Xバーは10本分の標本平均18%、μはジュース全体の平均20%、U^2は10本分の不偏分散(3.0%)^2、nは標本数10)
自由度9のt分布に従います。
母集団の平均値を推定しよう ~スチューデントのt分布~ - ちょぴん先生の数学部屋 (hatenablog.com)
この時、Aさんの主張に有利になるように、有意水準5%の棄却域を設定します。
帰無仮説の言い分に従って確率分布を作り、Aさんのデータから求まるTの値がもし棄却域に入っていれば、Aさんのデータは確率5%以下でしか発生しないレアな現象だと言うことができます。その結果を以て「帰無仮説の主張は間違っている」と判断するわけです。
Aさんにとっては、手持ちのTの値ができるだけ左側にあって欲しいので、より棄却域に引っかかりやすくなるように左側に5%の棄却域を設けるわけです。
話を戻します。
自由度9のt分布で、左側5%に対応する横軸の値は、-1.833となります。
(※こちらのt分布表を参照しました。20-2. t分布表 | 統計学の時間 | 統計WEB )
一方で、Aさんが調査したデータに基づいてTを計算すると、
となって、値は-1.833未満、つまり棄却域に入ります。
よって、結論を統計学の用語で記述すると、
『帰無仮説「果汁割合の平均は20%のまま変わっていない」は棄却され、対立仮説「果汁割合の平均は20%から減った」が採択される。』
要するに、統計学的には帰無仮説は間違っていて、Aさんの主張が正しい(=果汁割合の平均は有意に減少した)、と判断できます。
(※「有意に」というのは、マグレではない、といった意味合いの言葉です)
(補足1)棄却域の設定の仕方によっては結論が逆転する場合がある
もし、Aさんの主張(対立仮説)が少しだけ緩くて「果汁割合の平均が20%から『変わった』」だったらどうでしょう?
この場合は、有意水準5%の棄却域は、t分布の両脇に2.5%ずつ配置します。
対立仮説が『変わった』の場合、AさんにとってはTの値は0から離れてさえいれば左右どちらに振れても構わないことになります。よって、より棄却域に引っかかるようにするには左右に棄却域を設定すればいいことになります。
t分布で両脇が2.5%ずつになる横軸の値は±2.262です。
Aさんの調査結果②は-2.108なので、残念ながら棄却域の外に出てしまいます。
つまり、Aさんの調査結果は帰無仮説を仮定してもレアな現象ではなく、メーカーからすれば「その結果はマグレだよね?」と言い返せてしまうわけです。
というわけで、帰無仮説は棄却されず、受容されることになります。
「減った」という主張を対立仮説にした場合とは結論が変わりましたね。
ここで、よくある誤解・誤用(悪用)があるので予め注意しておきます。
それは表題通り、仮説検定の結果、帰無仮説が棄却されなかったとしても、だからと言って「帰無仮説が正しい」ということにはならない。ということです。
あくまで、あるデータを使った場合は帰無仮説を否定しきれなかった、に過ぎないのです。別のデータを持ってこられた結果帰無仮説が棄却されることは当然あり得ます。
つまり、仮説検定で帰無仮説が受容された場合は「帰無仮説が間違いとは言い切れない」ぐらいのニュアンスでとらえておくべきです。
時々、自分と反する主張について仮説検定を行った結果、帰無仮説(この場合は自分に都合のいい結論)が棄却できなかったことをいいことに
「ほら、俺の主張(帰無仮説)は正しいんだ!だからあいつの主張(対立仮説)は間違いだ!!」
とドヤ顔で論破した気になってる人がいますが、それは典型的な仮説検定の誤用・悪用ですので、騙されないようにしましょう。
↓参考ツイート
藤井聡氏,まったく統計的検定を理解してない.「単位根検定が棄却できないので単位根がある」とか,あまりにド素人すぎる間違い….これは超恥ずかしいと思わないと相当アホ.そもそも人出の話は感染症疫学モデルからきてるから,政治判断ありきとかじゃないんで… https://t.co/2ZzDfeztLs
— Yuta Kashino (@yutakashino) 2022年2月18日
2. ウェルチの検定
先ほどは母平均そのものについて仮説検定を行いました(検定にt分布を使うのでt検定と呼ばれます)。
今度は、2つの平均値があった時に、両者に差があるか否かを検定する「ウェルチの検定」を紹介します。
ウェルチの検定とは次のようなものです。
帰無仮説を「両者の平均が等しい」とする仮説検定で、こちらでもt分布を使って検定します。自由度νの式がやたら複雑ではありますが・・・・
早速、こちらも具体例でみていきましょう。
次のような検定を考えます。
以後、日本人全体の集合をA、アメリカ人全体の集合をBとして説明します。
まずは、③で定義される確率変数Tの従うt分布の自由度νを求めます。
データの値は
なので、④に従ってαを計算すると、
となるので、自由度νはこの値に最も近い整数、つまり、
となります。
というわけで、Tは自由度172のt分布に従うのですが、こんなに大きい自由度のt分布の表は普通載ってません。
ここで、思い出してほしいのは、n→∞で自由度nのt分布は標準正規分布に収束すること。
自由度172のt分布はもはや標準正規分布で代用して問題なさそうなので、以後標準正規分布で検証を進めます。
今回の検定の対立仮説は「アメリカ人の平均身長μBのほうが、日本人の平均身長μAよりも大きい」なので、T<0が望ましい状況です。
よって、有意水準5%の棄却域は、左側だけに設定します。
正規分布表標準正規分布表で5%となる横軸の値を調べると、-1.64となります。
調査の結果得られたデータからTを計算すると、
となって、-1.64よりも左側、つまり棄却域に入ります。
よって、帰無仮説「日本人とアメリカ人とで平均身長は変わらない」は棄却され、対立仮説「アメリカ人の平均身長の方が、日本人の平均身長よりも大きい」が採択されます。
ウェルチの検定は、昨今話題となっている「治療薬の効果・副作用」「ワクチンの効果・副反応」を検証するのにも役立ちます。
薬を投与したグループ(介入群)と、投与しなかったグループ(対立群、プラセボ群)のそれぞれに対して統計データを取って、それらに差があるか否かをウェルチの検定で検証し、効果or副作用があるか否かを判断することになります。