95%信頼区間とエラーバーと有意差について

どうも、月見（@Suzuka14144156）です。

今回の記事では、95%信頼区間とエラーバーと有意差についてまとめます。

そこで本記事は、以下のようなお悩みをお持ちの方におすすめの記事です。

悩む人

95%信頼区間のエラーバーが重なる場合は有意差なしなのか？

つまり、95%信頼区間のエラーバーが重なる場合でも、有意差がある場合はある。

一般的にP<0.05とするが、この場合においても95%信頼区間のエラーバーが重なる場合でも、有意差がある場合はある。

なぜ本記事を書いているかというと・・・95%信頼区間のエラーバーが重なる場合は有意差なしと解説しているサイトがあるためです。

データサイエンスや、研究の世界では、こういった情報で論文や報告書を書いてしまうと大問題になることがあります・・・。

筆者が読んだ限りこの論文が参考になるかと思います。

今回は、95%信頼区間のエラーバーが重なる場合でも2標本のt検定にて、それを示したいと思います。

以下のグラフに示すように若干95%信頼区間のエラーバーが重なっているデータを用います。

データ詳細

t検定の結果は、以下です。

P(T<=t)両側の値が、0.05以下であることから、帰無仮説を棄却できます。

つまり、有意差はないとは結論付けることはできないです。

まず、エラーバーが「標準偏差」「標準誤差」「95%信頼区間」どれを示しているのかを確認する
標準偏差：標本のばらつき（平均から1σ（プラスマイナス標準偏差）範囲には約68%の要素が含まれ、2σ範囲には約95%、3σ範囲には約 99.7%が含まれる。）
標準誤差：標本平均のばらつき
95%信頼区間：母集団から標本を取ってきて、その平均から95%信頼区間を求める、という作業を100回やったときに、95回はその区間の中に母平均が含まれるという区間

これを頭に入れて、データを見るときの指標にするというのが大事です。

有意差あり/なしは雑に判断することは、できます。

しかし、有意差は正確には、エラーバーだけでは判断できないことに注意しましょう。

ちなみに95%信頼区間のエラーバーが、重ならない場合は有意差なしとは言えない（P<0.05）と判断しても差し支えないです。