P值、显著性水平和假设检验

6

我对P值的概念感到困惑。通常情况下,如果P值大于0.05的阈值α,我们无法拒绝零假设;如果P值小于α,则拒绝零假设。据我所知,如果P值大于α,则两组之间的差异仅来自抽样误差或偶然性。到目前为止一切都好。然而,如果P值小于α,结果就是统计显著,而我本以为它是统计不显著(因为,在P值小于α的情况下,我们拒绝零假设)。

基本上,如果结果具有统计意义,我们拒绝零假设。但是,如果它具有统计意义,如何拒绝假设呢?从“统计显著”这个词来看,我理解这个结果是好的。


1
请尝试在这里:http://stats.stackexchange.com/。 - yossico
3个回答

9

你误解了P值中“显著性”的含义。

我会在下面尝试解释:

假设有一个测试,测试两个总体的均值是否相等。我们将通过从每个总体中抽取一个样本并计算P值来执行T检验。

零假设和备择假设:

H0: m1 - m2  = 0
H1: m1 - m2 != 0 

这是一个双侧检验(虽然对此并不重要)。

假设您得到了一个p值为0.01,而您的α值为0.05。P值是从两个总体(m1和m2)中抽样时平均数相等的概率。这意味着只有1%的概率会出现平均差为0的样本对,也就是说只有100个样本对中才有1个样本对的平均差为0。

两个均值相等的概率如此之低,使我们有信心(确信)认为这两个总体的均值不相等,因此我们认为结果在统计学上具有显著性。

那么使我们认为结果具有显著性的阈值是多少呢?这由显著性水平(a)确定,在这种情况下为5%。

P值小于显著性水平是使我们认为结果具有显著性的原因,因此我们确信可以拒绝零假设,因为零假设为真的概率非常低。

希望现在解释清楚了!


1
非常感谢,这非常有帮助。 - Ram
很高兴能够帮助到您 :) - LyzandeR
4
p值并不是“零假设成立的概率”,而是“在零假设成立的情况下,达到超过阈值的可能性”。 - Zelong
@Zelong 谢谢。我在那个句子中使用了错误的措辞。有时候,当我试图用通俗的英语向某人解释一个统计概念时,我更注重解释,有时会说出一些在统计上不太准确的话。不过,这个概念在下一个句子中被正确解释了。我已经更新了答案。 - LyzandeR

2
让我举一个我经常用来向学生解释零假设、α和显著性概念的例子。
假设我们在打扑克牌。我发牌,然后我们下注。嘿,真幸运!我第一手就得到了同花顺。你咒骂自己的运气,我们再来一局。我又得到了同花顺并赢了。再来一局,我又得到了四个A,这时你猛地踢了一下桌子并称我为骗子:“这是胡扯!你想骗我的钱!”让我们用概率来解释这个情况:第一手得到同花顺是有可能的,任何人都有可能走运。连续两次走运的概率要小得多。最终连续三次走运的概率也很小。但是在第三次时,你说:“你这么走运的概率太小了。我拒绝认为你只是走运。我认为你是个骗子。”也就是说,你拒绝了零假设(即什么都没有发生的假设)。
在所有情况下,零假设都是:“我们观察到的这件事是随机事件的结果。”在我们的例子中,零假设是:“我一直得到这么好的牌,只是因为我很幸运。” p值是与事件相关联的值,假设它是随机发生的。你可以计算出在洗牌后获得好牌的概率。例如:如果我抛掷一个公平的硬币20次,得到20个正面的概率是1/(2^20) = 0.000000953(非常小)。这就是抛20次硬币得到20个正面的p值。
“统计显著性”意味着“这个事件似乎很奇怪。它发生的概率非常小,不可能只是巧合。因此,我会拒绝零假设。”
α或临界p值是你“猛地踢桌子”并拒绝零假设的神奇点。在实验应用中,你需要事先定义它(例如,α=0.05)。在我们的扑克牌例子中,你可以在三次走运手或12次中有10次时称我为骗子。这是一个概率的阈值。

1

对于p值,您至少应该了解零假设备择假设。零假设意味着我们举个例子,有两朵花,它表明它们之间没有显著差异,而备择假设则表明它们之间存在显著差异

对于p值的显著性水平,大多数数据科学家将其视为0.05,但这是基于研究(显著性水平)的价值。可取为P值的值: 0.5 0.05 0.01 0.001

现在你已经得到了p值,接下来该怎么办?


如果您的模型p值为0.03,而且您所选取的显著性值为0.05,那么您需要拒绝零假设,这意味着两种花之间存在显著差异,或者简单地说。

您的模型的p值<显著水平,则拒绝它


你的模型p值大于显著水平,因此零假设将被接受。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接