统计显著P<0.05就真的有意义吗？

zhshoubo

随着不断进行6SIGMA内训，工程师分析数据的能力有明显的提高，同时也出现了一些误区。
对比检验时一旦P值小于0.05就开始下结论，说有显著性差异。而忘记了这个差异在现实环境中是否有我们预期的那么大。

skyfree

统计上的检验要对照着实际情况去看，不能单纯的数值，统计意义上的结论不一定有现实意义。
另外，P>0.05，也是要看实际情况的。就像P=0.0495 与P=0.0501 真有很大区别嘛！

applecopperxie

这个P值的理解是和当前的运行状态息息相关的，例如一个本来波动就很大的过程，将P值设定为0.1也可以看出是否有区别，但对一个波动本来就很小的过程，P值设置到0.01可能才能发现改善是否有效，比如航空工业中的要求P值可能是0.01甚至更低，但一般的工业生产就不需要这么高要求了。
不知道我将明白没有！呵呵这个问题也是我请教了天津大学的马逢时教授后才理解的，感谢马教授

dadadoufu

在进行假设检验前做好能够计算一下样本量，以控制第二类错误的风险。一般的假设检验对第一类错误的概率控制的0.05，而第二类错误的概率需要通过计算样本量来进行控制。很有可能由于样本量不够，导致检验的P>0.05，所以计算样本量是控制第二类错误风险的有效方法，既可以控制两类错误的风险概率，又不会因为样本量太大造成不必要的浪费。

核桃木瓜

skyfree 发表于 2013-8-28 16:18
统计上的检验要对照着实际情况去看，不能单纯的数值，统计意义上的结论不一定有现实意义。
另外，P>0.05， ...

现在很多研究都在质疑“严守.01；严守.05”的信条，承认边缘显著的意义，也要结合研究目的和实际意义来推断。接受或者拒斥了零假设，只是描述研究结果本身，还不足以做结论和进一步推论。
另外除了看P值，也有看效应量的

wang1568

dadadoufu 发表于 2013-8-28 17:16
在进行假设检验前做好能够计算一下样本量，以控制第二类错误的风险。一般的假设检验对第一类错误的概率控制 ...

通过软件我们可以迅速得到 P值，但也常常忽视检出力(Power)
用Power控制Type II error

钊铭直言

通过P值，我们是对我们提出的假设进行验证！

wxz0716

P值只是统计学意义，真正用起来还要和实际的现实意义结合起来，同时也跟样本量有关，比如有10000的样本，率的比较可能99%就比98%差异有统计学意义了，但是实际上意义并不大。再比如降血压的药从140降低到了136，p<0.05了，但是还是没什么意义，血压还是高！总的来说就是要分清统计学意义与实际意义，只是大家可能更多的关注p值罢了。

hoyle_xu

黄羊山客 发表于 2013-8-28 16:31
在进行假设检验前做好能够计算一下样本量，以控制第二类错误的风险。一般的假设检验对第一类错误的概率控制 ...

由于是新手，所有有个问题想请教下，我在测试时也质疑样本量的大小。这个有什么规则可依吗？谢谢

hoyle_xu

黄羊山客 发表于 2013-9-5 12:34
假设检验一般会控制第一类错误的风险，第二类错误风险的控制则需要通过样本量的计算来进行。你可以取beta（ ...

谢谢指导 ！