统计显著P<0.05就真的有意义吗？

lulin147

统计可以给我们的判断提供依据，但并不能决定判断，要将统计的方法与实际的相结合去看问题！

jiasongchen

钊铭直言 发表于 2013-8-30 09:59
通过P值，我们是对我们提出的假设进行验证！

其实P<0.05值是否有意义很大程度上取决于在运用样本计算工具时设定的“D”。以双样本均值检验为例： 即 "Difference to detect"，根据下面的公式就可以理解，样本计算其实就是通过你设定的“D”值，求出满足你控制a,b风险的样本数量的最小值。

“D” 设定太高即使P>0.05也可能错过对于研究的科目（即实际）有意义的差异; 相反如果设定太低即使P<0.05也可能找到差异对于研究的科目（即实际）没有什么意义（差异太小了）。


如何设定合理“D” 的值呢？一般推荐接近为目前制成波动（标准偏差）的26%， 但也要根据具体案例要求。

核桃木瓜

hoyle_xu 发表于 2013-9-5 12:20
由于是新手，所有有个问题想请教下，我在测试时也质疑样本量的大小。这个有什么规则可依吗？谢谢

样本量，似乎每个行业的研究都有约定俗成的规定，N>多少就是大样本了。原理跟中心极限定理有关

jiasongchen

jiasongchen

根据公式，对于研究的制程它的S（标准偏差），设定的Alpha,Beta不偏的情况下，Detal （Difference to Detect) 越大，样本越小，反之就变大。

jappe2009

不错，近期就是这个问题，一直未找到原因。

jappe2009

file:///C:/Documents%20and%20Settings/Administrator/%E6%A1%8C%E9%9D%A2/1.png

niksong

样本量,功效,显著性水平以及均值差异之间是有数学关系的,这就决定在做假设检验之前,原则上最好先确定总体均值差异(也就是工程经验上认可的最小差异,低于这个差异而做的改变可能没有太大意义,或者投资产出不划算),然后就是功效,显著性水平(第一类风险)等,之后就可以计算样本量了;
从这个意义上来说呢,样本量并不是越大越好的,原则上只要样本量足够大,P值迟早都会小于0.05,但是其检验出来的总体均值差异实际会很小,这样就没有太大意义了;
所以样本量这东东还是挺有意义的,学假设检验后建议还是要深入学习一下样本量相关知识;
另外,如果对样本量不太熟悉,建议在解读假设检验的结果时,一定要结合置信区间来看,因为它所涵盖的信息比一个单纯的P值要大的多.

shenweis

常见的两种统计结论的表述：
第一种：p＞0.05时称：无差异；p≤0.05时称：有显著性差异；p≤0.01时称：有非常显著性差异。
第二种：p＞0.05时称：无统计学意义；p≤0.05时称：有统计学意义；p≤0.01时称：有高度统计学意义。

我认可第二种表述，因为P值不反应差异的大小，只反应有没有差异的可能性——概率。