设为首页收藏本站

JMP数据分析论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 2646|回复: 9

简单说说失拟合检验

  [复制链接]
发表于 2014-4-30 11:48:45 | 显示全部楼层 |阅读模式
本帖最后由 shenweis 于 2014-4-30 11:50 编辑

   
    JMP“失拟合”表给出了一个特殊的诊断检验,并且只有在数据和模型适宜时才出现。其原理为有时可以在不管模型形式是否正确的情况下估计误差方差。如果观测值对于变量 X 而言彼此完全重复,就会出现这种情况。可将这些完全重复值测量的误差称为纯误差。不管模型使用的是什么样的 X 变量形式,都无法解释或预测的样本误差的全部。但是,如果自由度很少,即很少重复的 x 值,则失拟合检验可能用处不大。
    模型残差和纯误差之间的差称为失拟合误差。如果某些回归量的函数形式错误,或方差分析模型中交互作用效应太少,失拟合误差可显著大于纯误差。这种情况下,应考虑添加交互作用项(如果需要),或尝试较好地获取回归量的函数形式。
没有失拟合检验的情况通常有以下两种:
    相对于 X 数据没有完全重复点,因此纯误差没有自由度。
模型达到饱和,意味着该模型本身的每个不同 x 值都有一个自由度,因此失拟合没有自由度。
    回归分析中安排重复试验的目的是在于弄清影响Y 的因素除X 外,是否还有不可忽视的其他因素。如果除X 的影响外,还有其他未控制的,不可忽视的影响因素掺杂(包括交互作用),则此回归方程的拟合效果不能算是好的,称为失拟。此时,即使假设检验的结果是“回归方程有显著性”,仅能说明X对Y 有影响,并不能表明拟合的很好。因此,对于包含重复试验数据的资料,则可以通过对期望函数进行失拟检验来实现。
    失拟检验的目的是确认当前的模型是否可用或很好。
判断模型好坏主要通过残差分析,而残差是由两部分组成的; 一部分是随机的,即使模型拟合得再好,它也消除不了,称为随机误差或纯误差;另一部分与模型有关,模型合适,这部分的值就小,模型不合适,这部分的值就大,称为失拟误差。
    失拟检验就是以失拟误差对纯误差的相对大小来作判断的:如果失拟误差显著地大于纯误差,那么就放弃模型;如果并不显著地大于纯误差,那么就可以保留该模型。
    失拟检验的P>0.05:方差分析的p<0.05,模型很好,P>0.05,模型不可用;
    失拟检验的P<0.05:方差分析的p<0.05,模型可用,但不是很好,需要改进,P>0.05,模型不可用。
    如有不妥,请不吝指教,谢谢!
回复

使用道具 举报

发表于 2014-5-3 11:31:15 | 显示全部楼层
本帖最后由 niksong 于 2014-5-3 11:33 编辑
shenweis 发表于 2014-5-3 01:30
这个出自方开泰的试验设计与建模第43页,我只是“翻译”了一下,请兄弟具体说明一下你的理解。

欢迎大 ...

哈哈,并没有反对这些话的意思,只是从我个人的角度来稍微咬文嚼字一下.
失拟检验的P>0.05:方差分析的p<0.05可能说明模型模型是可用的,但是并非就能说明很好,模型的好与不好还是得看残差误差或R方或调整的R方或误差预测平方和等.
至于失拟检验最主要的目的是确认现有模型是否合适或者是否有进一步的改进空间,有可能这个模型很好了(例如R方达到90%以上),但是失拟检验P值却小于0.05,那只能说明模型还有进一步有优化的空间(例如还缺少显著项,高阶项等)但并不是说这个模型就是完全失效的,只是说,嗯,你还可以变得更好.
当然,是否需要进一步优化,那得根据你的实际需要,因为改进从某种程度上是需要更多数据或成本的,例如全因子的试验要添加二次项则需要变成响应曲面设计,需要更多试验数据,如果你觉得这是需要值得的,那么请继续,如果你觉得全因子得出的结论已经达到了你的要求,那么严谨地说,也不能说这个模型是不可用的,只是其拟合程度不如响应曲面而已.
引用一句大牛的话:"所有的模型都是错的,只是一些确实有用而已". 所以从这点来说,最后的模型拟合程度的要求是和你的目的很相关的.
哈哈,不过回过头再看看这些红字也没啥问题,就当练练打字,相互交流!
回复 支持 1 反对 0

使用道具 举报

发表于 2014-5-2 21:34:09 | 显示全部楼层
理论分析有点蒙!主要还是看P值。谢谢楼主分享
回复 支持 反对

使用道具 举报

发表于 2014-5-3 00:19:51 | 显示全部楼层
红色字体的说明从严谨的角度来说还需商榷.
回复 支持 反对

使用道具 举报

 楼主| 发表于 2014-5-3 01:30:27 | 显示全部楼层
本帖最后由 shenweis 于 2014-5-3 11:18 编辑
niksong 发表于 2014-5-3 00:19
红色字体的说明从严谨的角度来说还需商榷.


这个出自方开泰的试验设计与建模第43页,我只是“翻译”了一下,请兄弟具体说明一下你的理解。

欢迎大家发表高见,只到能全面正确认识失拟检验。

请看原书内容:
步骤1. 做失拟检验
          接受H0:转步骤2;
          拒绝H0:转步骤3.
步骤2. 把失拟项和纯误差项的自由度及平方和各自相加,称为误差项,计算该项均方,做F检验
          接受H0:当前模型不可用;
          拒绝H0:当前模型很好。
步骤3. 计算F=MSR/MSPE,做F检验
          接受H0:当前模型不可用;
          拒绝H0:当前模型可用但不是很好,需改进。
回复 支持 反对

使用道具 举报

发表于 2014-5-3 09:43:45 | 显示全部楼层
从我的理解,和红色字体表述一致,也一直这么做,不知是否有误?期待正确。
回复 支持 反对

使用道具 举报

 楼主| 发表于 2014-5-3 11:45:02 | 显示全部楼层
niksong 发表于 2014-5-3 11:31
哈哈,并没有反对这些话的意思,只是从我个人的角度来稍微咬文嚼字一下.
失拟检验的P>0.05:方差分析的p

你说的很对,其实这里所说的模型很好应是基于这样一种情形:那就是假设在不出现失似检验的情形下,你已能正确判断模型可不可用,好不好。呵呵。

欢迎继续拍砖,有讨论才会发现问题,发现问题才能进步。
回复 支持 反对

使用道具 举报

发表于 2017-8-11 15:19:09 | 显示全部楼层
niksong 发表于 2014-5-3 11:31
哈哈,并没有反对这些话的意思,只是从我个人的角度来稍微咬文嚼字一下.
失拟检验的P>0.05:方差分析的p

老师,你说得很有道理。学习了~另外请问,我的拟合模型方差分析P<0.05;失拟检验P<0.05,同时拟合汇总表中R方和调整R方都没数值,而失拟表中的  最大R方为1  这是一种什么情况呢?我的模型还能用吗,我已经用了逐步、交互作用了  还能怎么改进?会不会是我数据本身有问题,因为我的数据有很多是从文献专利中获得的。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复 支持 反对

使用道具 举报

发表于 2018-6-12 15:48:27 | 显示全部楼层
andygandy 发表于 2017-8-11 15:19
老师,你说得很有道理。学习了~另外请问,我的拟合模型方差分析P<0.05;失拟检验P<0.05,同时拟合汇总 ...

有可能是过度拟合了
回复 支持 反对

使用道具 举报

发表于 2018-8-27 15:04:20 | 显示全部楼层
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|JMP数据分析论坛 ( 沪ICP备13022603号-2 )  

GMT+8, 2024-3-28 23:18 , Processed in 0.438189 second(s), 18 queries .

Powered by Discuz! X3

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表