Bootstrap方法和置换检验（Permutation Test）的入门读物 | /cn/2008/09/introduction-to-bootstrap-and-permutation-test/

没啥，只是昨天被人醍醐灌顶，开始务正业了，看到啥写啥……

——原帖发布于 2008-09-26 17:45:52

最简单的Bootstrap就是一句话：对样本进行有放回的重抽样。根据重抽样样本重新计算统计量，根据一系列统计量依葫芦画瓢得到统计推断结果。

——原帖发布于 2008-11-02 09:38:25

我不会用MatLab，也不用S-Plus，请左转看本站目录：我只用R。

——原帖发布于 2008-11-02 09:39:24

不用注册，可以下载

——原帖发布于 2009-02-22 09:44:00

访客 *yixuan* @ 2010-03-28 05:42:12 写道：

bootstrap的使用是有条件的，首先是已有样本的样本量要足够大，使得样本能够代表总体，然后才是重抽样的次数要足够多，使得重抽样样本能代表原始样本。

@yixuan

访客 *Li Hang* @ 2010-03-28 11:41:45 写道：

我看了后面几章，确实发现了这个限制。

这个问题关系到统计推断思想的本质：所有的统计推断都是用概率的想法去做的。如果一个样本被观测到，我们从统计的角度去看这件事就要认为只有概率大的事件才容易被观测到，所以就假设这个样本不会处在总体的极端位置。当然，出现极端事件的概率并不为0，不具有代表性的事件肯定是会发生的，只不过有时候我们可以控制这个代表性，有时候不能控制。所以做推断的时候要先仔细考虑统计方法之外的事情，比如检查样本的来源，看看是否有足够代表性（控制能控制的，推断不确定性）。很多方法因为实现起来太简单，容易使人忘记本源问题。

——原帖发布于 2010-03-28 22:35:34

访客 *流浪荡云儿* @ 2010-04-14 20:11:40 写道：

恕我愚笨，我想问下假设总体数据大概在100000左右，母样本到底多大才算足够大呢？本人刚学统计实在是有很多不明白之处，谢谢解答！

我们总说渐近渐近，渐到哪儿才算近呢？有些问题可以控制，但我觉得统计里面大多数渐近是没有明确的答案的。例如广泛使用的中心极限定理，样本均值渐近服从正态分布，但我们没有确定的答案说样本量多大能保证近似多好（最多能有个界限），除非数学假设中的很多量都是已知的，比如总体均值和标准差等。所以你的问题我也没法给答案，这种情况下你可以自行模拟看看，具体问题具体分析。

——原帖发布于 2010-04-15 07:59:51

访客 *流浪荡云儿* @ 2010-04-16 20:03:50 写道：

我明白了，小谢前辈，顺便说句前辈你举的中心极限定理这个例子太好了，很合适！

这要看“规则”怎么度量了。比如曲线和正弦波的差异平方和之类的。

这问题好像不适合Bootstrap的框架……

——原帖发布于 2010-12-31 08:31:25

我觉得男女员工的工资差异在这里作为例子不太恰当，因为性别不能像试验中的处理（treatment）那样随机分配给试验单元，如果这个随机性不能保证，那么置换检验的根基就没了，概率也无从谈起。这里的试验单元是总体还是样本都是无所谓的，一样可以做检验，因为概率来自于随机分配试验单元给处理水平，而不在于试验单元本身从更大的总体中抽样（后一种情况更常见）。置换检验的思路就是如果观察到差异，那么如何评价这个差异的相对大小？在两组样本的均值没有差异的假设下，我把处理水平的标签任意调换（观测值不变）得到的新的统计量会有一个分布，现在我要看的是我原来观察到的那个统计量在这个分布里面是什么位置，也就是可以计算P值。置换检验解决的问题是，观察到的差异到底是由于随机分配样本产生的，还是由于不同处理水平下的均值真的有差异引起的，由前者引起的可能性是存在的（比如你恰好在A组分配了富人，B组分配了穷人），但如果零假设正确，那么这个差异在置换分布中的位置不应该太极端，否则我们就倾向于认为差异是由处理引起的，因为统计学总是说“小概率的事件不容易发生，如果观察到它发生，那么肯定是哪里出问题了”。

——原帖发布于 2011-05-02 02:29:30

访客 *独孤求败* @ 2011-05-02 09:08:54 写道：

谢谢你的回复，那可以如下表达吗？

统计学包含统计描述和统计推断，统计推断又包含估计和假设检验。回想经典的假设检验过程：
准备过程：对感兴趣的总体参数选择一个统计量→推导出此统计量的抽样分布
操作过程：对感兴趣的参数设定一个值→计算该参数下统计量的抽样分布→将观察到的统计量放入统计量的抽样分布，求P值

再仔细想，其实这个过程就是概率计算和点估计的衍生过程。
为了逻辑解释的方便，我们以t检验来举例，并预先定义几个符号：mu1（总体均数值，描述所有对象集中程度），mu2（对应的抽样分布参数值，我们抽样分布集中程度），
我们是设定的mu2，有了mu2，我们就可以计算观察到的T值是不是小概率事件，如果是，则mu2这个假设不成立，并且mu2又是我们对mu1唯一能获得的点估计值，所以我们因此来推断mu1

所以总体和样本都可以做假设一个参数再去做他的概率计算，只不过前者的参数是总体参数，后者参数是抽样分布的参数。（因为这两个分布有对应关系，并且我们一般情况两个参数都是相等的，所以我们我们就没有强调这两个的区分？？）概率算出来了，再看发生的事件是不是小概率事件

逻辑基本上没问题，只是好像没有必要分别定义总体参数和抽样分布的参数，总体分布的参数会直接进入抽样分布。

——原帖发布于 2011-05-02 22:07:20

理论上是排列组合数，但实际上样本量稍微大一点这个组合数就不是一般计算机能承受的，所以实际应用中只是随机采样一定的次数，不会计算所有可能的组合。

——原帖发布于 2013-08-22 04:34:23