偕锨Ц龅钡赝林用竦母觳渤ざ龋庑┦菀菜偷搅薑?皮尔逊的生物统计实验室。
然而,K?皮尔逊所使用的方法存在一个根本性的缺陷。他获得的数据现在被称为“便利样本”(opportunity sample),都属于那些最容易得到的数据,并不能真正代表总体分布。他们测定的颅腔大小,都只是来自那些碰巧被他们发现而打开了墓穴,那些没有被发现的可能会与之大相径庭。
20世纪30年代的早期,印度发现了一个便利抽样的典型案例。大包大包的黄麻堆到了孟买(Bombay)的码头上,准备装船运往英国。为了估计黄麻的价值,便从每包中抽取一些,黄麻的质量就由样本来确定。抽样是将一把中空的圆形刀片插入包中,再拔出来,刀片中央的空处便带出了少量的黄麻。在包装和上船过程中,外层的黄麻开始变质,而里面的被压得越来越紧,冬天的时候常常冻得结得一块。取样员将空心刀片插入包中时,由于中央更硬而发生偏离,所取的样品更多的是外层已经变质的黄麻。这种使得样本就会产生偏差,样本的质量偏低,实际上整包黄麻的质量要高出许多。
加尔各答市(Calcutta)总统学院物理系的普拉桑塔?钱德拉?马哈拉诺比斯(Prasanta Chandra Mahalanobis)教授经常引用这个例子(这是他在铁道公司工作时发现的,该公司将黄麻运往码头),说明为什么使得样本不可信。马哈拉诺比斯生于一个富裕的商人家庭,因此能够供他上本科和研究生,并且选择学习自己感兴趣的科学和数学。20世纪20年代,他来到了英国,师从K?皮尔逊和费歇尔。他的同学如F?N?大卫只能靠奖学金生活,他却能一边上学,一边过着大地主般的生活。回国后,他担任了总统学院物理系的系主任。接着不久,他又在1931年用自己的钱,在自家的一处房产中建立了印度统计研究所(Indian Statistical Institute)。
在印度统计研究所,他培养出了一批卓越的统计学家和数学家,其中不少都在这一领域做出了重要的贡献,如S?N?罗伊(S。 N。 Roy)、C?R?拉奥(C。 R。 Rao)、R?C?博斯(R。 C。 Bose)、P?K?森(R。 K。 Sen)和马丹?普里(Madan Puri),等等。马哈拉诺比斯的研究兴趣之一在于如何生成一个合适的、有代表性的样本数据。很明显,在许多情况下,几乎不可能得到一个总体的所有数据。例如,印度的人口是如此庞大,多少年来也没有人试图在一天之内搞一次全国性的普查,而这样的人口普查在美国曾经开展过。与此不同,印度的人口普查是在一年内完成的,全国不同地区分别在不同的月份开展。这样一来,印度的人口普查数据就不可能精确,在普查过程中会有出生和死亡、人口迁移,人口的自然状况也会发生变化。因此,没有人能确切地知道在特定的一天印度到底有多少人口 。
马哈拉诺比斯推断,如果能够收集到一个具有充分代表性的小样本,那么可以用它来估计总体的特征。在这一点上,我们有两种可能的方法:一是构造所谓的“判断样本”(judgment sample)。在判断样本中,所有关于总体的信息都被用来选择一个小的个体集合。这些个体分别代表总体的不同部分。有关多少人在看某一电视节目的尼尔森收视率排行榜(the Nielsen ratings),就是依据判断样本来排定的,尼尔森媒体研究所(Nielsen Media Research)根据社会经济状况和生活地区的差异,选择不同的家庭作为样本。
初看起来,判断样本似乎是获得大总体的代表性样本的好方法,但它有两个主要缺点。第一个是只有当我们确信对大总体具有充分的了解,可以将总体划分为能用一些个体来代表的几个子总体(specific subclasses)时,判断样本才具有代表性。既然我们希望通过样本来了解的问题,正是据以将大总体划分为几个匀质组(homogeneous groups)的依据,如果我们对大总体已经了解得这么清楚,可能就无需再进行抽样了。第二个问题更加麻烦,如果判断样本的估计结果是错的,我们无法知道该结果与真值到底相关多少。2000年夏天,有人就批评尼尔森媒体研究所抽取的样本中西班牙裔家庭太少,因而低估了西班牙语电视的观众人数。
马哈拉诺比斯的解决办法是采用随机样本(random sample)。我们采用随机原则从大总体中抽取个体,由随机样本得到的数据很可能会错,但是我们可以用数理统计学的理论确定该如何最优地抽取样本并测定数值,以确保长期来看我们的数据将比其它数据更接近真值。并且,我们知道随机抽样概率分布的数学形式,可以计算总体那些待估参数的置信区间。
可见,随机样本要优于使得样本或者是判断样本,当然,这并不是因为它会保证得到正确的结果,而是因为我们可以计算一个数值区间,以较高的概率保证真值落入这一区间内。
新政与抽样
抽样的数学理论在20世纪30年代得到了迅速发展,其中一部分应归功于由马哈拉诺比斯领导下的印度统计研究所;一部分应归功于20世纪30年代后期奈曼发表的两篇论文;还有一部分应归功于一群年轻而富有朝气的大学毕业生,他们在美国实施新政的早期汇集于华盛顿。正是在这群在联邦政府商务部和劳工部任职的年轻人,热心于新政,提出了关于如何从总体中抽取样本的许多实际问题,并成功地解决了这些问题。
在1932年到1939年间,拿到学士学位的青年男女在跨出大学校门时,很难找到工作。这一切都是经济大萧条所造成的。在纽约州扬克斯市(Yonkers)长大的玛格丽特?马丁(Margaret Martin),毕业于巴纳德学院(Bamard College),后来成为美国预算局(the U。 S。 Bureau of the Budget)的一名官员,他写道:
当我在1933年6月毕业时,根据找不到工作……我的一个朋友比我晚一年毕业,找到了一个工作,在B?奥特曼百货公司(B。 Altman department store)当售货员,一周工作48小时,可赚15美元,对此她已经感到非常庆幸了。即使是那样的工作,也很难找到。巴纳德学院有一位负责就业指导的工作人员,也就是弗洛伦斯?多蒂(Florence Doty)小姐,我跑到她那儿咨询有关去一年叫凯瑟琳?吉布斯(Katherine Gibbs)的秘书学校受训的可能性,我不知道从哪儿能弄到这笔钱,但是我想在那儿学到一技之长来养活自己。多蒂小姐……是一个不太好相处的人,许多同学都对她敬而远之……她只回答了我几句,“我绝不造成你去学秘书课程,如果你去学了打字,并且让别人知道你会打字,那你以后就再也不能干别的了,只能打字……你应该去找一个专业性的职位。”
最后,马丁在奥尔巴尼(Albany)找到了第一份工作,成了纽约州失业安置局(the New York State Division of Placement and Unemployment)研究与统计办公室(the office of research and statistics)的一名初级经济师,这个工作成了她上研究生的一块跳板。
一些刚刚毕业的年轻 人直接进了华盛顿的政府机构。莫里斯?汉森(Morris Hanson)于1933年从怀俄明大学(the University of Wyoming)经济学本科毕业,去了普查局(the Census Bureau)。他凭着本科时学的一些数学和匆匆读过的奈曼的几篇论文,着手设计全国第一次失业普查。内森?曼特尔(Nathan Mantel)从纽约城市学院(City College of New York)生物专业毕业,去了国家癌症研究所(the National Cancer Institute)。杰尔姆?科恩菲尔德(Jerome Cornfield)毕业于纽约城市学院的历史专业,进入劳工部(the Department of Labor)担任一名分析师。
那段时间,在政府工作倒是激动人心的,举国萧条,大部分正常的经济活动都停滞不前,可说是百废待举,华盛顿的新政府为此绞尽了脑汁。他们首先必须做的就是去了解整个国家到底已经糟糕到了什么程度,于是便着手对就业与经济活动开展各种调查。像这样试图准确地去判断这个国家到底是怎么了,在美国的历史上这还是第一次。很显然,这正是抽样调查发挥用武之地的时候。
这些干劲十足的年轻人首先要做的,就是说服那些不懂数学的人。劳工部在早些时候的一项调查显示,全国不到10%的人口占有将近40%的收入,这一结果受到了美国商会(the U。 S。 Chamber of merce)的公开指责,这怎么可能呢?调查人数还不到全国就业人口的0。5%,而且这些人还是用随机方式获得的!于是,商会自己也进行了调查,主要是征求会员们对收入占有情况的看法。最后,劳工部调查的结果被商会认为是不准确的,拒绝接受,理由是那只不过是一堆随机的数据。
1937年,政府想得到有关失业率的准确数据,同时国会授权在1937年进行失业普查。国会通过了议案,号召失业者填写登记卡,送到当地的邮局。那时,全国失业人口数估计在300万到1500万之间,仅有的较为可靠的数据是由纽约开展的几次随机调查所得到的。一群年轻的社会学家,在普查局的卡尔?戴德里克(Cal Dedrick)和弗雷德?斯蒂芬(Fred Stephan)带领下,认识到了可能会有许多失业者不填表,所得到的数据也可能包含着一些意想不到的错误。但他们还是决定,要在全国进行有史以来第一次严肃的随机调查。依据年轻的莫里斯?汉森对整个调查所作的规划设计,普查局从邮递线路中随机选取2%,那些线路上的邮递员各自把调查问卷分发到所在线路的每一个家庭。
即使按2%的比例抽样,普查局也被这样大量的调查问卷难住了。美国邮政服务局(the U。 S。 Postal Service)曾计划帮他们把问卷分类整理,并制作了一些原始的表格。问卷在最初设计时,还希望收�