问题。在1987年的一次访谈中,他说:“我们有位姓布登博姆(Budenbom)的工程师,他造出了一种新奇的雷达跟踪仪,可以用来锁定飞行目标。他希望能到加利福尼亚去发表一篇论文,为此他希望有一份能显示新仪食品跟踪误差的图表。”布登博姆以频率范围来表述他的问题,但不知道如何得到频率振幅的一致估计值。尽管图基作为数学家很熟悉傅立叶变换,但从未把这种技术运用于工程中。最后,图基提出了一个似乎能满足布登博姆需要的方法(还记得他的格言吗?正确问题的近似答案也是有用的)。但他自己对此方法并不满意,于是他继续思考这个问题)。
结果是快速傅立叶变换。他是一种修匀方法,用图基的话说,就是向邻近的频率“借力”,这样即使没有大量的数据,也可得到良好的估计值。此外,快速傅立叶变换也是一种经过慎重思考的理论解决方案,带有最适的特性。50-60年代,在电脑的速度很慢、内存也很小的情况下,快速傅立叶变换还是一种非常有效的电脑演算方法。进入21世纪,这种演算方法依然有用,因为它比用更复杂的变换所得的估计值更精确。
电脑及其能力不断把统计研究的边界向前推进。我们在前面已提到电脑可计算大型逆矩阵的能力(这些如果让约翰?科恩菲尔德(John Cornfield)用手摇计算机做,可能需要数百年时间),此外,电脑在统计理论上还有另一压倒性优势,就是电脑的储存与分析大量数据的能力。
在60年代与70年代早期,贝尔实验室的工程师和统计学家是分析大量数据的先驱。监视电话线路的随机误差和问题,导致成千上万的数据项都存在一个电脑文件中,而用太空探测器传回的火星、木星及其他行星的数据资料,项目也都是数百万笔。你要如何看待如此大量的数据?又要如何整理它,才能加以检验?
按照K?皮尔逊开创的方法,我们总能估计出概率分布的参数,这就需要我们对这些分布做些假设,比方说假设这些分布属于皮尔逊系统。但如果我们不对分布做特别的假设,能不能有方法检验大量的调查数据,得到我们所需的信息呢?从某种意义上说,优秀的科学家一直是这么做的。格雷戈尔?门德尔(Gregor Mendel,奥地利遗传学家)做了一系列植物杂交实验,检验得出的实验结果,逐渐发展出他的显性和隐性基因理论。虽然大量的科学研究涉及到收集数据,并把收集到的数据和预先存在的某种分布模型对比,但有时仅收集数据,仔细地加以检验以发现意外结果也是非常重要和有意义的。
正如美国数学家埃里克?坦普尔?贝尔(Eric Temple Bell)曾经说过的:“数字不会说谎,但它有个偏好,就是在存心说谎的时候讲出真相 。”人类倾向于寻求模式,并往往在只有一些随机的、模糊的信息时,就认为已经找到了模式 。
这种现象在流行病学中比较明显,我们在调查数据时,常常发现在某些地方或某些时段有些疾病容易“群发”。假设我们发现马萨诸塞州的某个小镇,儿童患白血病的人数异常偏高,是否表示该镇上存在某种致癌因素?或者这只是碰巧发生的随机群体,在其他任何地方也有可能发生?假设当地居民发现有化工厂往镇的湖里排放化学废弃物,假设他们同样发现在儿童患白血病例较多的地区,饮水中芳香族胺(aromatic amines)的尝试较高,我们是否可以断定这就是导致儿童患白血病的原因呢?从更广义上说,在多大程度上,我们可以用倾向于模式的目光去检验数据,并且可以期望找到比这些随机的、模糊的讯号更多的信息?
在60年代,图基开始认真地考虑这些问题。他从这些问题中发现一种数据处理方法,可以说是K?皮尔逊方法的精炼版本。他认识到,即使没有武断的概率模型设定,还是可以把观测数据的分布当作一个分布来检验。结果,他发现了一系列论文,参加了很多场演讲,最后写成了几本书,被称之为“探索性数据分析”(exploratory data analysis)。在处理这些问题的过程中,图基采用了一种十分原始的方式来阐述他的观点。为了引起他的听众和读者的注意,使他们重新检验相关的假设,他对以前使用过的数据分布特征重新命名。同样,他脱离以往用标准概率分布的这个分析起点,转向检验数据本身的模式或形态,他还审视极值能改变我们观察模式的方式。为了调整错误的印象,他发展出一套图形工具来显示数据。
例如,他指出我们常用来表示数据分布的直方图(histograms),容易给人造成误导,会引导观测者去注意那些频繁出现的观测值。因此,他建议以观测值次数的“平方根”(square root)来观测值出现的次数,并以此数据画出的图形来取代直方图。他称这种图为“根图”(rootgram)。图基还建议将数据分布的中央区域画成一个小盒子开关,而把极值画成由盒子延伸出去的线段(他称这些线段为“腮须”(whiskers))。他提议的统计工具,有许多都被纳入标准的统计软件包。现在的分析师称它们为“箱形图”(box plots)和“茎叶图”(stem and leaf plots)。图基丰富的想象力扫遍整个数据分析领域,他的许多建议至今还在电脑软件中应用。我们至今用的两个英文单词,bit(位或二进位)和software(电脑程序,相对于电脑硬件)就是图基创造的。
对图基来说,世上没有什么事情会因为平凡而不值得去发挥原创力,也没有什么事情神圣到不容质疑。就拿最简单的记数过程来说:许多读者在计数某种东西时,或许已使用过一种记数符号。一代代的老师教我们的常用的符号就是先画4条垂直竖短线,第五条线穿过这4条线,表示5个数。不知读者看到过多少这样的场景:衣衫褴褛的犯人在监狱的墙上画下了一串串这样的计数符号。
图基说,这其实是一个愚蠢的记数方法。想想看,它多么容易出错。你可能画了三条竖线就画一个横线,也可能画了五条竖线后才画横线,这种记数法即使错了也很难发现,除非你仔细检查所画垂直线的数量。用一种容易找到误差的记数符号似乎更有意义。图基提出了十笔记数法:首先画四个点作为方型的四个角,然后再把四个点连成四条线,形成一个方型,最后在方型内画两条对角线。画完之后是十笔。
上述这此例子,快速傅立叶变换、探索性数据分析,都只是图基巨大成就的一部分。就像毕加索从立体主义到古典主义,从雕塑再到建筑,图基在20世纪下半叶,畅游于统计学的各领域,从时间序列(time series)、线性模型(linear models),到费歇尔的一些被人遗忘的研究工作的推广,再进一步到稳健估计(robust estimation)及探索性数据分析。他从研究深奥的数学理论起家,又因思考和解决实际问题脱颖而出,最后落脚在研究无结构的数据估计上。在他研究的所到之处,统计变得与以往大不相同。就在2000年夏天,也就是在他去世的当天,他还和朋友、同事们在一起,讨论问题,提出自己的新观点,并对以往的旧观点展开质疑。
第23章 处理有瑕疵的数据
证明统计方法用途的数学定理通常都假设:在科学实验或观察中的测量值都是同样有效的。如果分析者在进行分析时,只选择数据中他认为看起来是正确的数据来分析,那么统计分析结果可能就会产生非常严重的错误。当然,这正是以前科学家们通常的做法。早在20世纪80年代初期,S?施蒂格勒阅读了18世纪和19世纪许多伟大科学家们的笔记本,比如,因为确定了光速而获得1907年诺贝尔奖的艾伯特?迈克逊(Albert Michelson)。施蒂格勒发现,所有这些科学家在开始他们的计算前已经剔除了一些数据,17世纪初就发现行星绕太阳以椭圆轨道运行的科学家约翰尼斯?开普勒(Johannes Kepler),他在研究古希腊天文学家的记录时,发现有一些观测位置记录不符合他正在计算的椭圆轨道,于是他就忽略了这些缺损数据(faulty value)
但是现在,值得尊敬的科学家们不再抛弃那些看起来是错误的数据,统计革命在科学界的广泛影响,教会了现在的实验科学家们不要剔除任何数据。统计学的数学定理要求同等对待所有的数据。但如果有些数据的确错了,我们该怎么办?1972年的一天,一位药理学家带着这样一个问题来到了我的办公室。他在小白鼠身上研究溃疡的预防,正在比较两种不同的处理方法,他确信这会产生截然不同的结果,而且他的数据看起来也显示同样的结论,但是当他依据奈曼-皮尔逊的理论进行正式的假设检验时,比较结果并不显著。他确信问题出在两只小白鼠的观测数据上,这两只小白鼠使用了不足量药剂,尔后都没有发生溃疡,使得它们的结果看起来要远远好于另外一种处理方法的实验结果——而那本应该是最好的。我们在第16章已经看到了非参数方法是如何发展起来去解决这一类问题的。这两个离散数据刚好处于错误的一边,而且数量上还是两项,所以即使用非参数检验结果也不显著。
如果这种事情发生在一百年前,这个药理学家就可以剔除这两个错误的数据,继续进行他的计算,不会有人提出异议。但是,他已经学习了现代统计方法,他知道他不能够这样做。很幸运,当时我手头正好有一本刚读过的新书,书名是《位置的稳健估计:调查与与改进》(Robust Estimates of Location: Survey and Advances),它记述了一项重大的主要应用计算机进行的研究成果,即约翰?图基进行的我们称之为“普林斯顿稳健性研究”(Princeton Robustness Study),在这本书中我们可以找到这位药理学家问题的答案。
“稳健(robust)一词对很多美国人来说,听起来�