金融

Nate Silver可以做错吗

在选举和棒球统计之间,白银已成为美国世俗的预言之神,现在他有畅销书“信号与噪音”,他在其中讨论了各种领域的预测挑战和科学,涵盖了政治,体育,地震,流行病,经济学和气候变化预测器如何做出准确的预测

为什么某些类型的预测,如地震何时会发生,如此困难

对于任何想要更多地了解统计数据和预测艺术的非专业读者来说,本书应该是必不可少的阅读本书唯一严重错误在于其核心技术主张广义而言,预测包括三个部分:动态建模,数据分析和人类判断本书最有价值的部分之一是Silver描述这些不同预测要素之间的相互作用的方式,包括数学建模不能完全取代人类判断的情况

天气预测,例如,将判断与计算相结合比单纯依赖计算机程序的人更准确10%到25%

在美国职业棒球大联盟中,大多数球队最终都依赖于顽固的统计数据和老派人类球探的结合

拒绝克里斯安德森在2008年连线中所做的臭名昭着(但荒谬)的预测,大数据将成为开发科学理论和模型的“过时”;正如Silver所说,原始数据,无论多么广泛,没有模型都是无用的:“数字无法为自己说话......数据驱动的预测可以成功 - 而且它们可能会失败当我们否认我们在这个过程中的角色时失败的几率上升“Silver的一个失误来自于他倡导的一种被称为贝叶斯推理的方法根据Silver的激动人心的介绍,贝叶斯定理在名义上是一个数学公式但它实际上远不止于它意味着我们必须以不同的方式思考我们的想法在第8章失败之前就已经失败,因为Silver游说的方法几乎不是创新;相反(正如他最终承认的那样),它建立在一个二百五十年前的定理之上,这个定理通常在大学概率课程的前几周讲授

不仅如此,大多数统计学家都看到了仅作为一个非常大的问题的部分解决方案贝叶斯方法在预测结果概率时特别有用,例如,对情况有较强的先验知识假设,例如(借用Silver复兴的旧例子),她的四十多岁进行乳房X光检查并收到坏消息:“阳性”乳房X线照片然而,由于不是每个阳性结果都是真实的,她实际患乳腺癌的概率是多少

为了计算这一点,我们需要知道四个数字四十多岁患有乳腺癌的女性比例为0.001,大约七十分之一

因此,未患乳腺癌的比例是1 - 0014 = 0986这些分数被称为先验概率患有乳腺癌的妇女在乳房X线照片上获得阳性结果的概率是075乳腺癌患者在乳房X线照片上得到假阳性的概率为01这些被称为条件概率应用贝叶斯定理,我们可以得出结论,在得到阳性结果的女性中,实际患乳腺癌的比例是(0014 x 075)/((0014 x 075)+(0986 x 01))= 01,大约是一旦我们看到了测试结果,机会大约是百分之九十,这是一个误报

在这种情况下,贝叶斯定理是完美的工具

这种技术可以扩展到各种其他应用中

最好的章节在本书中,Silver分别介绍了在玩德州扑克手牌时下注的概率推理的使用,同时考虑到已经处理过的牌的可能性以及将要处理的牌;关于对手手中的信息,你可以从他们所下的赌注中收集到的信息;以及你对他们是什么样的球员的一般判断(好斗,谨慎,愚蠢等)但是如果对先前概率应该是什么没有达成共识,那么贝叶斯方法就没那么有用了

 例如,在一系列臭名昭着的实验中,斯坦利·米尔格兰姆表示,如果被告知这是为了科学的好处,许多人会折磨受害者

在进行这些实验之前,如果这些结果被指定为较低的事先(因为没有人会认为他们自己会做到这一点)或者之前的高(因为我们知道人们接受权威)

在实际操作中,大多数科学家在大多数时间使用的评估方法是统计学家Ronald Fisher在20世纪初期提出的技术的变体

粗略地说,在这种方法中,只有数据通过才能认为假设被数据验证

如果数据是随机生成的,那么将在95%或99%的时间内失败的测试Fisher的方法(这绝不是完美的)的优势在于它在某种程度上回避了估计先验的问题没有足够的先进信息在绝大多数科学论文中,使用Fisher的统计数据(以及该传统中更为复杂的统计数据)不幸的是,Silver对贝叶斯方法的替代方案的讨论是不屑一顾,不完整和误导在某些情况下,Silver倾向于将成功推理归因于贝叶斯方法的使用,而没有任何证据表明这些特定分析实际上是在贝叶斯实现的时尚例如,他写了关于鲍勃·沃尔加里斯(Bob Voulgaris),一个篮球赌徒,鲍勃的钱也在贝叶斯(Bayes)上他每次做出预测时都不会真正地应用贝叶斯定理但是他在假设和信念的背景下测试统计数据的做法来源于他的篮球知识非常贝叶斯,因为他接受概率回答他的问题是他的安慰但是,从前三十页的描述来看,Voulgaris遵循本能,而不是花哨的贝叶斯数学在这里,Silver似乎使用“贝叶斯”而不是意味着使用贝叶斯定理,而是将许多不同类型的信息结合起来的一般策略再举一个例子,Silver详细讨论了John Ioannidis撰写的一篇重要且令人不安的论文,“为什么大多数公布的研究结果都是假的”,并留下了如果统计学家使用贝叶斯方法而不是跟随Fi,那么读者可以解决Ioannidis提出的问题的印象银色写道:[费舍尔的经典]方法不鼓励研究人员考虑他的假设的基本背景或合理性,这是贝叶斯方法以先验概率的形式提出的要求因此,你会看到关于蟾蜍如何预测的明显发表的论文地震......应用频繁的测试来产生“具有统计意义”但显然荒谬的发现但美国宇航局2011年对蟾蜍的研究实际上是重要且有用的,而不是从空气中汲取的一些“明显荒谬的”发现这是对地下水化学的深思熟虑的分析

结合自然观察(一群蟾蜍在几天后发生地震的震中附近遗弃了意大利的一个湖泊)和理论(关于电离层干扰和水成分)太多已发表的研究是错误的真正原因是不是因为很多人都在测试很少发生的荒谬事情在顶级科学期刊;这是因为在任何一年中,制药公司和医学院都会进行数以千计的实验

在任何研究中,都存在误报的可能性很小;如果你做了很多实验,你最终会得到很多假阳性结果(甚至抛开自欺欺人,偏向于报告积极结果,以及直接欺诈) - Silver本人实际上先解释了两页切换到贝叶斯方法评估统计数据不会解决潜在的问题;清理科学需要改变科学研究的方式并进行评估,而不仅仅是一个新的公式银色更喜欢贝叶斯方法是完全合理的 - 这个领域已经分裂了近一个世纪,每一方都有自己的方法争论,创新和解决方案 - 但优先选择贝叶斯到费舍尔的情况远比白银更容易,并且毫无理由认为贝叶斯方法是一种“思维不同”的革命“信号和噪音” “这是一本很棒的书,值得欣赏 但它需要比贝叶斯非常有用的定理更多地解决应用统计领域的许多挑战Gary Marcus和Ernest Davis是纽约大学的教授Marcus也为newyorkercom撰写关于神经科学,道德机器的事实和小说的文章,网络搜索的未来以及清理科学需要做些什么摄影作者:Beth Rooney /纽约时报/ Redux



作者:达琥庞