作者｜湯姆‧芝華士（Tom Chivers），科學作家，曾任職於《每日電訊報》、BuzzFeed等媒體，2018年起為自由工作者。 2018年獲英國皇家統計學會「新聞'統計性'優異獎」。 2017年獲美國心理學會（APA）媒體獎，並列入英國科學作者獎、英國科學寫作新聞獎短名單。
大衛‧芝華士（David Chivers），英國杜倫大學商學院經濟學副教授，曾任牛津大學講師。在優秀學術期刊上多有發表。研究領域包括不平等、成長和發展等。
怎麼寫出一本暢銷書？似乎有一個公式，或用演算法，也可能是密碼。有一篇文章（關於公式）列舉了JK 羅琳、EL 詹姆斯和艾莉克絲·瑪伍德的成功，並表示使用男女皆宜的筆名會使女作家通向成功之路。另一篇（關於演算法）用文本探勘軟體找到了暢銷書的2800 個共同特徵，如"句子更短、主視角推進的敘事和較少使用文縐縐的詞彙"，帶有"一種情緒節奏…情緒高潮之後是低谷，再是另一個高潮、另一個低潮」。似乎作者從事過新聞業也有助於寫出暢銷書，這對我們來說是個福音。
《數字一點不老實：看穿紛繁訊息中的數據玄機》 [英] 湯姆芝華士大衛芝華士著鄧妍譯九州出版社2023年11月
如果你的演算法僅靠一本書的文字就能夠以97% 的準確率預測它是否會暢銷，你可能會想要嘗試先用它幫你自己寫幾本暢銷書，賺到盆滿缽滿，然後再告訴別人你是怎麼做到的；但這只是順帶一提。我們想問的問題是：這些關於如何寫暢銷書的自信說法有沒有真實依據？還是說我們又掉進了另一個統計錯誤的坑？
劇透警告：這是一個統計錯誤。這個錯誤與得州神槍手錯誤非常相似，但有細微且關鍵的區別。要理解這個錯誤，我們來談談第二次世界大戰的轟炸機，這很有趣。
1944 年，美國海軍耗費大量金錢、精力和生命轟炸日本飛機跑道。他們的轟炸機經常遭到敵方戰鬥機和地面火力的射擊，許多轟炸機被摧毀。美軍就想用裝甲板加固飛機；但裝甲板很重，若非必要，你不會把它加在飛機上，因為這會減慢飛機的速度，降低其機動性，減少它的航程和最大有效載荷。
因此，他們查看了返航飛機受損的部位，這很合理。他們注意到子彈和高射砲彈片的撞擊主要出現在機翼和機身，而非發動機。他們決定應該用額外的裝甲板來加強機翼和機身。
匈牙利統計學家沃德·亞伯拉罕（Wald Ábrahám）指出了這個問題。美國海軍觀察到的是這些飛機的某個子集，即那些已經返回航空母艦的飛機。被大量火力擊中機身和機翼的飛機通常成功返回了基地。然而，被擊中引擎的飛機絕大多數掉進了海裡，沒有被納入統計。
美國海軍沒有意識到，他們的決策一直是基於偏差的樣本。這裡的這種樣本偏差叫做「倖存者偏差」。它指的是你在觀察一類事物時，只觀察了你所知道的那些個體。
SBD 無畏式俯衝轟炸機墜入太平洋，這樣的例子極不尋常，但許多倖存者偏差的例子就發生在我們身邊。最明顯的可能就是商界領袖寫的「我的成功秘訣」類書籍。你知道那種書，就例如《超級富人的12 個習慣：我是如何透過很早起床、只喝酪梨思慕雪和每兩週隨機解僱10% 的員工而賺了幾百萬的》，作者德丟·傅仁。
我們都想知道怎麼賺個幾百萬，所以這些書常常暢銷。但通常來說，它們只不過列出了倖存者偏差的例子。
經濟學家加里·史密斯（Gary Smith）在他的《簡單統計》（Standard Deviations）一書中提到了兩本書，兩書總共分析了54 家經營良好的公司，並找出了這些公司的共同特徵—他們的企業文化、服裝要求等。 [5] 史密斯指出，在那兩本書成書之前，這些公司確實都跑贏了市場，但在這兩本書出版後的幾年裡，其中近一半公司的表現開始遜於股市，即低於平均水平。這兩本書吹捧這些公司的優秀企業文化，其實只是在觀察那些著陸的飛機，注意到彈片擊中的位置，卻沒有思考所有未能返航的飛機都怎麼了。
還有其他更日常的例子。美國數學家喬丹·埃倫伯格（Jordan Ellenberg）就講過一個「巴爾的摩股票經紀人寓言」。有一天早上，你收到一封來自投資基金的信，上寫著：「你應該在我們這投資，因為我們總是選中優質股票。但我們知道你不相信，所以免費送你一個投資提示：購買'愛誰誰公司'。"轉天，"愛誰誰公司"的股票上漲。
第二天，他們又寄給你一封信：「今天，你應該賣掉『那啥啥控股』。」翌日，「那啥啥控股」的股票下跌。
他們連續寄信10 天，每次都說中了。第11 天，他們說：「現在相信我們了嗎？想投資嗎？」他們已經連續說中了10 個，所以你想：太好了！我不會虧的！然後把孩子們的大學基金投了進去。
但他們所做的是發出10000 封信，對5000 人說"買入愛誰誰公司"，對5000 人說"賣出愛誰誰"。如果"愛誰誰"的股票上漲，那麼第二天他們就給收到買入提示的人發信，對2500 人說"買入那啥啥控股"，對2500 人說"賣出那啥啥" 。
然後，如果「那啥啥」下跌，他們會再給相應的那2500 人發信，以此類推。這樣10 輪之後，大概會有10個人連續10 次獲得準確的提示。然後，他們把所有的錢都投資在這個奇蹟般的選股者身上——他當然會捲款跑路。電視魔術師達倫布朗（ Derren Brown ）正是用這種方法選出了五匹獲勝的賽馬，然後說服一位年輕的母親將畢生積蓄投在第六匹。
這些類型的詐欺可能不會發生——喬丹·埃倫伯格透過推特告訴我們，他沒聽說過任何真實的巴爾的摩股票經紀人案例——但這種事可能無意中發生。市場上有成千上萬的投資基金。其中一些在一段時間內獲得了難以置信的回報率，因此他們得到了關注和大量的投資。但那究竟是因為他們真的跑贏了市場，還是因為他們運氣好，而你沒有註意到所有其他悄悄破產的共同基金？
想像一下，讓1296 個人戴上不同顏色的帽子，讓他們擲骰子，則其中約有216 人會擲出6 ；讓這216 人再擲一次，大概會有36 人又擲出6 ；讓這36人再擲一次，大概會有6 個人又擲出6 ；再擲一次，大概會有1 人擲出6。這個人連續四次擲出6，然後，你看著這個人的帽子說：「連擲四個6 的秘訣是戴一頂橙黑條紋的帽子。」但回顧過去，尋找與成功有關的事情是很容易的；你需要的是找到預示未來成功的因素。沒有理由認為戴橘黑條紋帽的這個人會再擲6。
倖存者偏差是「基於因變數選擇」問題的一個例子，後者是一個更廣泛的問題。這聽起來很複雜，但意思很簡單：你如果光是研究發生了X 的例子，就無法弄清楚X為什麼會發生。在科學實驗中，「自變數」是你要改變的東西（例如你給受試者服藥的劑量），「因變數」是你要測量並觀察是否有變化的東西（可能是病人的存活率）。
那麼，假設你想知道喝水是否會導致關節炎（「患有關節炎」是你的因變數）。如果你觀察所有患有關節炎的人，你很快就會發現他們都喝水。但因為你沒有觀察所有沒得關節炎的人，你不知道關節炎患者和我們其他人相比是否喝了更多的水。
這個問題好像明顯得不值一提，卻無所不在。每當發生大規模槍擊事件，媒體都會關注槍手，並發現他們玩暴力電子遊戲。唐納德·川普在2019 年得州埃爾帕索和俄亥俄州代頓槍擊事件後都說了這樣的話。
但這分明就是一個基於因變數選擇的例子，就像水與關節炎的例子一樣。我們要問的不是"大規模槍擊案槍手玩暴力電子遊戲嗎"，而是"這些槍手玩暴力電子遊戲的時間是否比其他所有人都多"。 （然後你還必須問因果方向：他們是因為玩遊戲變暴力，還是因為喜歡暴力而玩遊戲？）
由於絕大多數年輕男性都玩暴力電子遊戲，而幾乎所有大規模槍擊案的槍手都是年輕男性，因此任何槍手都極有可能在過去玩過《決勝時刻》或其他第一人稱射擊遊戲。說一個大規模槍擊案槍手玩暴力電子遊戲，令人驚詬的程度比說他們吃麵條、穿T 卹高不了多少。考慮到這一點，至少有一項研究發現，玩暴力電子遊戲與兇殺率下降有關，這可能正是因為那些本可能外出行兇的年輕男性待在家裡玩《俠盜獵車手5》了。
我們一直在說媒體，但受倖存者偏差和因變數選擇問題影響最大的可能是新聞的上游。媒體經常報導科學研究，但顯然只報導發表了的研究。問題是，成功發表的，以及上了新聞的那些科學研究，並不是從航母上起飛的唯一一批飛機；它們只是成功返航的那部分。
成功發表的科學研究通常都發現了有趣的結果，我們在「追求新奇」中討論了個中原因。
假設你正在測試一種抗憂鬱藥物。它實際上不會起任何作用，但你還不知道。如果你進行10 項研究，尤其是規模很小的研究，結果可能各有不同：其中5 項可能沒有發現效應；3 項可能發現這種藥物讓病情變得更糟；2 項發現病情小有改善。實際上，這種藥物沒有任何作用；但只是出於偶然，這些不同的研究得出了不同的結果。
但由於新穎有趣（且對製造商有利可圖）的結果是"該藥有效"，因此獲得這樣結果的研究更有可能發表在期刊上。因此，那8項發現沒有效果或有負面效果的研究可能躺在某個科學家的文件櫃裡；其他人來綜評證據時，可能發現，關於該抗憂鬱藥物僅有2項研究發表，並稱其有效。然後，醫生可能會開這種完全無效的抗憂鬱藥，因為看起來它有科學證據的支持。
這樣的事真的發生了，並導致了嚴重問題，真的有人因此而死。一項研究發現，在已發表的抗憂鬱藥物試驗中，有94% 發現了正面結果；但當他們找到未發表的文章並將它們納入考慮後，這個數字降至了51%。
這種偏差還有另一層影響：如果你在主流媒體上讀到一項科學研究，那就意味著它已經被認為有趣到足可登報。 《新研究發現烤焦的吐司其實不致癌》或是《研究顯示臉書其實不會腐蝕兒童的腦》大概不太會上新聞。如果你在報紙上看到一篇科學報道，請記住它相當於已經執行了兩次戰鬥任務並飛回了基地。這並不是說它不是真的，但它確實讓你有理由保持警覺：你不知道在同一課題下有多少其他研究被擊落。
那麼，你能用演算法預測暢銷書嗎？用男女通用的筆名有助於女性出書嗎？嗯，我們不知道，因為我們不知道有多少使用男女通用筆名的女作家沒有成功出書。而演算法能否以97% 的準確率預測一份手稿是否會成為暢銷書？幾乎肯定不能，除非它查看了所有未進入暢銷書排行榜或根本未出版的書籍。你可以列出所有的大規模槍擊案槍手，知道他們玩暴力電子遊戲，但這並不能說明暴力電子遊戲是否會導致槍擊事件；同樣，你會看到暢銷書在措辭或劇情上有某些相似之處，但這並不能告訴你這些特徵是否有助於這些書的銷售。你只是在看已經返回基地的飛機，並指出它們機翼上的所有彈孔而已。
—End—
本文選編自《數字一點不老實：看穿紛繁資訊中的資料玄機》，題目為編者所加。特別推薦閱讀。
該文由出版機構提供，只做推薦作者相關研究的內容參考，不得用於商業用途，版權歸原出版機構所有。任何商業運營如轉載此篇，請務必向原出版機構申請許可！
"日本災區急需援助，網友熱議捐贈特產：讓我們用行動傳遞溫暖！"
中國乒壇三劍客WTT多哈賽：孫穎莎、王曼昱、陳夢期待冠軍榮耀
沒有留言:
發佈留言