【專欄】數學之美番外篇：平凡而又神奇的貝葉斯方法（11）

為什么樸素貝葉斯方法令人詫異地好——一個理論解釋

樸素貝葉斯方法的條件獨立假設看上去很傻很天真，為什么結果卻很好很強大呢？就拿一個句子來說，我們怎么能魯莽地聲稱其中任意一個單詞出現的概率只受到它前面的3個或4個單詞的影響呢？別說3個，有時候一個單詞的概率受到上一句話的影響都是絕對可能的。那么為什么這個假設在實際中的表現卻不比決策樹差呢？有人對此提出了一個理論解釋，并且建立了什么時候樸素貝葉斯的效果能夠等價于非樸素貝葉斯的充要條件，這個解釋的核心就是：有些獨立假設在各個分類之間的分布都是均勻的所以對于似然的相對大小不產生影響；即便不是如此，也有很大的可能性各個獨立假設所產生的消極影響或積極影響互相抵消，最終導致結果受到的影響不大。具體的數學公式請參考這篇paper。

層級貝葉斯模型

層級貝葉斯模型是現代貝葉斯方法的標志性建筑之一。前面講的貝葉斯，都是在同一個事物層次上的各個因素之間進行統計推理，然而層次貝葉斯模型在哲學上更深入了一層，將這些因素背后的因素（原因的原因，原因的原因，以此類推）囊括進來。一個教科書例子是：如果你手頭有N枚硬幣，它們是同一個工廠鑄出來的，你把每一枚硬幣擲出一個結果，然后基于這N個結果對這N個硬幣的θ（出現正面的比例）進行推理。如果根據最大似然，每個硬幣的θ不是1就是0（這個前面提到過的），然而我們又知道每個硬幣的p(θ)是有一個先驗概率的，也許是一個beta分布。也就是說，每個硬幣的實際投擲結果Xi服從以θ為中心的正態分布，而θ又服從另一個以Ψ為中心的beta分布。層層因果關系就體現出來了。進而Ψ還可能依賴于因果鏈上更上層的因素，以此類推。

（待續；此文的修訂版已收錄《暗時間》一書，由電子工業出版社2011年8月出版。作者于2009年7月獲得南京大學計算機系碩士學位，現在微軟亞洲研究院創新工程中心從事軟件研發工程師工作。）