貝葉斯分類器提升演算法

A. 貝葉斯演算法是什麼

貝葉斯演算法是統計學的一種分類方法，它是一類利用概率統計知識進行分類的演算法。在許多場合，樸素貝葉斯（Naïve Bayes，NB)分類演算法可以與決策樹和神經網路分類演算法相媲美，該演算法能運用到大型資料庫中，而且方法簡單、分類准確率高、速度快。

由於貝葉斯定理假設一個屬性值對給定類的影響獨立於其它屬性的值，而此假設在實際情況中經常是不成立的，因此其分類准確率可能會下降。為此，就衍生出許多降低獨立性假設的貝葉斯分類演算法，如TAN(tree augmented Bayes network)演算法。

貝葉斯演算法的主要步驟：

1、收集大量的垃圾郵件和非垃圾郵件，建立垃圾郵件集和非垃圾郵件集。

2、提取郵件主題和郵件體中的獨立字元串，例如ABC32，￥234等作為TOKEN串並統計提取出的TOKEN串出現的次數即字頻。按照上述的方法分別處理垃圾郵件集和非垃圾郵件集中的所有郵件。

3、每一個郵件集對應一個哈希表，hashtable_good對應非垃圾郵件集而hashtable_bad對應垃圾郵件集。表中存儲TOKEN串到字頻的映射關系。

B. 分類演算法 - 樸素貝葉斯演算法

相信很多同學在高中或者大學的時候都學過貝葉斯原理，即條件原理。

現分別有 A、B 兩個容器，在容器 A 里分別有 7 個紅球和 3 個白球，在容器 B 里有 1 個紅球和 9 個白球，現已知從這兩個容器里任意抽出了一個紅球，問這個球來自容器 A 的概率是多少?

假設已經抽出紅球為事件 B，選中容器 A 為事件 A，則有：P(B) = 8/20，P(A) = 1/2，P(B|A) = 7/10，按照公式，則有：P(A|B) = (7/10)*(1/2) / (8/20) = 0.875

之所以稱為樸素貝葉斯， 是因為它假設每個輸入變數是獨立的。 現實生活中這種情況基本不滿足，但是這項技術對於絕大部分的復雜問題仍然非常有效。

樸素貝葉斯模型由兩種類型的概率組成：
1、每個類別的概率P(Cj)；
2、每個屬性的條件概率P(Ai|Cj)。

為了訓練樸素貝葉斯模型，我們需要先給出訓練數據，以及這些數據對應的分類。那麼上面這兩個概率，也就是類別概率和條件概率。他們都可以從給出的訓練數據中計算出來。一旦計算出來，概率模型就可以使用貝葉斯原理對新數據進行預測。

貝葉斯原理、貝葉斯分類和樸素貝葉斯這三者之間是有區別的
貝葉斯原理是最大的概念，它解決了概率論中「逆向概率」的問題，在這個理論基礎上，人們設計出了貝葉斯分類器，樸素貝葉斯分類是貝葉斯分類器中的一種，也是最簡單，最常用的分類器。樸素貝葉斯之所以樸素是因為它假設屬性是相互獨立的，因此對實際情況有所約束， 如果屬性之間存在關聯，分類准確率會降低。

（1） 演算法邏輯簡單,易於實現
（2）分類過程中時空開銷小（假設特徵相互獨立，只會涉及到二維存儲）

（1）理論上，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為樸素貝葉斯模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，在屬性個數比較多或者屬性之間相關性較大時，分類效果不好。
（2）在屬性相關性較小時，樸素貝葉斯性能最為良好。對於這一點，有半樸素貝葉斯之類的演算法通過考慮部分關聯性適度改進。

庫有3種演算法：GaussianNB、MultinomialNB和BernoulliNB。
這三個類適用的分類場景各不相同，主要根據數據類型來進行模型的選擇。一般來說，如果樣本特徵的分布大部分是連續值，使用GaussianNB會比較好。如果如果樣本特徵的分大部分是多元離散值，使用MultinomialNB比較合適。而如果樣本特徵是二元離散值或者很稀疏的多元離散值，應該使用BernoulliNB。

C. 數據挖掘十大經典演算法之樸素貝葉斯

樸素貝葉斯，它是一種簡單但極為強大的預測建模演算法。之所以稱為樸素貝葉斯，**是因為它假設每個輸入變數是獨立的。**這個假設很硬，現實生活中根本不滿足，但是這項技術對於絕大部分的復雜問題仍然非常有效。

貝葉斯原理、貝葉斯分類和樸素貝葉斯這三者之間是有區別的。

貝葉斯原理是最大的概念，它解決了概率論中「逆向概率」的問題，在這個理論基礎上，人們設計出了貝葉斯分類器，樸素貝葉斯分類是貝葉斯分類器中的一種，也是最簡單，最常用的分類器。樸素貝葉斯之所以樸素是因為它假設屬性是相互獨立的，因此對實際情況有所約束，**如果屬性之間存在關聯，分類准確率會降低。**不過好在對於大部分情況下，樸素貝葉斯的分類效果都不錯。

樸素貝葉斯分類器依靠精確的自然概率模型，在有監督學習的樣本集中能獲取得非常好的分類效果。在許多實際應用中，樸素貝葉斯模型參數估計使用最大似然估計方法，換而言之樸素貝葉斯模型能工作並沒有用到貝葉斯概率或者任何貝葉斯模型。

樸素貝葉斯分類 常用於文本分類 ，尤其是對於英文等語言來說，分類效果很好。它常用於垃圾文本過濾、情感預測、推薦系統等。

1、 需要知道先驗概率 

先驗概率是計算後驗概率的基礎。在傳統的概率理論中，先驗概率可以由大量的重復實驗所獲得的各類樣本出現的頻率來近似獲得，其基礎是「大數定律」，這一思想稱為「頻率主義」。而在稱為「貝葉斯主義」的數理統計學派中，他們認為時間是單向的，許多事件的發生不具有可重復性，因此先驗概率只能根據對置信度的主觀判定來給出，也可以說由「信仰」來確定。 

2、按照獲得的信息對先驗概率進行修正 

在沒有獲得任何信息的時候，如果要進行分類判別，只能依據各類存在的先驗概率，將樣本劃分到先驗概率大的一類中。而在獲得了更多關於樣本特徵的信息後，可以依照貝葉斯公式對先驗概率進行修正，得到後驗概率，提高分類決策的准確性和置信度。 

3、分類決策存在錯誤率 

由於貝葉斯分類是在樣本取得某特徵值時對它屬於各類的概率進行推測，並無法獲得樣本真實的類別歸屬情況，所以分類決策一定存在錯誤率，即使錯誤率很低，分類錯誤的情況也可能發生。 

第一階段：准備階段

在這個階段我們需要確定特徵屬性，同時明確預測值是什麼。並對每個特徵屬性進行適當劃分，然後由人工對一部分數據進行分類，形成訓練樣本。

第二階段：訓練階段

這個階段就是生成分類器，主要工作是 計算每個類別在訓練樣本中的出現頻率 及 每個特徵屬性劃分對每個類別的條件概率。

第三階段：應用階段

這個階段是使用分類器對新數據進行分類。

優點：

（1）樸素貝葉斯模型發源於古典數學理論，有穩定的分類效率。

（2）對小規模的數據表現很好，能個處理多分類任務，適合增量式訓練，尤其是數據量超出內存時，我們可以一批批的去增量訓練。

（3）對缺失數據不太敏感，演算法也比較簡單，常用於文本分類。

缺點：

（1）理論上，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為樸素貝葉斯模型給定輸出類別的情況下,假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，在屬性個數比較多或者屬性之間相關性較大時，分類效果不好。而在屬性相關性較小時，樸素貝葉斯性能最為良好。對於這一點，有半樸素貝葉斯之類的演算法通過考慮部分關聯性適度改進。

（2）需要知道先驗概率，且先驗概率很多時候取決於假設，假設的模型可以有很多種，因此在某些時候會由於假設的先驗模型的原因導致預測效果不佳。

（3）由於我們是通過先驗和數據來決定後驗的概率從而決定分類，所以分類決策存在一定的錯誤率。

（4）對輸入數據的表達形式很敏感。

參考：

https://blog.csdn.net/qiu__liao/article/details/90671932

https://blog.csdn.net/u011067360/article/details/24368085

D. 樸素貝葉斯演算法的原理是什麼

樸素貝葉斯分類（NBC）是以貝葉斯定理為基礎並且假設特徵條件之間相互獨立的方法，以特徵詞之間獨立作為前提假設，學習從輸入到輸出的聯合概率分布，再基於學習到的模型。

樸素貝葉斯法是基於貝葉斯定理與特徵條件獨立假設的分類方法。

最為廣泛的兩種分類模型是決策樹模型(Decision Tree Model)和樸素貝葉斯模型（Naive Bayesian Model，NBM）。和決策樹模型相比，樸素貝葉斯分類器(Naive Bayes Classifier 或 NBC)發源於古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。

同時，NBC模型所需估計的參數很少，對缺失數據不太敏感，演算法也比較簡單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為NBC模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。

樸素貝葉斯演算法（Naive Bayesian algorithm) 是應用最為廣泛的分類演算法之一。

樸素貝葉斯方法是在貝葉斯演算法的基礎上進行了相應的簡化，即假定給定目標值時屬性之間相互條件獨立。也就是說沒有哪個屬性變數對於決策結果來說佔有著較大的比重，也沒有哪個屬性變數對於決策結果佔有著較小的比重。

雖然這個簡化方式在一定程度上降低了貝葉斯分類演算法的分類效果，但是在實際的應用場景中，極大地簡化了貝葉斯方法的復雜性。

E. 貝葉斯分類演算法的分類演算法

關聯規則挖掘是數據挖掘研究的一個重要的、高度活躍的領域。近年來，數據挖掘技術己將關聯規則挖掘用於分類問題，取得了很好的效果。 CBA(classification based on association)是基於關聯規則發現方法的分類演算法。該演算法分兩個步驟構造分類器。第一步：發現所有形如xi1∧x => Ci 的關聯規則，即右部為類別屬性值的類別關聯規則(classification association rules，CAR)。第二步：從已發現的CAR中選擇高優先度的規則來覆蓋訓練集，也就是說，如果有多條關聯規則的左部相同，而右部為不同的類，則選擇具有最高置信度的規則作為可能規則。文獻[4]對該過程進行了較深入的研究，使得演算法在此步驟不需要對訓練數據集進行過多的掃描。
CBA演算法的優點是其分類准確度較高，在許多數據集上比C4.5更精確。此外，上述兩步都具有線性可伸縮性。 CBA(Classification Based on Association)是關聯分類。此演算法把分類規則挖掘和關聯規則挖掘整合到一起。與CART和C4.5隻產生部分規則不同的是,CBA產生所有的類關聯規則CARs(Class Association Rules)，然後選擇最好的規則去覆蓋訓練集。另外，在此演算法的框架中，資料庫可以駐留在磁碟中
CAEP使用項集支持度挖掘HV露模式(Emerging Pattern), 而EP用於構造分類。CAEP找出滿足給定支持度和增長率閾值的EP。已經發現，在許多數據集上，CAEP比C4.5和基於關聯的分類更精確。一種替代的、基於跳躍的HV露模式JEP(Jnmping Emerging Pattern)是一種特殊類型的EP，項集的支持度由在一個數據集中的0陡峭地增長到另一個數據集中的非0。在一此大的多維資料庫中，JEP性能優於CAEP, 但在一些小型資料庫中，CAEP比JEP優，這二種分類法被認為是互補的。 CPAR(Classification Based on Predictive Association Rules)整合了關聯規則分類和傳統的基於規則分類的優點。為避免過度適合，在規則生成時採用貪心演算法，這比產生所有候選項集的效率高;採用一種動態方法避免在規則生成時的重復計算;採用頂期精確性評價規則，並在預測時應用最優的規則，避免產生冗餘的規則。另外，MSR(Minimnm Set Rule)針對基於關聯規則分類演算法中產生的關聯規則集可能太大的問題，在分類中運用最小關聯規則集。在此演算法中，CARS並不是通過置信度首先排序，因為高置信度規則對雜訊是很敏感的。採用早期剪枝力方法可減少關聯規則的數量，並保證在最小集中沒有不相關的規則。實驗證實，MSR比C45和CBA的錯誤率要低得多。