摘 要： 根據Rough Set屬性重要度理論，構建了基于互信息的屬性子集重要度，提出屬性相關性的加權樸素貝葉斯分類算法，該算法同時放寬了樸素貝葉斯算法屬性獨立性、屬性重要性相同的假設。通過在UCI部分數據集上進行仿真實驗，與基于屬性相關性分析的貝葉斯(CB)和加權樸素貝葉斯(WNB)兩種算法做比較，證明了該算法的有效性。
關鍵詞： 樸素貝葉斯；屬性重要度；屬性相關；分類
分類是數據挖掘中一類非常重要的問題，分類算法的核心是構造能快速、有效處理大數據容量、高精確度的分類器。在眾多分類算法和理論中，樸素貝葉斯NB(Naive Bayes)由于計算高效、高精確度，并具有堅實的理論基礎而得到了廣泛應用。NB分類基于一個簡單的假定：在給定分類特征條件下屬性值之間具有獨立性，且每個條件屬性對類變量(決策屬性)的重要度是相同的。然而，在實際問題中，這些假設往往不能滿足。為了保持NB的計算既簡單，又能提高其分類性能，參考文獻[1]提出了一種基于屬性相關性分析的貝葉斯分類模型CB(Correlated Bayes)，放寬了屬性獨立性的假設，當屬性間存在相關性時較好地提高了分類性能，但是該模型假定每個屬性相對于決策屬性重要性相同，當屬性相對于決策屬性的重要性不相同時，分類效果并沒有提高；參考文獻[2-4]中提出了根據屬性的重要性賦予屬性權值的加權樸素貝葉斯WNB(Weighted Naive Bayes)模型，允許屬性之間重要度不相同，較之NB模型獲得較好的分類效果，但該模型仍基于屬性類條件獨立假設，當屬性間存在相關性時分類效果并不好。綜上，上述方法均只側重改進NB方法的某單一假設，并未同時放寬兩個假設，現實中數據也常常不能同時滿足兩個假設。
本文在CB模型和WNB模型的基礎上，以互信息作為度量條件屬性相對于決策屬性的重要度，提出了集合重要度的概念，并賦予各屬性子集權值，同時考慮屬性子集內部屬性間的相關性，提出屬性相關性的加權貝葉斯分類算法(WCB)，以達到提高NB的分類性能的目的。
2.3 WCB模型的構造步驟
(1)對訓練樣本進行缺失處理和離散化處理。
(2)分類器的構造。
①掃描訓練樣本集，統計訓練集中，類別Ci的個數di和類Ci中屬性Ak取值為aik的實例個數dik，構成統計表；
②對訓練屬性集進行聚類，并由式(9)計算屬性子集Ej的權重wj；
③計算所有的先驗概率P(Ci)=di/d，由式(2)和式(11)計算條件概率P(Ej|Ci)，形成概率表；
④式(2)中，選擇控制參數β∈[0，0.3]，取步長h=0.01，選取訓練效果最優的β值構建分類器；
(3)分類，對于樣本X，調用概率表和構建好的分類器，得出分類結果。
3 實驗分析
為了驗證WCB算法的分類效果，本文選用UCI[6]機器學習庫中的8個數據集進行算法測試，以分類正確率作為算法優劣的主要評價指標。在相同的試驗環境下，利用MATLAB編程分別實現了WNB算法、CB算法和本文提出的WCB算法。數據集中連續屬性進行離散化處理。由于Letter-Recognition、kr-vs-kp和MushRoom數據集樣本容量或屬性個數較多，一次測試需要較長時間，采用分割數據集的方法進行測試，取2/3的數據作為訓練集，1/3數據作為測試集。其余數據集均采用10折交叉驗證，取10次的平均值作為實驗的測試結果。實驗結果如表1所示。
仿真實驗表明，WCB算法在大部分數據集上分類正確率高于CB算法和WNB算法，由于本文構造的WCB算法兼顧了不同的屬性相關性和屬性重要性，更能反映真實情況，并克服了CB算法和WNB算法的不足。因為本算法既要調用屬性集合重要度子函數，又要選取控制參數β，所以算法運行的時間比CB算法和WNB算法稍長。當屬性子集重要度wj均為1時，WCB算法即為CB算法；當向量相關度系數CorrEr均為1時，WCB算法則為WNB算法。因此，本文提出的算法不會比二者分類效果差。
實驗都采用了UCI標準數據集，因此實驗結果具有一定的可比性。
本文提出的WCB算法放寬了NB的兩個假設，同時考慮屬性相關性和屬性重要性，進一步擴展了現有貝葉斯分類算法，有效地提高了分類效果。同時本文提出一種屬性集合重要度的計算方法，隨著屬性相關性和屬性重要度研究的發展，還可以使用其他度量屬性相關性或屬性重要性的方法，尋找分類效果更好的WCB算法是今后的研究方向。
參考文獻
[1] 章舜仲，王樹梅，黃河燕，等.基于屬性相關性分析的貝葉斯模型[J].情報學報，2007，24(2)：58-65.
[2] HARRY Z， SHENG S L. Learning weighted naive bayes with accurate ranking[A]. Fourth IEEE International Conference on Data Mining (I CDMπ 04)[C]. Brighton， UK.2004：567-570.
[3] 鄧維斌，黃蜀江，周玉敏.基于條件信息熵的自主式樸素貝葉斯分類算法[J].計算機應用，2007，27(4)：888-891.
[4] 鄧維斌，王國胤，王燕.基于Rough Set的加權樸素貝葉斯分類算法[J].計算機科學，2007，34(2)：204-206.
[5] 曾黃麟.粗集理論及其應用(修訂版)[M].重慶：重慶大學出版社，1998.
[6] NEWMAN D J， HETTICH S， BLAKE C L， et al. UCI repository of machine learning databases [EB/OL]. http：//www.ics.uci.edu/mlearn/MLRepository. html， 1998.