|
以我們提出的M算法與挖掘關(guān)聯(lián)規(guī)則的權(quán)威算法Apriori算法做一典型的對(duì)比分析。
1) 基于的學(xué)術(shù)思想不同：M算法是基于雙庫(kù)協(xié)同機(jī)制的內(nèi)在認(rèn)知機(jī)理研究，具體而論是基于“知識(shí)短缺”（利用有向超圖）進(jìn)行“定向挖掘”以及知識(shí)庫(kù)的實(shí)時(shí)維護(hù)；而Apriori算法是基于組合論的數(shù)據(jù)庫(kù)全局搜索。
2) 基本流程(或基于的結(jié)構(gòu)模型)不同：M算法是一條一條短缺知識(shí)的挖掘；而Apriori算法是所有的規(guī)則一并挖掘。
3) 基礎(chǔ)不同：M算法是基于規(guī)則強(qiáng)度，它考慮了主觀和客觀兩個(gè)方面；涵蓋了Apriori算法的支持度閾值。
4) 發(fā)現(xiàn)知識(shí)的量不同：在M算法中知識(shí)庫(kù)直接參與挖掘過(guò)程，從而能真正發(fā)現(xiàn)新穎的、用戶感興趣的知識(shí)，這正是符合了KDD定義；而Apriori算法是把滿足條件的規(guī)則全部挖掘出來(lái)；另外，由于M算法中的支持度可以設(shè)置的比較�。ㄒ�?yàn)樵撍惴ㄖ饕怯梢?guī)則強(qiáng)度來(lái)聚焦的），即對(duì)短缺知識(shí)的刪除是比較謹(jǐn)慎的， 因此M算法部分地克服了Apriori算法的一個(gè)缺陷——遺漏重要規(guī)則。
5) M算法可融入KDD中形成新的開放型的結(jié)構(gòu)模型——KDD*，整個(gè)算法實(shí)現(xiàn)的運(yùn)算背景是KDD*結(jié)構(gòu)；而Apriori算法是原有的KDD系統(tǒng)。
2.3.2 源于DFSSM的Web文本分類的TCDFSSM算法
源于DFSSM的Web文本分類算法TCDFSSM的算法流程如圖12所示。該項(xiàng)內(nèi)容已獲國(guó)家發(fā)明專利《一種Web挖掘系統(tǒng)的構(gòu)造方法》（ZL 03104960.5）（見(jiàn)附件 ）
圖12 TCDFSSM文本分類算法流程圖
該算法與現(xiàn)有文獻(xiàn)中的文本分類算法有很大差異，我們通過(guò)實(shí)驗(yàn)驗(yàn)證了它的優(yōu)勢(shì)。
表2 三類文本分類算法的時(shí)間復(fù)雜度比較表
|
算法名稱 |
訓(xùn)練階段時(shí)間復(fù)雜度 |
分類階段時(shí)間復(fù)雜度 |
|
TCDFSSM |
O（mn） |
O（cn） |
|
樸素貝葉斯 |
O（mn） |
O（cn） |
|
KNN |
無(wú) |
O（cn+mn） |
表3 三類文本分類算法的綜合分類率（F1值）的實(shí)驗(yàn)對(duì)比結(jié)果表
|
算法名稱 |
語(yǔ)料庫(kù)1的F1值（%） |
語(yǔ)料庫(kù)2的F1值（%） |
|
封閉 |
開放 |
封閉 |
開放 |
|
TCDFSSM |
95.5 |
93.5 |
93.6 |
91.1 |
|
樸素貝葉斯 |
91.3 |
90.6 |
89.2 |
88.5 |
|
KNN |
93.7 |
91.7 |
92.3 |
90.8 |
表4為三類分類算法的運(yùn)行時(shí)間分析表。運(yùn)行時(shí)間示意圖如圖13所示。
表4 三種分類算法運(yùn)行時(shí)間分析表
|
文檔數(shù)（篇） |
100 |
400 |
600 |
1000 |
|
TCDFSSM算法運(yùn)行時(shí)間（s） |
15 |
25 |
50 |
100 |
|
樸素貝葉斯算法運(yùn)行時(shí)間（s） |
45 |
76 |
135 |
254 |
|
KNN算法運(yùn)行時(shí)間（s） |
90 |
217 |
413 |
927 |
圖13 三類分類算法運(yùn)行時(shí)間比較示意圖
上一頁(yè) [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] 下一頁(yè)
|
