基于EMD的聚類分類在對話系統(tǒng)中的應(yīng)用研究.pdf

1、聊天機(jī)器人是一個用來模擬人類對話或聊天的程序，它涉及數(shù)據(jù)挖掘領(lǐng)域的聚類、分類、答案推薦等多方面知識。在對話系統(tǒng)的知識庫構(gòu)建過程中，需結(jié)合特定業(yè)務(wù)場景，利用精準(zhǔn)的領(lǐng)域知識，以確定的簇數(shù)目進(jìn)行聚類。而在實際應(yīng)用場景中，由于缺乏領(lǐng)域?qū)＜抑R，很難將語料庫數(shù)據(jù)進(jìn)行精確而有效的分類或聚類。
　　論文主要基于電商數(shù)據(jù)平臺，包括商品交易、基金、技術(shù)服務(wù)、在線教育等多個領(lǐng)域的10G多的千萬級別的session；首先利用PPBD（Pre-Proce

2、ssing Business Data）算法從原始的語料庫（日志文件）中提取QA（問答）二元組，然后通過分詞、去停用詞、生成詞典獲取詞向量；并利用混合聚類算法—HCKAP（Hybrid Clustering based K-means and Affinity Propagation）算法和聚類簇質(zhì)量評估算法—Agg_criterion的迭代使用過程完成知識庫的構(gòu)建，進(jìn)而利用對問句對分類和推薦模塊構(gòu)建基于電商平臺的自動對話系統(tǒng)。論文提出

3、的HCKAP算法以吸引子傳播算法確定聚類簇數(shù)目，結(jié)合基于更適合文本聚類的EMD（Earth Mover’s Distance）距離以用于k-means聚類算法的策略。而論文提出的Agg_criterion算法，引入了聚合度函數(shù)，結(jié)合同質(zhì)性和標(biāo)準(zhǔn)互信息對HCKAP算法給出的聚類簇進(jìn)行質(zhì)量評估，通過不斷迭代完成整個聚類過程。
　　論文對問句進(jìn)行分類中使用了基于規(guī)則和基于na?ve bayes分類的兩種分類方法；同時，對比了EMD度量方