數(shù)據(jù)挖掘中關(guān)聯(lián)分析算法研究.pdf

1、關(guān)聯(lián)規(guī)則挖掘在商業(yè)中的廣泛應(yīng)用使得它成為數(shù)據(jù)挖掘中最活躍的研究方向之一。強(qiáng)相關(guān)項(xiàng)目對(duì)的挖掘算法是提高數(shù)據(jù)挖掘效率的有效方法，是解決當(dāng)前關(guān)系數(shù)據(jù)庫挖掘問題的關(guān)鍵途徑之一。在傳統(tǒng)的基于支持度的關(guān)聯(lián)規(guī)則挖掘框架中，數(shù)據(jù)之間真正的關(guān)聯(lián)可能未被發(fā)現(xiàn)，與此同時(shí)可能還會(huì)產(chǎn)生太多不具有真正相關(guān)性的規(guī)則。統(tǒng)計(jì)關(guān)聯(lián)被越來越多的研究人員所采用，以彌補(bǔ)關(guān)聯(lián)規(guī)則的不足。關(guān)聯(lián)分析算法的研究對(duì)于提高數(shù)據(jù)發(fā)現(xiàn)、搜索效率，推廣數(shù)據(jù)庫在社會(huì)各領(lǐng)域的應(yīng)用等方面具有十分重大的

2、理論價(jià)值和實(shí)際意義。本文緊密結(jié)合課題背景需求，對(duì)強(qiáng)關(guān)聯(lián)規(guī)則和關(guān)聯(lián)模式的挖掘問題進(jìn)行了全面系統(tǒng)地探索。主要研究?jī)?nèi)容組織如下：
　　 首先，為了在關(guān)系數(shù)據(jù)庫上進(jìn)一步減少候選項(xiàng)目對(duì)測(cè)試的代價(jià)，通過第一范式的性質(zhì)，對(duì)Taper算法進(jìn)行改進(jìn)，提出了改進(jìn)的TaperR算法，在挖掘過程中減少候選項(xiàng)目對(duì)的數(shù)目，從而提高算法的效率。實(shí)驗(yàn)結(jié)果表明，設(shè)計(jì)的新算法在進(jìn)行關(guān)系數(shù)據(jù)庫上的強(qiáng)相關(guān)項(xiàng)目對(duì)挖掘時(shí)，具有良好的效果。因此，更適合在實(shí)際的關(guān)系數(shù)據(jù)庫系統(tǒng)

3、中應(yīng)用。
　　 其次，設(shè)計(jì)了一種高效的通過單次掃描數(shù)據(jù)庫獲取Top-K項(xiàng)目對(duì)的挖掘算法，且不產(chǎn)生任何候選集。查找基于支持度的top-k強(qiáng)關(guān)聯(lián)項(xiàng)目對(duì)的問題本質(zhì)上是計(jì)算1-和2-成員項(xiàng)集的問題，利用支持頻度獲得top-k強(qiáng)關(guān)聯(lián)項(xiàng)目對(duì)。新方法利用相關(guān)圖矩陣存儲(chǔ)所有1-和2-成員項(xiàng)集的支持頻度。然后，利用相關(guān)圖矩陣計(jì)算所有項(xiàng)目對(duì)的相關(guān)系數(shù)φ，最后提取k個(gè)最相關(guān)的項(xiàng)目對(duì)，實(shí)驗(yàn)表明方法行之有效。
　　 第三，為了有效解決關(guān)系數(shù)據(jù)庫上

4、的Top-K強(qiáng)相關(guān)項(xiàng)目對(duì)的挖掘問題，提出了基于閾值估計(jì)的Top-K強(qiáng)相關(guān)項(xiàng)目對(duì)挖掘算法，即利用數(shù)據(jù)庫的結(jié)構(gòu)信息和比較算法，尋求K個(gè)具有最大皮爾森關(guān)聯(lián)系數(shù)的項(xiàng)目對(duì)，實(shí)驗(yàn)結(jié)果表明，新方法是行之有效的。
　　 第四，基于用戶偏好模型提出了一種智能的最小支持度設(shè)定系統(tǒng)架構(gòu)，在用戶偏好模型中為指定用戶找出了最相似的查詢，將它們聯(lián)合起來獲得適當(dāng)?shù)闹С侄确秶怨┯脩魠⒖?。基于本方法，用于Apriori算法的支持度閾值設(shè)定不再全是主觀的，而是包

5、括了來自其它用戶經(jīng)驗(yàn)的額外知識(shí)。這就提高了用戶查詢構(gòu)造過程的效率，獲得的規(guī)則或挖掘也趨近于用戶的要求。此外，為了解決在結(jié)構(gòu)化數(shù)據(jù)庫中查找頻繁關(guān)聯(lián)模式對(duì)的數(shù)據(jù)挖掘問題，開發(fā)了具有強(qiáng)大剪枝能力的算法。還討論了新算法對(duì)于在一維和多維結(jié)構(gòu)化數(shù)據(jù)庫中發(fā)現(xiàn)模式對(duì)適用性問題，并評(píng)估了新算法的效率。
　　 最后，提出了領(lǐng)域知識(shí)驅(qū)動(dòng)的圖像關(guān)聯(lián)模式挖掘算法。圖像中包含了很多具有診斷意義的關(guān)鍵像素區(qū)域(ROI)，這些ROI具有自身的屬性，ROI之間還