基于GPU的快速摘要生成方法.pdf

1、作為搜索引擎展示最終搜索結(jié)果的重要組成部分,基于查詢的摘要是現(xiàn)代搜索引擎最常用的方法,它可以向用戶展示結(jié)果文檔中與檢索詞關(guān)聯(lián)度最大的若干片段,這種基于查詢的摘要可以使得搜索結(jié)果對(duì)于用戶而言更直觀,更具針對(duì)性。根據(jù)查詢?cè)~來(lái)計(jì)算一篇文檔的摘要是輕量級(jí)的任務(wù),但是現(xiàn)今的搜索引擎往往要面對(duì)海量的查詢請(qǐng)求,而每個(gè)請(qǐng)求所呈現(xiàn)的結(jié)果頁(yè)面中的每個(gè)結(jié)果文檔都必須根據(jù)查詢?cè)~來(lái)生成相應(yīng)的摘要,因此基于查詢的摘要計(jì)算是現(xiàn)代搜索引擎系統(tǒng)中耗費(fèi)計(jì)算資源相當(dāng)大的一個(gè)

2、部分。為了改進(jìn)在大負(fù)載條件下摘要生成計(jì)算的性能和經(jīng)濟(jì)性,提出了一種基于CPU-GPU(Graphic Processing Unit,圖形處理單元)混合系統(tǒng)的高性能并行處理方法。
　　提出了一種適合GPU處理的摘要生成算法,這個(gè)算法采用了滑動(dòng)窗口的文檔切分方法,目的是為了避免傳統(tǒng)的截?cái)嗍轿臋n切分法所導(dǎo)致的高關(guān)聯(lián)度片段被切斷的問題。與此同時(shí),算法還采用了一種新的量化公式來(lái)評(píng)估一個(gè)片段與查詢?cè)~的關(guān)聯(lián)度。
　　在對(duì)CPU-GPU混

3、合系統(tǒng)運(yùn)行特征進(jìn)行分析的基礎(chǔ)之上,對(duì)前述的摘要生成算法進(jìn)行了改進(jìn)。將一個(gè)摘要生成任務(wù)內(nèi)部并行化的同時(shí),還實(shí)現(xiàn)了任務(wù)間的并行化,并設(shè)計(jì)了一種三段式的流水線系統(tǒng)來(lái)支持此并行化的處理方法。為了實(shí)現(xiàn)此三段式流水線系統(tǒng),設(shè)計(jì)了一種異步執(zhí)行框架JobFlow,此框架采用基于服務(wù)的編程模式,可以支持高度的模塊化和并行化的程序設(shè)計(jì)。
　　開展了多項(xiàng)試驗(yàn)以優(yōu)化系統(tǒng)的性能指標(biāo)并評(píng)估系統(tǒng)的性能和經(jīng)濟(jì)效能。實(shí)驗(yàn)結(jié)果顯示,與基準(zhǔn)摘要生成算法Lucene的H