基于語(yǔ)義相似度的比價(jià)系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的成熟，網(wǎng)絡(luò)開(kāi)始從各個(gè)方面改變?nèi)藗兊纳罘绞?，受互?lián)網(wǎng)思潮的影響，傳統(tǒng)零售業(yè)開(kāi)始尋求一種新的銷(xiāo)售理念，電子商務(wù)隨之流行起來(lái)?，F(xiàn)在發(fā)展比較成熟的購(gòu)物網(wǎng)站如淘寶、京東、唯品會(huì)、亞馬遜等，一般都缺乏與其他不同類(lèi)別的電商網(wǎng)站來(lái)對(duì)比以突出自己網(wǎng)站優(yōu)越性的功能。這些購(gòu)物網(wǎng)站上的商品種類(lèi)非常之多，沒(méi)有突出它們專(zhuān)制于銷(xiāo)售哪一類(lèi)商品，并且價(jià)格不一，以至于用戶(hù)很難在這些網(wǎng)站上挑選到特定類(lèi)別上心儀的商品。平臺(tái)上入駐的商家也由于不知道上傳的商品的線上

2、市場(chǎng)價(jià)格而難以對(duì)產(chǎn)品制定最合適的價(jià)格，在產(chǎn)品價(jià)格方面沒(méi)有競(jìng)爭(zhēng)優(yōu)勢(shì)。
　　本研究主要內(nèi)容包括：⑴基于Heritrix爬蟲(chóng)框架，制定了一個(gè)高效靈活的抓取策略來(lái)爬取商品數(shù)據(jù)。針對(duì)購(gòu)物網(wǎng)站商品頁(yè)面的這種特定網(wǎng)頁(yè)結(jié)構(gòu)，采取了結(jié)合HTMLParser和正則表達(dá)式的方法來(lái)提取所抓取網(wǎng)頁(yè)中的商品數(shù)據(jù)，建立了本系統(tǒng)所需要的商品數(shù)據(jù)庫(kù)。⑵雖然不同的人對(duì)一個(gè)商品的描述是不盡相同的，但從語(yǔ)義上來(lái)說(shuō)，所表達(dá)的內(nèi)容是很相似的，為提高商品比價(jià)時(shí)商品描述與數(shù)據(jù)庫(kù)

3、中商品信息匹配的精確度，本文提出了一種基于語(yǔ)義的中文文本相似度算法。利用知網(wǎng)中的詞匯語(yǔ)義信息來(lái)計(jì)算詞語(yǔ)的語(yǔ)義相似度，從詞語(yǔ)的多個(gè)角度出發(fā)來(lái)分析詞語(yǔ)的權(quán)重并以此來(lái)提取文本的核心詞，通過(guò)計(jì)算文本核心詞之間的相似度來(lái)度量文本之間的相似度，并用實(shí)驗(yàn)驗(yàn)證了這種算法的有效性。⑶為了進(jìn)一步提高商品比價(jià)的精確度，本文利用商品的一些標(biāo)簽信息如品牌，功效等，根據(jù)這些商品標(biāo)簽的相似性進(jìn)一步確定與待比較商品最相似或最相關(guān)的商品，以獲得更精確的比價(jià)結(jié)果。文中利用