排序?qū)W習(xí)中的批量主動(dòng)學(xué)習(xí)問題研究.pdf

1、隨著Internet技術(shù)的突飛猛進(jìn)，Web信息量爆炸性增長，人們?cè)絹碓搅?xí)慣使用搜索引擎查找所關(guān)心的信息。但浩瀚的信息資源卻給搜索引擎的發(fā)展提出了新的挑戰(zhàn)。如何有效、快捷、準(zhǔn)確地將查詢結(jié)果返回給用戶，提高Web信息檢索效果，已變成一項(xiàng)迫切而有意義的研究課題。
　　 在現(xiàn)階段信息檢索領(lǐng)域的研究中，基于監(jiān)督學(xué)習(xí)的排序?qū)W習(xí)逐漸成為排序研究的熱點(diǎn)?；诒O(jiān)督學(xué)習(xí)的排序?qū)W習(xí)需要大量的人工標(biāo)注的樣本，為了減少人工標(biāo)注樣本的標(biāo)注量，產(chǎn)生了一些基于

2、“選擇最值得標(biāo)注的樣本進(jìn)行標(biāo)注”思想的所謂主動(dòng)排序?qū)W習(xí)算法。通過主動(dòng)排序?qū)W習(xí)算法，用戶不需要一開始標(biāo)注所有的樣本，而是開始只標(biāo)注一部分樣本，先學(xué)習(xí)得到一個(gè)排序模型；然后每次從剩下的未標(biāo)注樣本中選擇一個(gè)最值得標(biāo)注的樣本進(jìn)行標(biāo)注，把這個(gè)新標(biāo)注的樣本放入訓(xùn)練集中，重新訓(xùn)練得到新的排序模型；然后在剩下的未標(biāo)注樣本中再重新選擇一個(gè)樣本進(jìn)行標(biāo)注，加入訓(xùn)練集，如此類推直到得到最終的排序模型。主動(dòng)學(xué)習(xí)減少了排序?qū)W習(xí)的樣本標(biāo)注量，但此方法有一個(gè)問題是每次

3、只選擇一個(gè)樣本標(biāo)注，之后又要重新訓(xùn)練，訓(xùn)練需要很多時(shí)間，同時(shí)標(biāo)注人員標(biāo)注下一個(gè)樣本需要等待很長時(shí)間。如果每次可以選擇多個(gè)樣本，則可以減少整個(gè)主動(dòng)排序?qū)W習(xí)的時(shí)間，降低標(biāo)注人員的工作量，即標(biāo)注代價(jià)，同時(shí)，如果有多個(gè)標(biāo)注人員的話，還可以實(shí)現(xiàn)并行標(biāo)注，提高主動(dòng)排序的效率。
　　 針對(duì)上述問題，本文提出批量主動(dòng)排序?qū)W習(xí)的思想，主動(dòng)排序?qū)W習(xí)的時(shí)候，一次能夠找到多個(gè)值得標(biāo)注的樣本給用戶標(biāo)注，這多個(gè)標(biāo)注的樣本對(duì)排序模型性能的提升有很大的價(jià)值。<

4、br>　　 本文提出了兩種批量主動(dòng)排序?qū)W習(xí)算法，一種是基于夾角差異的批量主動(dòng)排序?qū)W習(xí)算法，該算法通過加入批量選擇的樣本之間的夾角差異度量，來減少批量選擇的樣本之間的相似度，提高批量主動(dòng)排序的性能。另一種是基于損失函數(shù)的批量主動(dòng)排序?qū)W習(xí)算法，該算法直接從提高排序模型性能的損失函數(shù)入手，批量選擇能夠使損失函數(shù)達(dá)到最小值的那些樣本進(jìn)行標(biāo)注。
　　 本文在不同數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)評(píng)價(jià)以上兩種批量主動(dòng)排序?qū)W習(xí)算法，同時(shí)與單樣本主動(dòng)排序?qū)W習(xí)算