基于機器學習的數據補全、標注和檢索若干問題研究.pdf

1、隨著互聯(lián)網的飛速發(fā)展，人們進入了大數據時代。在大數據時代如何對數據進行理解和檢索成為研究人員廣泛關注的問題，在推薦系統(tǒng)、人臉識別、圖像檢索等眾多實際問題中有著廣泛的應用。但是在大數據時代，關于數據本身，我們還面臨著很多挑戰(zhàn)。第一點，雖然可以很容易的收集到大量數據，但是由于各方面的原因，真實數據經?？赡苁侨笔У?、不完整的、或者被部分被干擾的，所以如何進行數據補全和恢復是一個難題。第二點，數據的分類、識別和理解經常需要依賴大量的標注數據，但

2、是大數據時代，雖然數據總量多，但是大部分數據都是沒有標注信息的，而人工標注所有數據耗時耗力，因此如何選擇最重要、最有信息含量的那部分數據進行標注，從而降低標注成本，也是一個重要的科研問題。第三點，大數據時代，如何在對數據進行理解的基礎上，進行快速準確的數據檢索，精確的了解用戶意圖，并給用戶進行實時反饋，也是一大挑戰(zhàn)。針對這三方面的問題，本論文開展了以下工作:
　　1.為了更好的進行數據信息恢復，我們提出了一個基于矩陣截斷式核范數的

3、矩陣補全算法。本文在傳統(tǒng)的基于矩陣核范數的矩陣補全思路啟發(fā)下，進一步對矩陣核范數進行了精細化的修改，將傳統(tǒng)核范數定義中的最大的r的奇異值去掉，由此定義了新的矩陣截斷式核范數。通過這種修改，基于矩陣截斷式核范數的優(yōu)化問題能夠對矩陣的秩的優(yōu)化問題進行更好的近似，從而得到更好的低秩解。同時，我們提出了兩種高效的矩陣截斷式核范數的優(yōu)化算法，分別對應于硬限制和軟限制條件下目標函數的求解。而且，該工作給出了一種一般性的替代矩陣核范數的思路，可以廣泛

4、應用到多種采用矩陣核范數的問題中。
　　2.我們稱對數據進行自動采樣，選擇最有信息量的數據進行標注的過程為主動學習。本文在傳統(tǒng)主動學習算法基礎上，進一步利用核空間理論，將基于距離敏感重構的主動學習算法成功其推廣為其非線性形式。傳統(tǒng)基于距離敏感重構的主動學習算法只是簡單的通過線性重構去表示數據分布，但在很多的實際問題中，數據分布往往非常復雜。而核空間理論表明，可以通過選擇適當的核函數，將原始數據點映射到無窮維再生希爾伯特核空間(RK

5、HS)中。而研究表明，在一個充分高維的空間里，數據的復雜非線性結構更可能被展開成簡單的幾何結構。因此，我們在核空間中對原始算法進行了重新推導，并提出了一種全新的優(yōu)化算法進行核空間目標函數的快速求解。實驗表明，通過引入核空間，我們對數據幾何信息的刻畫更加準確了，取得了更好的效果。
　　3.為了加速數據檢索的速度，提高數據檢索的精度，本文提出了一個綜合數據結構和哈希算法的近似最近鄰檢索框架。傳統(tǒng)上，基于數據結構的檢索算法和基于哈希算法

6、的檢索算法是最近鄰檢索中的兩個獨立的研究方向。本文提出的框架可以融合多種數據結構（如K-means樹，K近鄰圖等）和任意哈希算法，實現(xiàn)兩者的優(yōu)勢互補。一方面，我們將數據結構中使用的傳統(tǒng)歐式距離度量改進成漢明距離，大大加速數據結構中每一步搜索的計算速度;另一方面，我們對每個數據點的哈希編碼利用數據結構進行了重新組織，因此避免了對哈希編碼進行線性暴力搜索，將線性復雜度降低為對數復雜度。還有很重要的一點是，傳統(tǒng)哈希算法由于需要線性遍歷，往往只