跨模態(tài)人臉圖像生成方法研究.pdf

1、隨著智能移動設備和互聯(lián)網走進千家萬戶，不同風格的人臉照片圖像在專業(yè)領域以及人們日常生活中都十分常見。例如照片風格和素描風格的人臉圖像，可見光和近紅外風格人臉圖像等，因此經常需要對不同風格的圖像進行相互轉化。譬如，從人臉照片圖像生成對應的素描人臉，以滿足數(shù)字娛樂或專業(yè)領域的實際應用需要。自動的跨模態(tài)人臉合成旨在將人臉圖像在不同風格下進行轉化，作為目前具有挑戰(zhàn)性的一項任務，具有重要的研究意義。目前針對此項任務提出了很多方法，但是仍然在視覺效

2、果等方面存在不足。
　　本文針對跨模態(tài)人臉合成進行算法改進。首先提出基于引導圖像濾波的兩步細節(jié)增強算法，第一步是基于KNN的基準算法，對測試圖像小塊在訓練集源模態(tài)圖像中搜索與其最相像的圖像小塊，并利用與之對應的目標模態(tài)圖像小塊進行線性組合，以此估計測試圖像小塊的目標模態(tài)初始合成結果；第二步對初始合成結果應用引導圖像濾波，將輸入測試圖像作為引導圖像，以此彌補以往算法面部細節(jié)缺失的不足。通過定性的實驗評估，該方法在保持全局特征基礎上能

3、夠有效增強面部細節(jié)，例如能有效恢復頭發(fā)紋理、瞳孔亮光等細節(jié)。第二，在此基礎上，進一步提出結構化細節(jié)增強跨模態(tài)人臉合成算法，主要思想是對面部五官和其他部分采用不同的合成策略，從而有效地解決面部五官的合成上缺失陰影細節(jié)的問題。第三，針對某些測試圖像的合成結果存在面部五官位置偏差的現(xiàn)象，通過實驗分析發(fā)現(xiàn)是由于訓練集源模態(tài)和目標模態(tài)五官并非完全對齊，因此提出基于對齊訓練集來改善實驗結果的策略。同時，針對素描人臉圖像改進面部特征點算法，并將其應用