基于決策樹的惡意程序行為檢測系統(tǒng)Malware Sandbox設計與實現.pdf

1、反病毒廠商每天都要收到數以萬計的可疑程序樣本,工程師需要從海量可疑文件中找出真正的惡意程序,以提取病毒特征碼,從而更新病毒特征數據庫。本題的目標是開發(fā)出一套基于程序行為的惡意程序分析檢測系統(tǒng)Malware Sandbox,用以高效快捷的判定樣本是否惡意程序,并生成具體的行為報告,幫助反病毒工程快速的找到惡意程序和提取其病毒特征碼。本文的基本思想是使用API hook技術提取程序運行過程中的API調用序列;然后根據API調用序列上下文關系

2、提取程序高層行為數據;在訓練階段用大量的高層行為數據構建C5.0決策樹分類模型;利用決策樹分類模型模擬反病毒工程師的邏輯判斷過程判斷未知樣本的惡意性。本研究主要內容包括：
　　 ⑴在長期的病毒樣本處理過程中,總結出了110種程序行為特征和26種文件特征作為研究對象。
　　 ⑵現行行為檢測系統(tǒng)CWSaadbox等都認為API調用序列反應程序行為,通過hook程序API的調用提取API調用序列,以此序列作為研究對象。本文不直

3、接研究API調用序列,而是研究從API序列中根據API調用上下文的關聯性提取的高層行為(High level behavior),以這種高層行為作為研究目標數據,用機器學習的方法構建惡意程序分類模型。這種結合了上下文關系的高層行為比單純的API更加意義豐富,更能反應程序行為本質。采用微軟Detours開發(fā)庫來hook系統(tǒng)API,提取API序列。但是Detours在應用上有一個難點,必須為每一個API編寫一個hook函數,這勢必增加開發(fā)難

4、度,使程序結構復雜化。本文在深入研究Detours hook原理后,改進了其原有的hook機制,改進后的detours只需要一個通用的hook函數就能處理任意API hook,不需要為hook一個新API而添加或者修改任何代碼,實現“以數據驅動程序,而非代碼驅動程序”。在高層行為提取時,將API調用表示成Prolog語言的事實定義,將高層行為表示成Prolog規(guī)則定義,充分利用Prolog邏輯處理能力,準確的提取程序行為。
　　

5、 ⑶檢測系統(tǒng)運行在一個VMWare虛擬環(huán)境中提取樣本程序API調用序列。虛擬系統(tǒng)使用Qvix虛擬機自動控制技術對虛擬環(huán)境進行自動化控制,從而使得API序列提取過程可以無需人工參與,高效自動的完成。
　　 ⑷引入了典型正常行為特征用于分類決策。相比其他行為檢測系統(tǒng)只關注惡意程序行為特征而言,Malware Sandbox引入的正常行為特征可以有效的降低檢測誤報率。實驗得出Malware Sandbox惡意程序行為檢測系統(tǒng)具有較高的