基于可壓縮結構化數(shù)據(jù)的信息壓縮理論研究與算法實現(xiàn).pdf

1、隨著人類需求的不斷提高以及信息技術的持續(xù)進步,基因測序和光譜成像技術也在高速發(fā)展著。技術進步為人們提供了豐富多彩的服務,但隨著需求的增長與變化,我們正迎來海量信息的大數(shù)據(jù)浪潮。面對如存儲空間、網(wǎng)絡帶寬、電池、分辨率、計算能力等方面的限制或要求,對于可壓縮結構化數(shù)據(jù)的高效信號采集及壓縮處理越來越受到人們的關注。在生物信息學中,基因序列的存儲格式間相互關聯(lián),其中FASTA格式是一種測序后基于文本用于表示核苷酸序列或氨基酸序列的格式,SAM/

2、BAM格式(SAM全稱是sequence alignment/map format)是包含了完整的基因比對信息,成為后續(xù)基因片段分析處理的基礎,并為不同測序平臺產(chǎn)生的序列提供一個通用比較途徑的格式。二十一世紀是生物醫(yī)學世紀,隨著測序技術的發(fā)展和測序機構的快速擴張,現(xiàn)存的基因數(shù)據(jù)尤其是FASTA和SAM/BAM格式的數(shù)據(jù)存在大量冗余。另一方面,隨著壓縮傳感技術在多光譜成像領域的興起,越來越多的多光譜成像系統(tǒng)通過滿足壓縮傳感理論的編碼孔徑來

3、實現(xiàn)。不管是FASTA格式以及SAM/BAM格式的基因數(shù)據(jù),還是由編碼孔徑快照光譜成像系統(tǒng)產(chǎn)生的采樣測量數(shù)據(jù),這些數(shù)據(jù)都具有各自可壓縮結構化的特征,如何提供相應的壓縮方案去適應這些數(shù)據(jù)類型的結構化特征是信號處理領域的新挑戰(zhàn)。
　　針對FASTA格式,本文提出了一種基于非連續(xù)上下文建模和最大熵原則的基因壓縮方法。在第一階段,本文所提出的方法同時考慮了有參考序列和無參考序列兩種實際情況,用字典方法表示基因序列內(nèi)或間的重復序列,提高壓縮

4、效率;在第二階段,將非連續(xù)上下文建模思想與傳統(tǒng)的連續(xù)上下文建模思想相結合,提高了預測模型的多樣性與全面性,更適應于以非傳統(tǒng)規(guī)律排列的基因序列,同時利用最大熵原則得到Logistic回歸模型進行模型合成,克服了以往貝葉斯平均法過度依賴單一模型而忽略其他模型有效性的缺點,并使得合成概率更加準確。相關論文“DNA-COMPACT: DNA COMpression Based on a Pattern-Aware Contextual Mode

5、ling Technique”已在SCI期刊JPLoS ONE上發(fā)表。
　　針對SAM/BAM格式,本文提出了一種基于多參考序列的基因序列分級壓縮方法。由于SAM格式的基因序列由11個強制域和多個可選域構成,該方法首先將原文件按域提取成12個獨立文件,然后對12個文件進行并行壓縮:對“Sequence”域,利用多個公開的參考基因序列,并將短序列長度逐步減半,多次比對目標序列以提高被壓縮序列的比對準確率,進而提高壓縮效率;對于“Qu

6、ality Value”域采用用戶可指定壓縮等級的k均值聚類結合上下文建模PPMVC壓縮的方法;對于剩下的10個域采用基于域內(nèi)特征和域間相關性的壓縮方法。該方案相對于現(xiàn)有的同格式的壓縮方案既提高了壓縮效率,又提供了壓縮等級的多選擇性,使得其更有適應性與擴展性。相關論文“HUGO:Hierarchical mUlti-reference Genome compression For Aligned Reads”已在SCI其月干jJourn

7、al of the American Medical Informatics Association上發(fā)表。
　　壓縮傳感要求提供非相干采樣的傳感矩陣(采樣矩陣),采樣的非相干性就是要求用傳感矩陣采集到的數(shù)據(jù)不應已存在于稀疏基內(nèi),這樣壓縮的采樣值才能盡可能的保存更多信息。但相應地,傳感矩陣得到的最終測量值信號也不再冗余,且不易于壓縮。然而在多光譜成像系統(tǒng)中,研宄學者們?nèi)匀幌Ｍ軐嚎s感知后的采樣測量值進一步壓縮,以便于其在環(huán)境遙感

8、、天體物理學和軍事目標檢測等方面應用時的實時傳輸。針對單色散編碼孔徑快照光譜成像系統(tǒng),本文首次提出對其產(chǎn)生的可壓縮的測量值進一步無損壓縮的思想。結合條件熵最小化模型,我們將壓縮問題轉(zhuǎn)化為變換問題,即尋找可壓縮測量值矩陣的可逆變換,使得變換后的矩陣有更強的相關性從而易于壓縮。在對可壓縮測量值統(tǒng)計建模的基礎上,我們證明了基于編碼孔徑的均值濾波(mean filter)式變換能將可壓縮測量矩陣轉(zhuǎn)換為一個與原始圖像分布近似的矩陣,和一個可用編碼

9、孔徑作為輔助信息進行位平面編碼(bit plane coding)的稀疏矩陣。實驗結果表明本文提出的方案對提升可壓縮測量值的壓縮效率有突出的效果。相關論文“Embedded Transform Coding based Lossless Compression in Compressive Spectral Imaging with Coded Aperture”已被Data Compression Conference( DCC,20