信源編碼離散信源無(wú)失真編碼

1、第三章 信源編碼（一）離散信源無(wú)失真編碼,,,3.1信源及其分類3.2離散無(wú)記憶信源的等長(zhǎng)編碼3.3離散無(wú)記憶信源的不等長(zhǎng)編碼3.4最佳不等長(zhǎng)編碼,,無(wú)失真編碼限失真編碼,3.1 信源及其分類,,信源及其分類,離散信源連續(xù)信源無(wú)記憶信源有記憶信源簡(jiǎn)單信源－獨(dú)立同分布平穩(wěn)信源，各態(tài)歷經(jīng)源M階記憶源時(shí)間離散連續(xù)源隨機(jī)波形源,3.2 離散無(wú)記憶源的等長(zhǎng)編碼,,離散無(wú)記憶源,字母表A={a1,…,aK},概率p1,…,p

2、K,長(zhǎng)為L(zhǎng)的源輸出序列uL={u1,…,uL}，共有KL種序列碼符號(hào)字母表B={b1,…,bD},以碼符號(hào)表示源輸出序列，D元碼等長(zhǎng)D元碼，不等長(zhǎng)D元碼單義可譯碼，每個(gè)消息都至少有一個(gè)碼字與之對(duì)應(yīng)。單義可譯碼存在充要條件DN≥KL N≥LlogK/logD,DMS的等長(zhǎng)編碼,NlogD≥LH(U)H(U)是統(tǒng)計(jì)平均值，L達(dá)到無(wú)限時(shí)，一個(gè)具體的源輸出序列的平均每符號(hào)的信息量才等于H(U)選L足夠長(zhǎng)，使 NlogD≥L[H(U

3、)+eL],弱、強(qiáng)e典型序列集,信源劃分定理,編碼速率和等長(zhǎng)編碼定理,R=(1/L)logM=(N/L)logD, M為碼字總數(shù)對(duì)于給定信源和編碼速率R以及任意e>0，若有L0,以及編譯碼方法，使得L>L0,錯(cuò)誤概率小于e，R是可達(dá)的等長(zhǎng)編碼定理R>H(U),R是可達(dá)的，R<H(U)是不可達(dá)的編碼效率h=H(U)/R,3.3 DMS的不等長(zhǎng)編碼,,平均碼長(zhǎng),幾個(gè)定義,唯一可譯碼逗點(diǎn)碼，無(wú)逗點(diǎn)碼字頭或前

4、綴異字頭碼或異前綴碼樹(shù)碼，滿樹(shù)，非滿樹(shù)，全樹(shù)樹(shù)碼構(gòu)造異字頭碼,例子,Shannon－Fano編碼,D元碼每次信源符號(hào)化為概率近似相等的D個(gè)子集這樣可以保證D個(gè)碼元近似等概，每個(gè)碼字承載的信息量近似最大，碼就近似最短。理想情況I(ak)=nklogD, p(ak)=D-nk,Kraft不等式,不等長(zhǎng)編碼定理,3.4最佳不等長(zhǎng)編碼,,兩個(gè)定理,1.對(duì)于給定信源，存在最佳唯一二元可譯碼，最小概率的兩個(gè)碼字碼長(zhǎng)相等且最長(zhǎng)，他們之間僅

5、最后一位不同2. 對(duì)輔助集為最佳的碼，對(duì)原始集也是最佳的,Huffman編碼,例(0.20,0.19,0.18,0.17,0.15,0.10,0.01),Shannon-Fano-Elias編碼,累計(jì)分布函數(shù),修正累計(jì)分布函數(shù),Shannon-Fano-Elias編碼,采用 的數(shù)值作為ak的碼字碼長(zhǎng),Shannon-Fano-Elias編碼,Shannon-Fano-Elias編碼,算術(shù)碼,算術(shù)

6、碼,信源序列(u1u2…un)的累計(jì)分布算術(shù)編碼是計(jì)算序列的累計(jì)分布，用累計(jì)分布值表示序列，所以稱為算術(shù)編碼以二元信源輸出序列的編碼為例01110,算術(shù)碼,,P(010),P(011),F(011),,,,P(0110),P(0111),,F(0111),P(01110),P(01111),F(01111),算術(shù)碼,信源符號(hào)序列u對(duì)應(yīng)區(qū)間的寬度等于符號(hào)序列的概率,算術(shù)編碼,F(u)將[0,1)分割成許多小區(qū)間，取小區(qū)間內(nèi)的一個(gè)點(diǎn)代表

7、該序列，以該點(diǎn)數(shù)值的二進(jìn)制小數(shù)表示該序列，碼字長(zhǎng)度為,算術(shù)編碼,例：,P(0)=0.25,P(1)=0.75, u=11111100 P(u=11111100)=0.7560.252L=7F(s)=0.110100100111C=1101010編碼效率92.7%,LZ編碼,利用字典編碼方法信源符號(hào)A=(a1…aK)將序列分為不同的段取最短長(zhǎng)度的連續(xù)符號(hào)構(gòu)成段，保證互不相同。先取一個(gè)符號(hào)分段，若與前面段相同，就再取一個(gè)符