限失真信源編碼定理和多用戶(hù)信息論第九講

1、9－1 信息率失真函數(shù) 9－2 限失真信源編碼定理 9－3 相關(guān)信源編碼 9－4 多址接入信道和廣播信道,第九講,限失真信源編碼定理 與多用戶(hù)信息論,,9－1 信息率失真函數(shù),實(shí)際通信系統(tǒng)當(dāng)中，實(shí)現(xiàn)完全無(wú)失真的代價(jià)較大，設(shè)備昂貴，并且對(duì)于連續(xù)信源，要求絕對(duì)熵?zé)o限大，要求信息率無(wú)限大，這也是不可能的；另一方面，我們有時(shí)并不需要完全無(wú)失真的信息傳輸，而可以在一定的誤差之下，保證一定的失真

2、度的條件下，進(jìn)行信息傳輸。（人的眼和耳有一定的感受范圍）,隨著科學(xué)技術(shù)的發(fā)展，數(shù)字系統(tǒng)得到了廣泛應(yīng)用，也就帶來(lái)傳送、存儲(chǔ)和處理大量的數(shù)據(jù)。例如在數(shù)字通信系統(tǒng)中，普通電話(huà)的數(shù)碼率為64kbit/秒，可視電話(huà)的數(shù)碼率為8.448Mbit/s。數(shù)字電視的傳輸率約為100Mbit/s。,,要求在保證一定質(zhì)量（保真度）地條件下近似地再現(xiàn)原來(lái)的信息，也就是允許有一定的錯(cuò)誤存在，這就是信息壓縮。在允許一定的失真條件下，能夠把信源信息壓縮到什么程度，即

3、最少需要多少比特?cái)?shù)才能描述信源，也就是在允許一定程度失真條件下，如何快速地傳遞消息？這就是信息率失真理論研究的問(wèn)題。它是量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。 信息率失真函數(shù)R(D)就是在允許一定的失真度D的條件下最小的信息傳輸率。限失真信源編碼定理（香農(nóng)第三定理）就是說(shuō)：只要信息率 R 大于 R(D)，就一定存在一種編碼，以使譯碼后的失真小于 D。,1、失真函數(shù)（失真度）,設(shè)離散無(wú)記憶信源，信源變量,通過(guò)信道傳

4、送到接收端的接受變量,對(duì)于每一對(duì)（u，v），定義 單符號(hào)失真度 為,共有 r× s 個(gè)，為失真矩陣,我們可以定義：,信源,信源編碼,信道編碼,信源編碼,信道譯碼,信道,信宿,,,,,,,,,干擾,廣義干擾信道,v,u,平均失真,因?yàn)?都是隨機(jī)量，則平均失真: （對(duì)應(yīng)變量之間的）,設(shè)有信源輸出離散隨機(jī)變量序列,令譯碼輸出為,序列的失真度為：,平均失真為：,信道與信源都是無(wú)記憶的情況：,保真度準(zhǔn)則：對(duì)于

5、允許的失真 D,因?yàn)樾旁刺匦院蛦蝹€(gè)符號(hào)的失真函數(shù)為已知，編碼不同相當(dāng)于 不同。有失真信源編碼問(wèn)題就是從滿(mǎn)足 的所有編碼方式或所有 中選擇一種使信息率為最小。用 表示滿(mǎn)足條件的 全體，信息率失真函數(shù)R(D)為,2、信息率失真函數(shù),如果我們要求平均失真小于某個(gè)定值D，即,它表示在 下信源必須傳輸?shù)淖钚∑骄畔⒘俊?,,,

6、,R(D),Dmax,H(X),D,離散源,連續(xù)源,,,R(D)的性質(zhì)：,信息率失真函數(shù)理論屬于信源編碼問(wèn)題： 試驗(yàn)信道,R(D)的計(jì)算：求極值。,,是D的單調(diào)減函數(shù)。,,,拉格朗日算子法,9－2 限失真信源編碼定理,離散無(wú)記憶信源的限失真編碼定理 (香農(nóng)第三定理): 若一離散無(wú)記憶平穩(wěn)信源的率失真函數(shù)是R(D)，則當(dāng)信息率R > R(D)時(shí)，只要信源序列長(zhǎng)度L

7、足夠長(zhǎng)，一定存在一種編碼方式C，其譯碼失真小于或等于D＋?，?為任意小的正數(shù)。反之，若R < R(D)，則無(wú)論用什么編碼方式，其譯碼失真必大于D。,（失真典型序列）,限失真信源編碼方法：預(yù)測(cè)法、變換法、、、,,9－3 相關(guān)信源編碼,多用戶(hù)信息論（網(wǎng)絡(luò)信息論）： 當(dāng)信息系統(tǒng)涉及三個(gè)或更多個(gè)用戶(hù)時(shí)構(gòu)成的通信系統(tǒng)。,前面研究的是只有一個(gè)信源和一個(gè)信宿的單向通信的單用戶(hù)通信系統(tǒng)。隨著空間通信、通信網(wǎng)和計(jì)算機(jī)網(wǎng)的發(fā)展，信息

8、論的研究已從單用戶(hù)通信系統(tǒng)發(fā)展到網(wǎng)絡(luò)通信系統(tǒng)。,,實(shí)際通信系統(tǒng)例如電話(huà)交換網(wǎng)、廣播網(wǎng)、計(jì)算機(jī)網(wǎng)等都是網(wǎng)絡(luò)通信系統(tǒng)。該系統(tǒng)的輸入端涉及到兩個(gè)或兩個(gè)以上的信源，或者輸出端涉及到兩個(gè)或兩個(gè)以上的信宿（終端或用戶(hù)）。隨著互聯(lián)網(wǎng)、衛(wèi)星通信、光纖通信、移動(dòng)通信的發(fā)展，通信范圍越來(lái)越大。這些通信網(wǎng)都是復(fù)雜的信息流通系統(tǒng)，信息是在眾多用戶(hù)和方向中流通的。怎樣在這些網(wǎng)絡(luò)通信中有效和可靠的傳遞信息，就是網(wǎng)絡(luò)信息論（多用戶(hù)信息論）所研究的問(wèn)題 。,IEEE

9、 Transaction on Information Theory,邊信息： 提供給 ，或者 提供 給的信息。,相關(guān)信源獨(dú)立編碼定理： 對(duì)于任意離散無(wú)記憶信源，所有的可達(dá)速率對(duì)滿(mǎn)足,,,信源1,信源2,信源編碼器1,信源編碼器2,譯碼器,,,,,,,,,{U1l},{U2l},R1,R2,{U^1l},{U^2l},也就是一種互信息。已知 時(shí)已經(jīng)提供了一些關(guān)于

10、 的信息，因此只要獲得大于 的信息量就可以完全確定 。 是疑義度，已知 后關(guān)于 的剩余信息量，所以邊信息就是互信息。只不過(guò)原來(lái)用于編碼器、信道的輸入輸出，現(xiàn)在用于并行處理。,R2,H(S2),H(S1S2),可達(dá)速率域R,R1+R2=H(S1S2),R1,H(S2|S1),H(S1|S2),H(S1),,H(S1S2),

11、9－4 多址接入信道和廣播信道,多址接入信道就是多個(gè)不同信源的信息經(jīng)過(guò)幾個(gè)編碼器后送入同一個(gè)信道傳送，收端僅僅由一個(gè)譯碼器譯出不同信源的信息，送給不同的信宿。從信道來(lái)看，它是多輸入單輸出信道。,廣播信道就是有一個(gè)發(fā)端和多個(gè)收端的信道。,,譯碼器,,信道,,,,,,,,X2,XM,X1,Y,,信源1,信源2,信源3,編碼器2,編碼器1,編碼器3,,,,,,,,,,,,,U1,U2,UM,,U^2,U^1,U^M,多址接入信道,衛(wèi)星通信的

12、上行線(xiàn)路,信 道,信源1,信源2,信源3,,,,,,,,U1,U2,UM,,編碼器,X,,,,譯碼器1,譯碼器1,譯碼器1,,,,,,,,Y2,YM,Y1,,,,,U^2,U^1,U^M,廣播信道,衛(wèi)星通信的下行線(xiàn)路,信源1,信源2,編碼器1,編碼器2,信源M,編碼器M,信 道,譯碼器T,譯碼器2,譯碼器1,,,,,,,,,,,,,,,,,,,,X1,X2,U^11,U^12,,,,,,U^21,U^22,,,多用戶(hù)通信網(wǎng),信

13、源1,信源2,編碼器2,編碼器1,信 道,譯碼器,,,,,,,,,,U1,U2,X1,X2,Y,定理：具有兩個(gè)發(fā)射端 的多址接入信道的容量區(qū)域， 由滿(mǎn)足下述的范圍給定：,,,,R2,I(X2;Y|X1),R1,I(X1X2;Y),I(X1X2;Y),I(X1;Y),I(X2;Y),I(X1;Y|X2),容量區(qū),,,,信源1,信源2,譯碼器2,編碼器,信道,譯碼器1,,,,,,,U1,U2,X,Y2,Y1,