多媒體技術和應用第4章

1、,,,多媒體技術與應用,公共選修課,,,,,,,廣州中醫(yī)藥大學信息技術學院,,,,1. 什么是聲音?聲音的種類 聲音的種類繁多。人聲馬嘶、獸鳴鳥叫、風雨雷電、機器轟鳴、悠揚琴聲等…… 因此，聲音根據(jù)內(nèi)容可以分為：天籟之音，語音，樂音等；根據(jù)頻率可分為：高音、低音、重低音、超聲波與次聲波等；根據(jù)特性分為樂聲和噪聲。聲音的實質(zhì) 從信息處理的角度來看，聲音實質(zhì)上是一種信號，稱之為音頻信號。,第

2、四部分 聲音和音頻信號處理,,http://www.q266.com 創(chuàng)點教程網(wǎng),2.聲音信號的特點,聲波具有時間和幅度上的連續(xù)性；聲音的傳播具有反射、折射、衍射等形式；（聲速和多普勒效應）,振幅A反映了信號的強度；就是聲音的大小。頻率F反映了音調(diào)的高低；也即尖細或是低粗。,3.聲波的應用 聲納，B超。,4.聲音的三要素,音調(diào)：指聲音的基音頻率；（音階的劃分）音色：指聲音的泛音頻率；（音頻帶寬）音強：指

3、聲音的聲音幅度；（音量的計量－分貝dB)。,5. 聲音質(zhì)量的度量,聲品質(zhì)可定義為聽覺事件對個人各方面需求的滿足程度，影響聲品質(zhì)的因素包括物理(聲場)、心理聲學(聽覺感知)、心理(聽覺評價)等幾方面。人類的聽覺頻率范圍：20～20KHz。語音質(zhì)量等級： 根據(jù)聲音頻帶，聲音質(zhì)量分5個等級，依次為：電話、調(diào)幅廣播(AM)、調(diào)頻廣播(FM)、CD光盤、數(shù)字錄音帶( DAT，Digital Audio Tape),6.音強和響度，聽

4、閾和痛閾,音強又稱為響度，是表示人的聽覺主觀判斷聲音的強弱程度。在心理學上，響度是人耳對音量大小、聲音強弱的主觀感受。響度大，聲音顯得豐滿；響度小，聲音便非常單薄脆弱。在物理上，響度用聲壓或聲強來描述聲音的強弱。 響度級為以1000Hz為基準。定義1000Hz、40dB純音時，響度為1宋。 當聲音弱到人耳剛剛能聽到的時候，此時的音強稱之為：聽閾。 當音強達到人耳感覺疼痛的時候，此時的音強稱為痛閾。聽閾和痛閾是隨頻

5、率變化的。 人耳的聽覺音強范圍為0-120dB。,人的聽覺聲強范圍,7.人類的聽覺特性,1) 人耳只能察覺出3dB以上音強變化2) 人耳對不同頻段的聲音敏感度不同人耳對1~3KHZ的聲音最為靈敏3) 人的聽覺具有掩蔽效應,聽覺的掩蔽效應,問題：音頻信號有什么特點？如何用計算機處理音頻信號？如何獲得高質(zhì)量的音頻信號？,模擬信號的數(shù)字化處理,模擬到數(shù)字的轉(zhuǎn)換－A/D轉(zhuǎn)換（Analog to Digital Conver

6、sion）,模擬信號數(shù)字化的步驟 ：1.采樣 在連續(xù)信號中每隔一定時間取一個值；2.量化 把其大小取整為n位二進制數(shù)所能表示的數(shù)； 例如: n=4， 即有24=16個級別可用于表示一個采樣， 量化后只能以0，1，2……15這16個數(shù)之一來表示3.編碼 按一定的規(guī)律產(chǎn)生二進制位數(shù)據(jù)。,模擬信號數(shù)字化的原理,—— 將檢測到的電壓值轉(zhuǎn)換成數(shù)字信息,模擬信號的數(shù)字化－4bi

7、t,采樣定理采樣頻率要高于被采樣信號最高頻率的兩倍，信號才可能完全復原。話音最高頻率為4000Hz，則需每秒采樣8000次；聲音的最高頻率為20kHz，所以在多媒體計算機中使用的多是44.1 kHz的采樣頻率。 量化精度取決于表示一個采樣值的二進制位數(shù)。位數(shù)越多，精度也越高。用16個二進制位（bit）表示聲音，可將聲音分為216=65536級，而若用8位則僅能區(qū)分出28=256級。用16位表示的聲音比用8位的聲音質(zhì)量高得多。

8、,音頻數(shù)據(jù)壓縮處理,1. 音頻壓縮的理論基礎是人的聽覺特性。2. 音頻壓縮算法的分類： 1) 有損壓縮和無損壓縮 2) 時域壓縮，子帶壓縮和變換壓縮三種語音編碼器：波形編碼器音源編碼器(聲碼器) 混合編碼器3. 最基本的音頻壓縮處理方法－PCM編碼,脈沖編碼調(diào)制的概念是1937年，由法國工程師Alec Reeres 最早出來的。1946年美國Bell實驗室實現(xiàn)了第一臺PCM數(shù)字電話終端機。1

9、962年，晶體管PCM終端機大量應用于市話網(wǎng)中局間 中繼線，使市話電纜傳輸電話路數(shù)擴大24～30倍。70年代后期，超大規(guī)模集成電路的PCM編、解碼器的出現(xiàn)，使光纖通信、數(shù)字微波通信、衛(wèi)星通信獲得了更廣泛的應用。此外，CD唱機和DAT錄音機，均采用線性PCM編碼來存儲音樂信號，為非壓縮方式。,脈沖編碼調(diào)制(Pulse Coding Modulation),PCM算法是最簡單、最完善、最常見也是壓縮效率最低的編碼方法。它用一組二進制

10、數(shù)碼來代替連續(xù)信號的抽樣值，具有極強的抗干擾能力。 步驟： 僅對輸入信號進行采樣－量化－編碼。,PCM系統(tǒng)原理框,幾個關于量化的概念： 均勻量化與非均勻量化,量化噪聲（誤差）,量化信噪比：隨量化電平階數(shù)M的增加而提高，信號的逼真度越好。均勻量化的不足：量化信噪比隨信號電平的減小而下降。在民用電話中，一種簡單而又穩(wěn)定的非均勻量化器為對數(shù)量化器。該量化器在出現(xiàn)頻率高的低幅語音信號處，運用小的量化間

11、隔，在出現(xiàn)概率低的高幅語音信號處，運用大的量化間隔。,幅度大的信號被壓縮，幅度小的信號被擴張。,壓縮與擴張的示意圖,兩種常見PCM體制：1)μ律壓擴算法 2) A律壓擴算法,A律壓縮特性,μ律壓縮特性,MP3壓縮標準MP3是一種有損數(shù)字音頻壓縮格式，其全稱是MPEG-1 Audio Layer3。 MPEG-1音頻壓縮標準是第一個高保真音頻數(shù)據(jù)壓

12、縮標準。除AC-3之外，其他的音頻壓縮算法只適用于語言(如碼激勵線性預測CELP)或只有中等壓縮質(zhì)量(如自適應差分脈沖編碼調(diào)制ADPCM)。MPEG－1音頻壓縮標準雖然是MPEG-1標準的一部分，但它完全可獨立應用。,在MPEG-1標準中，按復雜程度劃分了三種音頻壓縮模式即層Ⅰ，層Ⅱ，層Ⅲ。目前廣泛使用的VCD音頻壓縮方案為層Ⅰ，其典型碼率為每通道192Kbps，共2通道。層Ⅱ即稱掩蔽模式，采用通用子帶集成編碼與多路復用

13、，典型碼率為每通道128 Kbps，廣泛應用于數(shù)字音頻廣播、數(shù)字演播室、CD-I等數(shù)字音頻專業(yè)的制作、交流、存儲和傳送。層Ⅲ是綜合層Ⅱ和自適應譜感知熵編碼 (ASPEC)的優(yōu)點提出的混合壓縮技術，MP3的復雜度相對較高，不利于實時編碼，典型碼率為64 Kbps，在低碼率下有高品質(zhì)的音質(zhì)。用于ISDN語音通話。,MPEG-1音頻壓縮模式的比較,MP3產(chǎn)品簡介1. 組成結構,PHILIPS芯片方案PHILIPS解碼芯片屬于高端產(chǎn)品。

14、其系列芯片SAA7750,SAA7751, PNX0101ET本身僅是解碼芯片，必須搭配控制芯片才能使用。代表產(chǎn)品： iRiver的IFP-100、300、500系列和MPIO的FD100、FL100、FY200、FG100等。SIGMATEL芯片方案美國SIGMATEL的STMP 34和35系列芯片是目前市場占有率較大的芯片，采用獨立控制方式，成本較低。代表產(chǎn)品：愛國者月光寶盒系列、三星 YP-55H，JNC SSF-800

15、等TELECHIPS芯片方案韓國TELECHIPS的TCC730、TCC731也是性能較好的MP3解碼芯片之一，同樣需要外圍元件的配合，成本比飛利浦較低。 代表產(chǎn)品：丹丁328系列、DEC街舞系列，朝華魔音系列 。對三款主流芯片來說，音質(zhì)排列順序為：Philips > Sigmatel > Telchips,樂器數(shù)字接口MIDI樂器數(shù)字接口規(guī)范MIDI (Musical Instrument Digital I

16、nterface)于1983年提出。MIDI是一種利用合成器產(chǎn)生的音樂技術。MIDI由三個部分組成，分別是：通信協(xié)議Communication Protocol；連接器 Connector（硬件接口）；傳播規(guī)范，稱為標準MIDI文件Standard MIDI Files。,通信協(xié)議 MIDI協(xié)議是樂譜的數(shù)字化描述語言。每一個描述樂器演播的動作的字都賦給一個特定的二進制代碼。例如：音色編號為00；音符C3編號為

17、00；8分音符編號為60。如果鋼琴8分音符的C3音，它的MIDI編碼是“00 00 60連接器根據(jù)MIDI 1.0規(guī)范，MIDI連接器是一個5針DIN接頭。由于PC機未為MIDI預留接口，故采用串行口或游戲桿端口來連接MIDI樂器?！藴蔒IDI文件一個MIDI文件不需要捕捉和存儲實際的聲音，僅是一個事件的列表，描述了一個聲音卡或其他播放設備要產(chǎn)生某種聲音的特定的步驟。因此，MIDI文件比數(shù)字音頻文件小得多，并且事件是可

18、以編輯的，音樂可以重排，編輯，甚至交互式作曲。,4.4 聲卡簡介聲卡的基本功能：將來自話筒、磁帶、光盤的原始聲音信號進行轉(zhuǎn)換，輸出到耳機、揚聲器、擴音機、錄音機等聲響設備，或通過音樂設備數(shù)字接口(MIDI)使樂器發(fā)出美妙的聲音。4.1 聲卡的發(fā)展歷史1984年，英國ADLIB AUDIO公司推出第一款聲卡。 1995年，創(chuàng)新推出AWE32系列，具有硬件波表合成能力，而以往的聲卡僅具備FM合成能力，具有一個32復音的波表引擎

19、，并集成了1MB容量的音色庫，MIDI的表現(xiàn)力獲得大大提升，硬件波表合成能力成為高檔聲卡的象征。1996年，創(chuàng)新推出AWE64系列，具有64復音的波表合成能力，成為當時MIDI表現(xiàn)力最佳的聲卡，這個系列中的AWE64 Gold，是公認最優(yōu)秀的聲卡之一 。,聲卡主要由以下幾個部分組成：● 聲音的合成與處理    是聲卡的核心部分。由數(shù)字聲音處理器、調(diào)頻(FM)音樂合成器及MIDI控制器組成。完成聲波信號的A/

20、D和D/A轉(zhuǎn)換，利用調(diào)頻技術控制聲音的音調(diào)、音色和幅度等。 ● 混合信號處理器    其中內(nèi)置數(shù)字/模擬混音器，混音器的聲源由以下幾種信號: MIDI信號、CD音頻、線路輸入、麥克風等可以選擇一個聲源或幾個不同的聲源進行混合錄音?！?功率放大器由于混合信號處理器輸出的信號功率不足，需要一個功率放大器作為功率放大使得輸出的音頻信號有足夠的功率。 ● 總線接口和控制器 總線接口和控制器是由數(shù)據(jù)總線雙向驅(qū)動器、