rtpjmf攝像頭視頻采集和傳輸

1、JMF視頻傳輸Rtp與Rtcp協議1流媒體(StreamingMedia)1.1流媒體概念流媒體技術是網絡技術和多媒體技術發(fā)展到一定階段的產物。術語流媒體既可以指在網上傳輸連續(xù)時基媒體的流式技術也可以指使用流式技術的連續(xù)時基媒體本身。在網上傳輸音頻、視頻等多媒體信息目前主要有兩種方式:下載和流式傳輸。采用下載方式用戶需要先下載整個媒體文件然后才能進行播放。由于網絡帶寬的限制下載常常要花很長時間所以這種處理方式延遲很大。而流媒體實現的關鍵

2、技術是流式傳輸。傳輸之前首先對多媒體進行預處理(降低質量和高效壓縮)然后使用緩存系統(tǒng)來保證數據連續(xù)正確地進行傳輸。使用流式傳輸方式用戶不必像采用下載方式那樣要等到整個文件全部下載完畢而是只需經過幾秒到幾十秒的啟動延時即可在客戶端進行播放和觀看。此時媒體文件的剩余部分將在后臺繼續(xù)下載。與單純的下載方式相比這種對多媒體文件邊下載邊播放的流式傳輸方式不僅使啟動延時大幅度地縮短而且對系統(tǒng)緩存容量的需求也大大降低。使用流式傳輸的另一個好處是使傳輸

3、那些事先不知道或無法知道大小的媒體數據(如網上直播、視頻會議等)成為可能。到目前為止Inter上使用較多的流式視頻格式主要有以下三種:Realwks公司的RealMediaApple公司的QuickTime以及Microsoft公司的AdvancedStreamingFmat(ASF)。1.2支持流媒體的協議多媒體應用的一個顯著特點是數據量大并且許多應用對實時性要求比較高。傳統(tǒng)的TCP協議是一個面向連接的協議它的重傳機制和擁塞控制機制都

4、是不適用于實時多媒體傳輸的。RTP是一個應用型的傳輸層協議它并不提供任何傳輸可靠性的保證和流量的擁塞控制機制。RTP位于UDP(UserDatagramProtocol)之上。UDP雖然沒有TCP那么可靠并且無法保證實時業(yè)務的服務質量需要RTCP實時監(jiān)控數據傳輸和服務質量。但是由于UDP的傳輸時延低于TCP能與音頻和視頻很好地配合。因此在實際應用中RTPRTCPUDP用于音頻視頻媒體而TCP用于數據和控制信令的傳輸。目前支持流媒體傳輸的

5、協議主要有實時傳輸協議RTP(RealTimeTransptProtocol)、實時傳輸控制協議RTCP(RealTimeTransptControlProtocol)和實時流協議RTSP(RealTimeStreamingProtocol)等2實時傳輸協議RTP（RealTimeTransptProtocol）：RTP是針對Inter上多媒體數據流的一個傳輸協議由IETF(Inter工程任務組)作為RFC1889發(fā)布。RTP被定義為在

6、一對一或一對多的傳輸情況下工作，其目的是提供時間信息和實現流同步。RTP的典型應用建立在UDP上，但也可以在TCP或ATM等其他協議之上工作。RTP本身只保證實時數據的傳輸，并不能為按順序傳送數據包提供可靠的傳送機制，也不提供流量控制或擁塞控制，它依靠RTCP提供這些服務。2.1RTP工作機制威脅多媒體數據傳輸的一個尖銳的問題就是不可預料數據到達時間。但是流媒體的傳輸是需要數據的適時的到達用以播放和回放。rtp協議就是提供了時間標簽序列

7、號以及其它的結構用于控制適時數據的流放。在流的概念中”時間標簽”是最重要的信息。發(fā)送端依照很大的靈活性。JMF術語名稱：Java媒體框架（JMF）術語解釋：該核心框架支持不同媒體（如：音頻輸出和視頻輸出）間的時鐘同步。它是一個標準的擴展框架，允許用戶制作純音頻流和視頻流。JMF實際上是Java的一個類包。JMF2.1.1技術提供了先進的媒體處理能力，從而擴展了Java平臺的功能。這些功能包括：媒體捕獲、壓縮、流轉、回放，以及對各種主要媒

8、體形式和編碼的支持，如MJPEG、H.263、MP3、RTPRTSP(實時傳送協議和實時流轉協議)、MacromediasFlash、IBM的HotMedia和Beatniks的RichMediaFmat(RMF)等。JMF2.1.1還支持廣受歡迎的媒體類型，如Quicktime、MicrosoftsAVI和MPEG1等。此外，JMF2.1.1軟件中包括了一個開放的媒體架構，可使開發(fā)人員靈活采用各種媒體回放、捕獲組件，或采用他們自己的定

9、制的內插組件。Sun以四種不同的專用版本提供JMF2.1.1技術，滿足專業(yè)開發(fā)人員的各類需求，第一個是一個輕便型版本，它完全采用Java語言編寫，適用于任何Java兼容系統(tǒng)。此外，開發(fā)人員還可選擇分別適用于Solaris、Windows或Linux等操作系統(tǒng)的性能最優(yōu)化軟件包，以提高性能和能力。JMF2.1.1軟件也是JavaMedia系列軟件的一部分。JavaMedia系列軟件包括Java3D、Java2D、JavaSound和Jav

10、aAdvancedImaging等API。采用各種JavaMediaAPI，軟件開發(fā)商人員就能容易、快速地為他們已有的各種應用程序和客戶端Java小程序增添豐富的媒體功能，如流式視頻、3D圖像和影像處理等。就是說，各種JavaMediaAPI發(fā)揮了Java平臺的固有優(yōu)勢，將“編寫一次，到處運行“的能力擴展到了圖像、影像和數字媒體等各種應用領域，從而大大縮減了開發(fā)時間和降低了開發(fā)成本。JMF系統(tǒng)介紹一.簡介1.1JMF體系結構簡介在開發(fā)J

11、MF應用程序之前要完全理解JMF的體系架構、接口和類。就拿我們的家用攝像機系統(tǒng)作個例子。首先用攝像機拍攝內容，拍攝下來的內容錄制在DV帶中。DV帶可以放在放像機里播放、放像機提供視頻信號給電視機，提供音頻信號給音箱，這樣我們就可以在電視機上看到畫面，從音箱里聽到聲音。JMFAPI提供的也是同樣的模型。JMF提供的模型可大致分為七類數據源（Datasource）截取設備（CaptureDevice，包括視頻和音頻截取設備）播放器（Play