智能信息處理

1、多傳感器信息融合,主講人： 王濤組員 ： 韓雪詩 桂澄 寇鵬鯤,大綱,,,,,,,,1991,1988,1980,1973,,信息融合 (information fusion)起初被稱為數(shù)據(jù)融合 (data fusion)，起源于1973年美國國防部資助開發(fā)的聲納信號處理系統(tǒng),數(shù)據(jù)融合,MSDF,C3I,C4I,研究背景,信息融合起源,,,,,,,1991,198

2、8,1980,1973,,20世紀(jì)80年代，為了滿足軍事領(lǐng)域中作戰(zhàn)的需要，多傳感器數(shù)據(jù)融合MSDF (Multi-sensor Data Fusion)技術(shù)應(yīng)運(yùn)而生。,數(shù)據(jù)融合,MSDF,C3I,C4I,研究背景,信息融合起源,,,,,,,1991,1988,1980,1973,,1988年，美國將C3I(Command，Control，Commication and Intelligence)系統(tǒng)中的數(shù)據(jù)融合技術(shù)列為國防部重點(diǎn)開發(fā)

3、的二十項(xiàng)關(guān)鍵技術(shù)之一。,數(shù)據(jù)融合,MSDF,C3I,C4I,研究背景,信息融合起源,,,,,,,1991,1988,1980,1973,,1991年美國已有54個(gè)數(shù)據(jù)融合系統(tǒng)引入到軍用電子系統(tǒng)中去，其中87%已有試驗(yàn)樣機(jī)、試驗(yàn)床或已被應(yīng)用。由于信息融合技術(shù)在海灣戰(zhàn)爭中表現(xiàn)出的巨大潛力，在戰(zhàn)爭結(jié)束后,美國國防部又在C3I系統(tǒng)中加入計(jì)算機(jī)(computer)，開發(fā)了以信息融合為中心的C4I系統(tǒng)。,數(shù)據(jù)融合,MSDF,C3I,C4I,

4、研究背景,信息融合起源,研究現(xiàn)狀,當(dāng)前，信息融合技術(shù)在軍事中的應(yīng)用研究己經(jīng)從低層的目標(biāo)檢測、識別和跟蹤轉(zhuǎn)向了態(tài)勢評估和威脅估計(jì)等高層應(yīng)用。目前，信息融合技術(shù)己在許多民用領(lǐng)域取得成效。這些領(lǐng)域主要包括:機(jī)器人和智能儀器系統(tǒng)、智能制造系統(tǒng)、戰(zhàn)場任務(wù)與無人駕駛飛機(jī)、航天應(yīng)用、目標(biāo)檢測與跟蹤、圖像分析與理解、慣性導(dǎo)航、模式識別等領(lǐng)域。,信息融合定義,信息融合是一種多層次、多方面的處理過程, 包括對多源數(shù)據(jù)進(jìn)行自動化的檢測、互聯(lián)、相關(guān)、估計(jì)和組

5、合處理，從而提高狀態(tài)和身份估計(jì)的精度，以及對戰(zhàn)場態(tài)勢和威脅的重要程度進(jìn)行有效的評價(jià)。 ---美國國防部定義：[1991] 利用計(jì)算機(jī)技術(shù)對按時(shí)序獲得的若干傳感器的觀測信息在一定準(zhǔn)則下加以自動分析，優(yōu)化綜合以完成所需的決策和估計(jì)任務(wù)而進(jìn)行的信息處理過程。 ---最新定義,信息融合

6、的基本原理,,左耳和右耳的聽覺傳感器分別獲取一維聲音信息，經(jīng)大腦融合后產(chǎn)生立體聲音信息；,,左目和右目的視覺傳感器分別獲取二維圖象信息，經(jīng)大腦融合后產(chǎn)生立體圖象信息；,,,,自然界同類多傳感信息融合,信息融合的基本原理,自然界異類多傳感信息融合,信息融合優(yōu)勢,,,,,,,,,,,,,,,,,優(yōu)勢,改進(jìn)探測性能,擴(kuò)展空間和時(shí)間覆蓋范圍,提高可信度,提高空間分辨率,增強(qiáng)系統(tǒng)的生存能力,降低信息的模糊度,信息融合模型與結(jié)構(gòu),美國三軍組織—

7、實(shí)驗(yàn)室理事聯(lián)合會（JDL）數(shù)據(jù)融合模型(Joint Directors of Laboratories),評估是指評價(jià)實(shí)體之間的相互關(guān)系，包括敵我雙方兵力結(jié)構(gòu)和使用特點(diǎn)，是對戰(zhàn)場上戰(zhàn)斗力量分配情況的評價(jià)過程。,主要功能包括數(shù)據(jù)對準(zhǔn)、數(shù)據(jù)關(guān)聯(lián)、目標(biāo)運(yùn)動學(xué)參數(shù)估計(jì)（跟蹤），以及身份估計(jì)等，其結(jié)果為更高級別的融合過程提供輔助決策信息。,它將當(dāng)前態(tài)勢映射到未來。在軍事領(lǐng)域即指威脅估計(jì)用以對作戰(zhàn)事件出現(xiàn)的程度和可能性進(jìn)行估計(jì)，并對敵方作戰(zhàn)企圖給

8、出指示和告警。,信息融合處理過程,,,,,,,,,,,,,,,,,,一級處理目標(biāo)評估,二級處理態(tài)勢評估,三級處理影響評估,,,,,,四級處理過程評估,它是一個(gè)更高級的處理階段。通過建立一定的優(yōu)化指標(biāo)，對整個(gè)融合過程進(jìn)行實(shí)時(shí)監(jiān)控與評價(jià)，從而實(shí)現(xiàn)多傳感器自適應(yīng)信息獲取和處理，以支持特定的任務(wù)目標(biāo)，并最終提高整個(gè)系統(tǒng)的性能,信息融合層次的劃分主要有兩種方法。第一種方法是按照融合對象的層次不同，將信息融合劃分為低層（數(shù)據(jù)級或像素級）、

9、中層（特征級）和高層（決策級）。另一種方法將是將傳感器集成和數(shù)據(jù)融合劃分為信號級、證據(jù)級和動態(tài)級。,信息融合的分類,數(shù)據(jù)級融合(或像素級融合),對傳感器的原始數(shù)據(jù)及預(yù)處理各階段上產(chǎn)生的信息分別進(jìn)行融合處理。盡可能多地保持了原始信息，能夠提供其它兩個(gè)層次融合所不具有的細(xì)微信息。局限性：(1)由于所要處理的傳感器信息量大，故處理代價(jià)高；(2)融合是在信息最低層進(jìn)行的，由于傳感器的原始數(shù)據(jù)的不確定性、不完全性和不穩(wěn)定性，要

10、求在融合時(shí)有較高的糾錯(cuò)能力；(3)由于要求各傳感器信息之間具有精確到一個(gè)像素的配準(zhǔn)精度，故要求傳感器信息來自同質(zhì)傳感器；(4)通信量大。,數(shù)據(jù)級融合(或像素級融合),特征級融合,利用從各個(gè)傳感器原始數(shù)據(jù)中提取的特征信息，進(jìn)行綜合分析和處理的中間層次過程。 通常所提取的特征信息應(yīng)是數(shù)據(jù)信息的充分表示量或統(tǒng)計(jì)量，據(jù)此對多傳感器信息進(jìn)行分類、匯集和綜合。 特征級融合分類：目標(biāo)狀態(tài)信息融合目標(biāo)特性融合。,決策級融合,在信息表

11、示的最高層次上進(jìn)行的融合處理。不同類型的傳感器觀測同一個(gè)目標(biāo)，每個(gè)傳感器在本地完成預(yù)處理、特征抽取、識別或判斷，以建立對所觀察目標(biāo)的初步結(jié)論，然后通過相關(guān)處理、決策級融合判決，最終獲得聯(lián)合推斷結(jié)果，從而直接為決策提供依據(jù)。 因此，決策級融合是直接針對具體決策目標(biāo)，充分利用特征級融合所得出的目標(biāo)各類特征信息，并給出簡明而直觀的結(jié)果。決策級融合優(yōu)點(diǎn)：實(shí)時(shí)性最好在一個(gè)或幾個(gè)傳感器失效時(shí)仍能給出最終決策，因此具有良好

12、的容錯(cuò)性。,決策級融合,信息融合方法,,嵌入約束法,證據(jù)組合法,人工神經(jīng)網(wǎng)絡(luò)法,信息融合方法,嵌入約束法,由多種傳感器所獲得的客觀環(huán)境(即被測對象)的多組數(shù)據(jù)就是客觀環(huán)境按照某種映射關(guān)系形成的像，信息融合就是通過像求解原像，即對客觀環(huán)境加以了解。用數(shù)學(xué)語言描述就是，所有傳感器的全部信息，也只能描述環(huán)境的某些方面的特征，而具有這些特征的環(huán)境卻有很多，要使一組數(shù)據(jù)對應(yīng)惟一的環(huán)境(即上述映射為一一映射)，就必須對映射的原像和映射本身加約束條件

13、，使問題能有惟一的解。嵌入約束法最基本的方法：Bayes估計(jì)和卡爾曼濾波,證據(jù)組合法,證據(jù)組合法是對完成某一任務(wù)的需要而處理多種傳感器的數(shù)據(jù)信息，完成某項(xiàng)智能任務(wù)，實(shí)際是做出某項(xiàng)行動決策。它先對單個(gè)傳感器數(shù)據(jù)信息每種可能決策的支持程度給出度量(即數(shù)據(jù)信息作為證據(jù)對決策的支持程度)，再尋找一種證據(jù)組合方法或規(guī)則，在已知兩個(gè)不同傳感器數(shù)據(jù)(即證據(jù))對決策的分別支持程度時(shí)，通過反復(fù)運(yùn)用組合規(guī)則，最終得出全體數(shù)據(jù)信息的聯(lián)合體對某

14、決策總的支持程度。得到最大證據(jù)支持決策，即信息融合的結(jié)果。,人工神經(jīng)網(wǎng)絡(luò)法,通過模仿人腦的結(jié)構(gòu)和工作原理，設(shè)計(jì)和建立相應(yīng)的機(jī)器和模型并完成一定的智能任務(wù)。神經(jīng)網(wǎng)絡(luò)根據(jù)當(dāng)前系統(tǒng)所接收到的樣本的相似性，確定分類標(biāo)準(zhǔn)。這種確定方法主要表現(xiàn)在網(wǎng)絡(luò)權(quán)值分布上，同時(shí)可采用神經(jīng)網(wǎng)絡(luò)特定的學(xué)習(xí)算法來獲取知識，得到不確定性推理機(jī)制。,人工神經(jīng)網(wǎng)絡(luò)法,神經(jīng)網(wǎng)絡(luò)多傳感器信息融合的實(shí)現(xiàn)，分三個(gè)重要步驟：根據(jù)智能系統(tǒng)要求及傳感器信息融合的形式，

15、選擇其拓?fù)浣Y(jié)構(gòu)；各傳感器的輸入信息綜合處理為一總體輸入函數(shù)，并將此函數(shù)映射定義為相關(guān)單元的映射函數(shù),通過神經(jīng)網(wǎng)絡(luò)與環(huán)境的交互作用把環(huán)境的統(tǒng)計(jì)規(guī)律反映網(wǎng)絡(luò)本身結(jié)構(gòu)；對傳感器輸出信息進(jìn)行學(xué)習(xí)、理解，確定權(quán)值的分配，完成知識獲取信息融合，進(jìn)而對輸入模式做出解釋，將輸入數(shù)據(jù)向量轉(zhuǎn)換成高層邏輯(符號)概念。,基于神經(jīng)網(wǎng)絡(luò)的傳感器信息融合特點(diǎn),具有統(tǒng)一的內(nèi)部知識表示形式，通過學(xué)習(xí)算法可將網(wǎng)絡(luò)獲得的傳感器信息進(jìn)行融合，獲得相應(yīng)網(wǎng)絡(luò)的參數(shù)，并且

16、可將知識規(guī)則轉(zhuǎn)換成數(shù)字形式，便于建立知識庫；利用外部環(huán)境的信息，便于實(shí)現(xiàn)知識自動獲取及并行聯(lián)想推理；能夠?qū)⒉淮_定環(huán)境的復(fù)雜關(guān)系，經(jīng)過學(xué)習(xí)推理，融合為系統(tǒng)能理解的準(zhǔn)確信號；由于神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行處理信息能力，使得系統(tǒng)信息處理速度很快。,應(yīng)用領(lǐng)域,,應(yīng)用領(lǐng)域,,,工業(yè)過程監(jiān)視及工業(yè)機(jī)器人遙感與金融系統(tǒng)空中交通管制與病人照顧系統(tǒng)船舶避碰與交通管制系統(tǒng)生物特征的身份識別,,采用多傳感器的自主式武器系統(tǒng)和自備式運(yùn)載

17、器情報(bào)收集系統(tǒng)采用多傳感器進(jìn)行截獲、跟蹤和指揮制導(dǎo)的火控系統(tǒng)軍事力量的指揮和控制站敵情指示和預(yù)警系統(tǒng),,,Text,,民用,軍用,機(jī)器人中的傳感器信息融合,多傳感器信息融合自主移動裝配機(jī)器人,多傳感器在移動機(jī)器人中的應(yīng)用,艦船上的傳感器信息融合,海軍艦船傳感器信息融合系統(tǒng),,,,,,,目標(biāo)識別與身份認(rèn)證,基于音頻和視頻信息融合的身份識別 （現(xiàn)代戰(zhàn)爭、現(xiàn)代身份驗(yàn)證）,機(jī)器人,機(jī)器人作為人類20世紀(jì)最偉大的發(fā)明

18、之一，在短短的40年內(nèi)發(fā)生了日新月異的變化。機(jī)器人已經(jīng)不僅成為先進(jìn)制造業(yè)不可缺少的自動化裝備，而且正以驚人的速度向海洋、航空、航天、軍事、農(nóng)業(yè)、服務(wù)、娛樂等各個(gè)領(lǐng)域滲透。信息融合是機(jī)器人的現(xiàn)代支撐技術(shù)之一，它為多傳感器的綜合利用提供了最有效的技術(shù)手段。,搬運(yùn)和裝配工業(yè)機(jī)器人,圖像融合,圖像融合在機(jī)器視覺監(jiān)視系統(tǒng)中的應(yīng)用,圖像融合可以增強(qiáng)影像中的信息透明度，改善解釋的精度，提高可靠性及使用率。,醫(yī)學(xué)圖像融合,身邊的應(yīng)用

19、,刑偵多傳感器數(shù)據(jù)融合技術(shù)在刑偵中的應(yīng)用，主要是利用紅外、微波等傳感設(shè)備進(jìn)行隱匿武器檢查、毒品檢查等。另外，將人體的各種生物特征如人臉、指紋、聲音、虹膜等進(jìn)行適當(dāng)?shù)娜诤?，能大幅度提高對人的身份識別與認(rèn)證能力，這對提高安全保衛(wèi)能力是非常重要的。故障診斷在工業(yè)監(jiān)控應(yīng)用中，每個(gè)傳感器基于自身的檢測統(tǒng)計(jì)量，可以提煉出有關(guān)系統(tǒng)故障的特征信息（故障表征）。在局部故障診斷處理單元，利用這些故障特征信息，并按照多種故障診斷方法對被診斷的對象做出是

20、否有故障發(fā)生的推斷。而融合中心則基于一定的準(zhǔn)則進(jìn)行融合處理，最終得出對象是否存在故障的決策。,信息融合研究領(lǐng)域目前存在的問題,2,3,未形成基本的理論框架和有效廣義模型及算法,關(guān)聯(lián)的二義性是信息融合中的主要障礙,1,4,融合系統(tǒng)的容錯(cuò)性和穩(wěn)健型沒有得到很好的解決。,信息融合系統(tǒng)的設(shè)計(jì)還存在許多的實(shí)際問題。,其絕大部分工作都是針對特定應(yīng)用領(lǐng)域內(nèi)的問題來開展研究，也就是說目前對信息融合問題的研究都是根據(jù)問題的種類，各自建立直觀模型，并在此基

21、礎(chǔ)上給出所謂的最佳融合方案。由于理論欠缺現(xiàn)象阻礙了研究者對信息融合本身的深入認(rèn)識，也使得信息融合在某種程度上僅被看成是一種多傳感器信息處理概念；人們無法對面向?qū)ο蟮娜诤舷到y(tǒng)作出綜合分析和評估，使得融合系統(tǒng)的設(shè)計(jì)常有一定的盲目性。,信息融合研究領(lǐng)域目前存在的問題,2,3,未形成基本的理論框架和有效廣義模型及算法,關(guān)聯(lián)的二義性是信息融合中的主要障礙,1,4,融合系統(tǒng)的容錯(cuò)性和穩(wěn)健型沒有得到很好的解決。,信息融合系統(tǒng)的設(shè)計(jì)還存在許多的實(shí)際問

22、題。,在進(jìn)行融合處理前，必須對信息進(jìn)行關(guān)聯(lián)，以保證融合的信息是來自同一目標(biāo)或事件。如果對不同目標(biāo)或事件的信息進(jìn)行融合，將難以使系統(tǒng)得出正確的結(jié)論。這一問題稱為關(guān)聯(lián)的二義性，是信息融合中主要的障礙，怎樣確立信息可融性的判別準(zhǔn)則，如何進(jìn)一步降低關(guān)聯(lián)的二義性已成為如何研究領(lǐng)域亟待解決的問題。。,信息融合研究領(lǐng)域目前存在的問題,2,3,未形成基本的理論框架和有效廣義模型及算法,關(guān)聯(lián)的二義性是信息融合中的主要障礙,1,4,融合系統(tǒng)的容錯(cuò)性和穩(wěn)健

23、型沒有得到很好的解決。,信息融合系統(tǒng)的設(shè)計(jì)還存在許多的實(shí)際問題。,沖突信息或傳感器故障產(chǎn)生的錯(cuò)誤信息等的有效處理，即融合系統(tǒng)的容錯(cuò)性和穩(wěn)健型是必須考慮的問題。,信息融合研究領(lǐng)域目前存在的問題,2,3,未形成基本的理論框架和有效廣義模型及算法,關(guān)聯(lián)的二義性是信息融合中的主要障礙,1,4,融合系統(tǒng)的容錯(cuò)性和穩(wěn)健型沒有得到很好的解決。,信息融合系統(tǒng)的設(shè)計(jì)還存在許多的實(shí)際問題。,信息融合系統(tǒng)的設(shè)計(jì)還存在許多的實(shí)際問題，如嚴(yán)格的系統(tǒng)設(shè)計(jì)工程和規(guī)范

24、，傳感器測量誤差模型的建立，復(fù)雜環(huán)境下的系統(tǒng)實(shí)時(shí)響應(yīng)，大知識庫的建立以及管理等。,未來展望,通過對國內(nèi)外相關(guān)研究的分析和總結(jié)可以看出，盡管許多比較成熟的信息處理方法，如卡爾曼濾波、Bayes 估計(jì)理論等通過適當(dāng)?shù)淖儞Q和改進(jìn)，已經(jīng)作為信息融合方法應(yīng)用于模式識別領(lǐng)域中，也顯著提高了識別的性能，但是這些經(jīng)典的方法約束條件多對對象的形式和特性要求比較高，難以解決帶有不確定性和對象特性比較復(fù)雜的識別問題。因此，具有魯棒性、自適應(yīng)性和