基于遷移學(xué)習(xí)的手術(shù)圖像內(nèi)容識別.pdf

1、隨著醫(yī)療技術(shù)的快速發(fā)展，人們對手術(shù)的需求也越來越大;手術(shù)種類與形式也越來越多、過程越來越復(fù)雜、手術(shù)的進(jìn)行越來越依賴于計(jì)算機(jī)技術(shù)的輔助，手術(shù)的教育和培訓(xùn)也變得極具挑戰(zhàn)性;手術(shù)過程本身亦需要證明其合理性。以上列舉的事實(shí)都需要我們對手術(shù)流程有更加全面的理解與認(rèn)識，為此研究人員提出了手術(shù)流程建模。手術(shù)流程建模要求計(jì)算機(jī)根據(jù)人類的思維和感知來分析手術(shù)視頻，其中如何跨越低級像素特征和高級語義特征之間的鴻溝是手術(shù)流程建模中最重要的一步，也是視頻分析領(lǐng)

2、域頗具挑戰(zhàn)的一個(gè)研究課題。
　　與傳統(tǒng)的目標(biāo)識別和視頻分析不一樣的是，手術(shù)視頻有其獨(dú)特的特點(diǎn):手術(shù)視頻是一場手術(shù)的完美再現(xiàn)，在手術(shù)過程中可能出現(xiàn)任何意外情況。而且，不同的手術(shù)需要用到不同類型的手術(shù)室和醫(yī)療器械，所以在手術(shù)視頻中背景并不固定，手術(shù)器械和醫(yī)護(hù)人員經(jīng)常交叉在一起，對其自動化分析帶來了極大的挑戰(zhàn)性。目前的手術(shù)流程建模方法多是基于計(jì)算機(jī)視覺領(lǐng)域內(nèi)已有的視頻分析方法對視頻進(jìn)行整體分析，直接提取光流等適用于視頻的特征，忽略了每一

3、幀的底層特征與視頻高級語義之間的鴻溝。為了解決這一問題，本文提出將卷積神經(jīng)網(wǎng)絡(luò)（CNN)應(yīng)用于這一領(lǐng)域，分析手術(shù)視頻中每一幀所包含的內(nèi)容及其大致位置，橋接低級語義與高級語義之間的鴻溝。
　　卷積神經(jīng)網(wǎng)絡(luò)是目前比較流行的圖像分類算法之一，它通過有監(jiān)督的方式學(xué)習(xí)圖像的層次化特征表達(dá)方式。卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的主要困難在于它需要大量的帶標(biāo)簽的訓(xùn)練樣本，現(xiàn)在雖然已經(jīng)公開了許多優(yōu)秀的手術(shù)視頻，但是這些數(shù)據(jù)都沒有被標(biāo)注，無法用來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模

4、型。而且由于專業(yè)知識的限制，一些手術(shù)視頻和醫(yī)療數(shù)據(jù)只有專業(yè)的醫(yī)護(hù)人員才有能力標(biāo)注，所以在短時(shí)間內(nèi)也無法收集一個(gè)大規(guī)模的數(shù)據(jù)集。我們收集了小規(guī)模的醫(yī)療設(shè)備數(shù)據(jù)集，其中主要是常出現(xiàn)于手術(shù)視頻中醫(yī)療設(shè)備及醫(yī)護(hù)人員的圖像，并進(jìn)行了標(biāo)注，希望能對這一領(lǐng)域做出一些貢獻(xiàn)。另外本文提出將機(jī)器學(xué)習(xí)中的遷移學(xué)習(xí)技術(shù)引入這一領(lǐng)域來解決缺乏帶標(biāo)簽的訓(xùn)練樣本的問題。
　　實(shí)驗(yàn)結(jié)果表明，盡管面臨手術(shù)圖像帶標(biāo)簽數(shù)據(jù)少、背景復(fù)雜、目標(biāo)遮擋嚴(yán)重等挑戰(zhàn)，利用卷積神經(jīng)