面向增強現(xiàn)實圖像導航的基于腹腔鏡立體圖像表面重建方法研究.pdf

1、盡管腹腔鏡手術有諸如創(chuàng)口直徑小、恢復時間短等優(yōu)點，但就目前來看，腹腔鏡的使用還是被在人體器官內(nèi)引導手術儀器所遇到的視野以及手術能力降低的問題所限制。與祌經(jīng)外科手術等不會遇到器官在短時間內(nèi)顯著移動、變形而使輸出圖像難以辨別的情況不同，這種局限性在腹部外科手術中極為明顯。不過，隨著現(xiàn)代計算機視覺技術的發(fā)展，我們已經(jīng)有了許多可以在這類手術過程中幫助醫(yī)生的方法。其中一種方法是使用增強現(xiàn)實技術輔助手術。增強現(xiàn)實技術是一個可以提供快速立體圖像處理以

2、及將建立的3D模型與現(xiàn)實世界結(jié)合顯示（反之亦然）的新的研究領域。增強現(xiàn)實技術是目前在教育，娛樂，醫(yī)療和航空航天等行業(yè)使用，并正在積極研究時。大多數(shù)現(xiàn)有的電流計算裝置，特別是移動的人，都能夠用作在AR系統(tǒng)既處理和顯示單元。在AR系統(tǒng)的基本前提是，首先，收購或創(chuàng)建一個計算機生成的圖像，然后在視覺的真實空間相機領域?qū)τ脩舻氖澜缬^找到一個”錨點“，最后覆蓋有CGI，創(chuàng)建一個組合的，更豐富的圖像。
　　通過對單視場視頻或立體視頻應用X射線斷

3、層攝影技術或超聲波掃描與表面識別技術可以得到術前立體圖像，將這些術前立體圖像通過一定算法進行結(jié)合，就可以生成有著腹部器官輪廓的簡潔的復合圖像。將該復合圖像在手術過程中顯示在電腦屏幕上、投影圖像或?qū)I(yè)的頭戴顯示器可以有效地幫助外科醫(yī)生來進行手術。AR增強導航手術已經(jīng)看到在剛性器官外科手術領域，如祌經(jīng)外科，并且還骨，腎和其他各種器官外科手術應用顯著驗收。但是，由于因血流許多問題，從憲法和腹部，內(nèi)部結(jié)構不斷上升，如恒定的運動器官和脈動

4、　　呼吸，粘液和體液覆蓋器官導致不一致的光線反射等的表面，這種方法還沒有找到它的方式腹腹腔鏡手術。由于被在一個非常有前途的醫(yī)療技術的方式限制點相同的和許多其他的問題，它克服了這些問題是重要的，和AR系統(tǒng)只是可能的解決方案之一。
　　這項工作有望實現(xiàn)一個在手術系統(tǒng)中應用的表面識別和重構算法，它將被應用在一個有著復雜的醫(yī)學影像和手術設備的系統(tǒng)中。在向該系統(tǒng)輸入腹腔鏡立體探頭采集的數(shù)據(jù)后，系統(tǒng)會輸出一個內(nèi)部器官表面的實時3D繪制圖像，同

5、時也會將輸出的繪制圖像顯示在增強現(xiàn)實系統(tǒng)中，這可以提升高腹腔鏡圖像導航外科手術的質(zhì)量。這項工作的主要目的是3D圖像采集和處理算法，可以被實現(xiàn)為后端軟件解決方案，并摻入作為上述設備復雜的一部分的創(chuàng)建。為了實現(xiàn)這一目標，我們通過幾個研究階段，包括在該領域的現(xiàn)有技術的技術解決方案的狀態(tài)比較（從所有感興趣的包含區(qū)域，如腹腔鏡設備本身，在AR的圖像顯示等的），深外表去成底層理論原則和計算機視覺的局限性，并且，最后，提出并試圖產(chǎn)生一個原型有問題的算

6、法實現(xiàn)的。
　　在文章的開始，我們分析現(xiàn)有的手術前圖像獲取、手術中圖像獲取技術解決方案并且深入探討不同的內(nèi)窺鏡設備和腹腔鏡圖像技術，也就是說，多比較不同的光學模型腹腔鏡攝像頭，要特別注意各種解決方案以使立體圖像產(chǎn)生腹腔鏡。下一步，我們尋找可行的可以輔助醫(yī)療手術的增強現(xiàn)實圖像顯示技術并加以比較，以評估的圖像引導手術應用情況下的可用性。然后，我們討論現(xiàn)有的關于表面重建和表面識別軟件方法的數(shù)學相機模型和數(shù)學基礎。對于我們研究的目的，我們

7、選擇使用從立體圖像的方法的密集點云重建無網(wǎng)格生成，雖然說網(wǎng)應考慮在未來實現(xiàn)。立體腹腔鏡被廣泛用于外科實踐（不像，比方說，從遮光相機光絡合物，結(jié)構光發(fā)射極具有內(nèi)窺鏡系統(tǒng)等表面）。反過來，密集的點云曲面重構留下了在未來的增強有很大的空間，盡管是在計算能力方面的要求非?？量?。
　　在這篇文章的操作部分，我們將立體圖像處理過程分為以下幾個部分并對它們進行詳細的分析和介紹。在第一開始，我們介紹立體攝像機的校準程序及其工作原理以及立體攝像機定

8、量的特點及其在具體應用中的作用；我們評估的失真補償和精確的建立固有的光學參數(shù)的重要性。我們也從事與棋盤承認和實驗立體相機設置的內(nèi)在和外在參數(shù)評測實驗。這個實驗的結(jié)果證明，攝像機標定是一個復雜的過程足以帶領大家來電咨詢的另一種方法的可能性。
　　接下來的一部分，我們討論如何在相機未校準的情況下，通過使用特征跟蹤算法對圖片進行評估以得到圖像矯正以及視差計算的可能性；盡管學生的優(yōu)點顯著編號以這種方法，如缺乏必要的對照相機校準和可能性來直

9、接控制的視差計算處理的存在，這種方法被發(fā)現(xiàn)低效腹部器官表面跟蹤由于低數(shù)量的必要的跟蹤統(tǒng)計顯著和識別的特征。因此，我們達到了一個決定進行校準的相機整改辦法。
　　然后，敲定了算法的輪廓，并提出額外的過濾，預處理和后處理模塊后，我們使用MATLAB軟件環(huán)境來編寫程序以此建立一個軟件模塊原型，向該模塊輸入視差產(chǎn)生圖可以以此圖為基準來矯正立體視頻，同時生成一個可能會顯示為表面圖像，該圖像可能會與現(xiàn)有的3D模型吻合；作為操作部分的結(jié)束，我們

10、通過一個公開的腹腔鏡手術立體視頻來測量該模塊的處理效率和性能，并對得到的結(jié)果進行評估分析。視頻是從圖像引導手術實驗室，倫敦帝國學院采購，并示出了腹腔鏡攝像機的實驗切口進入豬受試者的腹部，與檢體的體內(nèi)的所述照相機的隨之運動和旋轉(zhuǎn)的一個例子。取得的成果是與那些發(fā)表在過去幾年作為國家的最先進的研究的一部分，然而，作為在本質(zhì)原型，我們的軟件在顯著復雜性和非必要的能力方面缺乏。
　　在這篇文章的最后，我們比較了不同的過濾算法和離群點去除技術