智能網(wǎng)絡磁盤(IND)存儲管理方法研究.pdf

1、隨著網(wǎng)絡化和數(shù)字化技術的飛速發(fā)展,互聯(lián)網(wǎng)為廣大的用戶提供了極為豐富的信息資源,如何處理并長期保存有重要價值的海量數(shù)據(jù)信息,引起了人們的高度關注。因此,近年來海量信息存儲技術已經(jīng)成為計算機科學和技術領域的一個非常重要的研究方向和技術研究熱點。
　　目前在解決海量信息存儲技術問題的眾多技術方案中,網(wǎng)絡集群技術是一種最流行的實現(xiàn)方式,但是在網(wǎng)絡集群存儲系統(tǒng)中仍然還不同程度地存在著存儲性能瓶頸和單點故障問題,因此,如何有效地克服網(wǎng)絡集群存

2、儲方式中的存儲性能瓶頸和單點故障問題是當前計算機存儲技術研究領域中一項十分重要的研究工作,具有重要的理論意義和實際意義。
　　智能網(wǎng)絡磁盤(Intelligent Network Disk,IND)存儲系統(tǒng)是作者課題組提出的一種新的智能化的海量信息存儲體系結(jié)構(gòu),由智能網(wǎng)絡磁盤(IND)組成的網(wǎng)絡存儲系統(tǒng)除了具有一般網(wǎng)絡集群存儲系統(tǒng)的特點外,還能通過采用一系列的智能控制算法來防止存儲性能瓶頸和單點故障問題,維護系統(tǒng)的負載均衡,實現(xiàn)整

3、個網(wǎng)絡存儲系統(tǒng)的智能化信息存儲。因此,智能網(wǎng)絡磁盤(IND)存儲系統(tǒng)是一種較理想的網(wǎng)絡集群存儲系統(tǒng)。
　　本文對智能網(wǎng)絡磁盤(IND)存儲系統(tǒng)的嵌入式IND結(jié)構(gòu)模型、IND智能存儲管理算法、適合IND特性的綜合負載均衡策略、消除系統(tǒng)熱點瓶頸的Cache調(diào)整機制以及IND在視頻服務器與高性能計算中的應用等存儲管理方法進行了系統(tǒng)和深入的研究。作者所做的主要研究工作和創(chuàng)新性成果體現(xiàn)在以下幾方面:
　　1、提出了一種具有直接聯(lián)網(wǎng)和自

4、主存儲功能的IND結(jié)構(gòu)模型。這種IND通過聯(lián)網(wǎng)可靈活地構(gòu)建大容量的IND存儲系統(tǒng),為存儲虛擬化增添了一種海量存儲的新途徑,并進行了相應試驗,為后續(xù)探索提供了有利條件。
　　2、提出了IND存儲系統(tǒng)的智能存儲管理算法。在深入研究Bloom filter和Hash表對存儲管理的重要作用的基礎上,設計了相應的IND算法以控制存儲系統(tǒng)的讀寫過程,自動地應對客戶的高并發(fā)請求,實現(xiàn)IND之間的相互協(xié)調(diào),提高系統(tǒng)整體存儲效率。同時,采用集中控制

5、和分散服務的管理措施,能夠克服存儲性能瓶頸和單點故障問題。大量測試結(jié)果表明,在當前條件下,這是實現(xiàn)IND海量存儲行之有效的一種存儲方法。
　　3、提出了一種適合IND特性的綜合負載均衡策略。它能夠根據(jù)IND處理能力和任務特點來合理分配負載。通過統(tǒng)計讀寫訪問頻數(shù),結(jié)合時空因素來動態(tài)調(diào)整實現(xiàn)存儲系統(tǒng)的負載均衡,使各IND負載盡量分布均勻。當在高并發(fā)請求產(chǎn)生負載傾斜時,可適時遷移調(diào)整各個IND上的文件數(shù)量。這種用文件訪問頻數(shù)動態(tài)調(diào)整負載

6、均衡的方法,不干擾系統(tǒng)進程,不增加通信開銷。實驗研究表明,系統(tǒng)運行穩(wěn)定,收到了很好的效果。
　　4、提出了一種能夠消除系統(tǒng)熱點瓶頸的Cache調(diào)整機制。針對讀請求頻繁的系統(tǒng),如IND用于Web服務器、視頻服務器,采用Cache動態(tài)調(diào)整策略可消除系統(tǒng)的熱點瓶頸,減少延時和遷移通信開銷,提高了存儲系統(tǒng)的性能。
　　5、設計了一種IND視頻點播系統(tǒng),其運行結(jié)果令人滿意,它綜合反映了IND存儲系統(tǒng)的特色,預示了IND的應用前景。此外