一個(gè)分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)器設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息化程度的不斷提高，全球數(shù)據(jù)日益膨脹。面對(duì)當(dāng)前 PB級(jí)的海量數(shù)據(jù)存儲(chǔ)需求，傳統(tǒng)的存儲(chǔ)系統(tǒng)在容量和性能的擴(kuò)展上存在瓶頸。分布式存儲(chǔ)以其擴(kuò)展性強(qiáng)、性價(jià)比高、容錯(cuò)性好等優(yōu)勢(shì)得到了業(yè)界的廣泛認(rèn)同。據(jù)統(tǒng)計(jì)，海量存儲(chǔ)系統(tǒng)中50％以上的文件系統(tǒng)操作是元數(shù)據(jù)操作?，F(xiàn)在已有的分布式存儲(chǔ)系統(tǒng)在帶有命名空間的海量小文件讀多寫(xiě)少的存儲(chǔ)場(chǎng)景性能非常差，其中重要原因在于元數(shù)據(jù)服務(wù)器的性能和擴(kuò)展性是一個(gè)嚴(yán)重的瓶頸。
　　本文針對(duì)云存儲(chǔ)系統(tǒng)設(shè)計(jì)了一種高性能

2、、高并發(fā)、高擴(kuò)展性的元數(shù)據(jù)服務(wù)器，以此來(lái)改善海量小文件讀多寫(xiě)少場(chǎng)景的服務(wù)性能；同時(shí)元數(shù)據(jù)服務(wù)器的集群化設(shè)計(jì)讓系統(tǒng)的可擴(kuò)展性大大增強(qiáng)。我們?cè)O(shè)計(jì)了一種新的動(dòng)態(tài)負(fù)載均衡策略來(lái)減少負(fù)載抖動(dòng)和提高負(fù)載均衡的精確度。此外，我們提出了通道的概念，通道是一個(gè)將CPU和獨(dú)立的磁盤(pán)進(jìn)行綁定，從軟件層次側(cè)到硬件層次都獨(dú)立的數(shù)據(jù)存儲(chǔ)管道，可以大大消除隨機(jī)I/O并且充分利用了當(dāng)今服務(wù)器多核多盤(pán)的機(jī)器性能。從而加速存儲(chǔ)服務(wù)。最后，我們提出了一種新的key-valu

3、e存儲(chǔ)引擎，通過(guò)批刷和提高I/O有效率從而大大提升單機(jī)的存儲(chǔ)能力。多通道的key-value存儲(chǔ)模塊為我們的元數(shù)據(jù)服務(wù)器提供了非常高性能的底層存儲(chǔ)方案。而在實(shí)現(xiàn)方面，我們?cè)诋?dāng)前線程池和網(wǎng)絡(luò)異步驅(qū)動(dòng)的基礎(chǔ)上針對(duì)海量云存儲(chǔ)的應(yīng)用場(chǎng)景做了進(jìn)一步的性能優(yōu)化，可以發(fā)揮出機(jī)器的極限性能。
　　最后，本文通過(guò)一系列的性能測(cè)試表明我們的元數(shù)據(jù)服務(wù)器可以有效應(yīng)用于海量小文件存儲(chǔ)場(chǎng)景，并且相對(duì)于當(dāng)前其他分布式文件系統(tǒng)的元數(shù)據(jù)服務(wù)系統(tǒng)有著數(shù)倍的性能提升