面向時(shí)間序列的流式對象存儲(chǔ)文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在生活中，視頻監(jiān)控網(wǎng)、雷達(dá)基站、股票市場等都會(huì)實(shí)時(shí)產(chǎn)生大量獨(dú)立、連續(xù)的數(shù)據(jù)流，這種隨時(shí)間延續(xù)而無限增長的動(dòng)態(tài)數(shù)據(jù)集合就是流數(shù)據(jù)。而且隨著經(jīng)濟(jì)的發(fā)展，各行業(yè)的流數(shù)據(jù)的并發(fā)量和流量越來越大，尤其是視頻安防監(jiān)控領(lǐng)域，傳統(tǒng)的存儲(chǔ)系統(tǒng)由于受到其物理組成以及功能上的局限，已不能滿足海量數(shù)據(jù)存儲(chǔ)的需要。高效能的存儲(chǔ)流數(shù)據(jù)具有重要的現(xiàn)實(shí)意義。
　　為了存儲(chǔ)規(guī)模龐大的流數(shù)據(jù)，基于現(xiàn)有的軟硬件技術(shù)，適合采用分布式存儲(chǔ)系統(tǒng)。分布式存儲(chǔ)系統(tǒng)，是將數(shù)據(jù)分散

2、存儲(chǔ)在多臺(tái)獨(dú)立設(shè)備上的存儲(chǔ)系統(tǒng)。分布式存儲(chǔ)系統(tǒng)具有高可擴(kuò)展、低成本、高性能和易用等優(yōu)勢。專用于保存流數(shù)據(jù)的分布式流存儲(chǔ)系統(tǒng)不同于其他分布式存儲(chǔ)系統(tǒng)，流數(shù)據(jù)時(shí)源源不斷的快速連續(xù)到達(dá)，對網(wǎng)絡(luò)和磁盤形成巨大的負(fù)載壓力，寫任務(wù)多于讀，系統(tǒng)中存儲(chǔ)的舊數(shù)據(jù)幾乎永不變更但是會(huì)在一段時(shí)間后過期。
　　由于流數(shù)據(jù)的時(shí)間相關(guān)性，流數(shù)據(jù)存儲(chǔ)中通常用時(shí)間戳來標(biāo)定對應(yīng)的流數(shù)據(jù)，因此具備單調(diào)遞增的時(shí)間序列特征，可用于后期的基于時(shí)間戳或訪問的數(shù)據(jù)定位及讀取。此

3、外，流數(shù)據(jù)會(huì)存在存儲(chǔ)生命周期的需求，例如針對監(jiān)控存儲(chǔ)的原始數(shù)據(jù)，會(huì)存在一個(gè)固定的過期時(shí)間。
　　針對這種實(shí)際的情況，本文討論了一種用在分布式視頻流存儲(chǔ)系統(tǒng)中的數(shù)據(jù)存儲(chǔ)服務(wù)器上使用的面向時(shí)間序列的流式對象存儲(chǔ)文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，以滿足高寫入壓力的存儲(chǔ)需求。
　　該文件系統(tǒng)，主要包括如下3個(gè)重要的功能點(diǎn)：1、實(shí)現(xiàn)了仿文件系統(tǒng)語義供存儲(chǔ)系統(tǒng)開發(fā)者做二次開發(fā)；2、高并發(fā)高吞吐讀寫流數(shù)據(jù)，同時(shí)保持良好的可靠性；3、通過多磁盤的優(yōu)化調(diào)