RFID交通數(shù)據(jù)清洗技術(shù)體系研究.pdf

1、交通數(shù)據(jù)的采集和處理技術(shù)是智能交通系統(tǒng)的關(guān)鍵性技術(shù)，無線電和計(jì)算機(jī)技術(shù)的蓬勃發(fā)展使得RFID(Radio Frequency Identification)檢測(cè)技術(shù)作為一種新型檢測(cè)技術(shù)廣泛應(yīng)用于道路交通數(shù)據(jù)采集。但是，由于RFID檢測(cè)設(shè)備故障、通信系統(tǒng)故障及環(huán)境因素等異常原因，采集到的交通數(shù)據(jù)存在冗余、遺漏、錯(cuò)誤和不精確等問題，如果將這些有質(zhì)量問題的數(shù)據(jù)直接應(yīng)用于交通狀態(tài)估計(jì)、預(yù)測(cè)及評(píng)價(jià)，必然會(huì)產(chǎn)生不穩(wěn)定因素，影響交通狀態(tài)估計(jì)、預(yù)測(cè)及評(píng)

2、價(jià)的效果，并進(jìn)一步影響交通管理和公眾出行信息服務(wù)的質(zhì)量，因此十分有必要對(duì)RFID交通數(shù)據(jù)進(jìn)行清洗，清除異常數(shù)據(jù)?；谏鲜鰡栴}，本文對(duì)RFID交通數(shù)據(jù)清洗技術(shù)進(jìn)行研究，主要研究內(nèi)容如下。
　　首先，在數(shù)據(jù)清洗文獻(xiàn)研究的基礎(chǔ)上，介紹了RFID技術(shù)基礎(chǔ)，研究了RFID系統(tǒng)組成、數(shù)據(jù)采集系統(tǒng)的工作原理、RFID采集平臺(tái)的架構(gòu)以及RFID采集系統(tǒng)的邏輯框架和物理框架，并介紹了南京市RFID數(shù)據(jù)概況，確定了實(shí)例分析中所用的數(shù)據(jù)采集區(qū)域，數(shù)據(jù)量

3、和數(shù)據(jù)的屬性與結(jié)構(gòu)，這為分析數(shù)據(jù)問題產(chǎn)生的原因并提出相應(yīng)的解決辦法提供了很大幫助。
　　其次，介紹了RFID錯(cuò)誤數(shù)據(jù)清洗，錯(cuò)誤數(shù)據(jù)檢測(cè)和處理主要是針對(duì)車牌號(hào)碼，根據(jù)車牌號(hào)碼的編排規(guī)則歸納出采集數(shù)據(jù)中的四類車牌錯(cuò)誤，利用聚類法檢測(cè)出錯(cuò)誤數(shù)據(jù)，統(tǒng)計(jì)錯(cuò)誤數(shù)據(jù)的數(shù)量，計(jì)算錯(cuò)誤率，分析錯(cuò)誤數(shù)據(jù)的時(shí)空變化規(guī)律。
　　接著，介紹了RFID冗余數(shù)據(jù)清洗，冗余數(shù)據(jù)分為重復(fù)數(shù)據(jù)和相似數(shù)據(jù)，冗余數(shù)據(jù)檢測(cè)和處理主要針對(duì)過車時(shí)間和車牌號(hào)碼兩個(gè)屬性，利

4、用排序?qū)Ρ鹊姆椒z測(cè)出冗余數(shù)據(jù)，統(tǒng)計(jì)車牌號(hào)碼相同的車輛過車時(shí)間分別相差1s-300s的數(shù)據(jù)量，計(jì)算冗余率，做出折線圖，將冗余率趨于平緩的點(diǎn)對(duì)應(yīng)的時(shí)間確定為冗余時(shí)間點(diǎn)，對(duì)于冗余時(shí)間點(diǎn)內(nèi)的數(shù)據(jù)，保留第一條數(shù)據(jù)，刪除其余數(shù)據(jù)，對(duì)于冗余時(shí)間點(diǎn)以外的數(shù)據(jù)，保留數(shù)據(jù)，不刪除。
　　再次，介紹了RFID缺失數(shù)據(jù)清洗，缺失數(shù)據(jù)檢測(cè)和處理主要是針對(duì)過車時(shí)間，根據(jù)統(tǒng)計(jì)缺失數(shù)據(jù)的時(shí)間匯集度的長短可分為月缺失量、日缺失量、小時(shí)缺失量等，分別計(jì)算基站的月、

5、日、小時(shí)、30min、15min、10min、5min、1min缺失率，根據(jù)缺失率隨時(shí)間的變化趨勢(shì)確定基站的缺失率。
　　另外，基于以上分析思路、分析方法、分析流程，論文歸納總結(jié)了RFID原始交通數(shù)據(jù)清洗中可能出現(xiàn)的共性問題，提出一種較為通用的RFID交通數(shù)據(jù)清洗方法，包括數(shù)據(jù)問題分類、數(shù)據(jù)問題檢測(cè)、數(shù)據(jù)問題分析和數(shù)據(jù)問題處理，建立一套完整的RFID交通數(shù)據(jù)清洗技術(shù)體系。
　　數(shù)據(jù)清洗是開展相關(guān)數(shù)據(jù)研究、應(yīng)用的首要工作，其重