中交路橋科技是從事工程檢測監(jiān)測、城市安全監(jiān)測預警與評價、數(shù)字智能化研發(fā)為一體的復合型高新技術集團企業(yè)。
1 橋梁監(jiān)測數(shù)據(jù)預處理流程
橋梁監(jiān)測原始數(shù)據(jù)采集并傳輸?shù)綌?shù)據(jù)中心后，這些數(shù)據(jù)伴有許多噪聲與異常問題，首先要這些數(shù)據(jù)進行可信度評估、數(shù)據(jù)清洗工作，為了便于后面的數(shù)據(jù)分析，一般還要做數(shù)據(jù)統(tǒng)計分析、特征創(chuàng)建和數(shù)據(jù)降維，這些都是數(shù)據(jù)預處理要做的工作。
大致可以分為：
①傳感器數(shù)據(jù)的可信度評估，也就是利用各種方法檢測出有問題的數(shù)據(jù)序列和采集這些據(jù)序列的傳感器，保證數(shù)據(jù)的正確性，確保可以用來進行數(shù)據(jù)分析。
②數(shù)據(jù)的清洗，也即，對監(jiān)測數(shù)據(jù)進行異常數(shù)據(jù)剔除，然后進行插補
③監(jiān)測數(shù)據(jù)的統(tǒng)計分析，也就是對具有連續(xù)性、時序性的橋梁監(jiān)測數(shù)據(jù)統(tǒng)計或記錄一些對后面數(shù)據(jù)分析有用的特征，如均值、方差、最大值和最小值等。有些監(jiān)測系統(tǒng)還需要對監(jiān)測數(shù)據(jù)進行數(shù)據(jù)概化和規(guī)范化。
④監(jiān)測數(shù)據(jù)的特征創(chuàng)建，也就是用各種方法與模型對橋梁監(jiān)測數(shù)據(jù)進行特征創(chuàng)建，代替原始的時序監(jiān)測數(shù)據(jù)作為特征矢量，以便于后面的數(shù)據(jù)挖掘。
⑤數(shù)據(jù)降維，當數(shù)據(jù)維數(shù)或者構建的特征數(shù)量過多時，如果把這些參數(shù)值都作為算法的輸入向量，會有可能會導致維災難，也會影響算法的效率和準確度。這時就要做數(shù)據(jù)降維，減少輸入向量的維數(shù)，可采用主成分分析、奇異值分解、特征子集選擇等方法。
預處理的主要工作集中在前三個部分，后面兩個部分一般根據(jù)數(shù)據(jù)分析的需求來確定是否需要。預處理的每個部分都是很重要的，但不是每個部分工作是孤立的，就像傳感器數(shù)據(jù)的可信度評估，在可信度評估前要對數(shù)據(jù)做濾波去噪工作，做一些必要的數(shù)據(jù)處理工作，以便能準確的做傳感器數(shù)據(jù)的可信度評估。還有在數(shù)據(jù)的特征創(chuàng)建的過程中，可能需要對監(jiān)測數(shù)據(jù)進行統(tǒng)計分析，以便更科學的對監(jiān)測數(shù)據(jù)做特征創(chuàng)建，本文主要研究前三個部分的工作：數(shù)據(jù)的可信度評估、數(shù)據(jù)清洗和監(jiān)測數(shù)據(jù)的統(tǒng)計分析。
2橋梁監(jiān)測數(shù)據(jù)預處理方法介紹
傳感器數(shù)據(jù)可信度評估的評價方法如下。
1用傳感器返回的狀態(tài)標志判斷數(shù)據(jù)的可信度，因為每個傳感器都有采集時的狀態(tài)標志。
②對每個傳感器的數(shù)據(jù)建立歷史趨勢模型，橋梁監(jiān)測數(shù)據(jù)都是時序數(shù)據(jù)，可用時序 序列分析技術建立歷史趨勢模型，建立模型的數(shù)據(jù)要用開始采集的正常的據(jù)。建立模型后，可根據(jù)模型來預測數(shù)據(jù)，只要是不在預測范圍的都是不可信的數(shù)據(jù)。
③對同截面、同類型的傳感器建立模型。可以對同一個截面的各類傳感器建立相關模型，判定一個傳感器數(shù)據(jù)時可以根據(jù)其他數(shù)據(jù)來確定是否可疑。也可以對同類型相的傳感器數(shù)據(jù)進行關聯(lián)度分析，確定關聯(lián)度閾值，然后根據(jù)關聯(lián)度分析計算得到的概率與閾值相比，若小于閾值，則關聯(lián)性好，說明傳感器工作正常；否則關聯(lián)性不好，說明有傳感器工作不正常。
數(shù)據(jù)清洗要對監(jiān)測數(shù)據(jù)進行濾波去噪、去除異常值、數(shù)據(jù)插補。
1)濾波去噪的常見方法有平均值濾波、中值濾波、復合濾波等。近年來小波技術也被常用于濾波去噪，并且展現(xiàn)了比較好的性能
2)異常值一般分為單點異常值和連續(xù)異常值，針對單點異常值剔除方法有固定閾值法和基于樣本閾值方法。對于連續(xù)異常值得剔除方法還沒有比較好的方法，也需要根據(jù)具體數(shù)據(jù)特性具體分析。
3)數(shù)據(jù)插補研究比較多所以方法也比較多，方法有均值插入法、時間序列移動平均模型插值法、拉格朗日插值法、神經網(wǎng)絡插補法等。
數(shù)據(jù)的統(tǒng)計分析就是利用數(shù)理統(tǒng)計的方法計算與記錄監(jiān)測數(shù)據(jù)的特征。
1)橋梁監(jiān)測系統(tǒng)所采集的監(jiān)測數(shù)據(jù)受到很多方面因素的影響，橋梁監(jiān)測數(shù)據(jù)也是一個連續(xù)、長時間的時序數(shù)據(jù)，統(tǒng)計橋梁監(jiān)測數(shù)據(jù)一段時間內的的均值、方差、絕對方差、最大值、最小值等特征，可以反映橋梁結構的變化。
2)數(shù)據(jù)概化，對監(jiān)測數(shù)據(jù)進行時間序列分析，獲得更有意義地結果，把數(shù)據(jù)采集時間通過數(shù)理統(tǒng)計概化到天、周、月、季度和年份，可以更好觀察監(jiān)測數(shù)據(jù)的規(guī)律性?；蛘邔σ粋€時間段的不同監(jiān)測參數(shù)做關聯(lián)性分析，將這幾種監(jiān)測數(shù)據(jù)的數(shù)據(jù)融合存入一個數(shù)據(jù)表中
3)數(shù)據(jù)規(guī)范化，不同的橋梁監(jiān)測參數(shù)取值范圍是不同，如溫度相對于撓度變化的數(shù)值區(qū)間較大，把不同監(jiān)測參數(shù)的取值區(qū)間規(guī)范到同一個區(qū)間
監(jiān)測數(shù)據(jù)的特征創(chuàng)建的方法基本有 4 大類：基于統(tǒng)計方法的特征創(chuàng)建，基于模型的特征創(chuàng)建，基于變換的特征創(chuàng)建，基于分形維數(shù)的特征創(chuàng)建。
1)基于統(tǒng)計方法的特征創(chuàng)建，對時域數(shù)據(jù)統(tǒng)計方法有均值、極值、方差等特征，對頻域信息采用功率密度比、功率譜、平均功率頻率等方法統(tǒng)計功率譜密度、熵值、平均功率和中值頻率等特征。用統(tǒng)計方法提取了特征向量后，可以采用構造分類器對提取出的特征向量分類；也可以采用神經網(wǎng)絡對從監(jiān)測數(shù)據(jù)中提取的特征向量進行分類此，這樣可以達到比較好效果。它基于統(tǒng)計方法的特征創(chuàng)建比較適合統(tǒng)計特征比較明顯的時間序列數(shù)據(jù)。
2)基于模型的的特征創(chuàng)建的方法是用合適的模型刻畫時序數(shù)據(jù)，然后計算提取模型的系書作為特征向量。對于平穩(wěn)的時間序列，常采用自回歸模型(AR 模型)、移動平均模型(MA 模型)、自回歸移動平均模型(ARMA 模型)等。對于非平穩(wěn)時間序列，常采用 ARIMA 模型(差分自回歸移動平均模型)。
3)基于變換的特征創(chuàng)建一般分為基于時頻變換的特征創(chuàng)建和基于線性變換的特征創(chuàng)建。基于時頻變換的特征創(chuàng)建是時域信息變換成頻域信息，在這變換的過程中提取出有用的特征向量。常采用的變換方法有傅里葉變換、小波變換和倒譜系數(shù)等手段。橋梁監(jiān)測數(shù)據(jù)一般來說都是時序數(shù)據(jù)，可能含有大量周期模式，并且也很有可能存在大量噪聲，在時域角度很難檢測這些模式，通過對時序數(shù)據(jù)實施傅里葉變換，將它轉換成頻率數(shù)據(jù)信息明顯的表示，就能檢測到這些模式了。經過驗證，對時間序列數(shù)據(jù)實施小波變換也非常有用?；诰€性變化常采用的變換手段有 PCA(主成分分析)、小波變換、神經網(wǎng)絡等。
4)基于分形理論的特征創(chuàng)建，利用分形理論的自相似現(xiàn)象的特點，用局部特征代替整體特征。分析理論的真正發(fā)展不到 20 年，但應用于時間序列數(shù)據(jù)的特征提取已越來越廣泛了。至于是否應用分析理論對時序數(shù)據(jù)進行特征創(chuàng)建，要看時間序列數(shù)據(jù)的特征符合分析理論的自相似現(xiàn)象。
數(shù)據(jù)降維的目標就是降低輸入向量的維數(shù)，并且維數(shù)降低后沒有失去所需要的數(shù)據(jù)信息。常用的方法有主成分分析、奇異值分解和特征子集選擇。主成分分析是一種用于連續(xù)屬性的線性代數(shù)技術，它找出數(shù)據(jù)的新的屬性(主成分)，這些屬性是原屬性的線性組合，是相互正交的，并且捕獲了數(shù)據(jù)的最大變差。奇異值分解，它與PCA有關，也適用于數(shù)據(jù)降維。
