計算機(jī)數(shù)據(jù)解析與回歸分析方法實踐

李佳謙

摘 要：為了學(xué)習(xí)計算機(jī)數(shù)據(jù)處理方面的基礎(chǔ)知識和回歸分析方法，通過實踐，實現(xiàn)了對二進(jìn)制數(shù)據(jù)文件中數(shù)據(jù)的解析，并利用回歸分析方法推導(dǎo)出數(shù)據(jù)轉(zhuǎn)換的算法模型。

關(guān)鍵詞：計算機(jī) 數(shù)據(jù)解析 回歸分析

中圖分類號：TP3文獻(xiàn)標(biāo)識碼：A文章編號：1003-9082（2019）12-000-01

為了深入學(xué)習(xí)計算機(jī)數(shù)據(jù)處理方面的知識，我參與了一項計算機(jī)數(shù)據(jù)文件解析的任務(wù)，內(nèi)容是：針對一個溫濕度監(jiān)控系統(tǒng)，把系統(tǒng)的報警信息（即超標(biāo)的溫度）通過短信發(fā)送出去，問題是，報警信息保存在一個二進(jìn)制文件中，無法直接讀取。所以首先要從數(shù)據(jù)文件中找到這些數(shù)據(jù)是如何存儲的，并推導(dǎo)出這些數(shù)據(jù)與實際顯示的信息（即溫度）之間的關(guān)系。

首先用UltraEdit軟件以16進(jìn)制打開數(shù)據(jù)文件，見圖 1：

可以看出其中加亮部分的ASCII碼就是監(jiān)控點位的編號，并且在文件中每隔固定長度就出現(xiàn)另一個監(jiān)控點位的名稱。因此可以推測每個點位的報警數(shù)據(jù)應(yīng)該就在兩個編號之間。在這些信息中，除了報警數(shù)據(jù)，還有一些附加信息，例如報警的日期和時間，應(yīng)先把這些數(shù)據(jù)找出來并排除掉，以免干擾對數(shù)據(jù)分析。所以先來查看系統(tǒng)顯示的報警日期和時間（模擬數(shù)據(jù)的時間是“2015-12-09 15：07：41”），這些數(shù)據(jù)的16進(jìn)制為“07DF-0C-09 0F：07：29”。通過比較，可以在文件中找到對應(yīng)“月”“日”“時”“分”“秒”的數(shù)據(jù)，而在對應(yīng)“月”的數(shù)據(jù)的前面是16進(jìn)制的“73”，轉(zhuǎn)換成十進(jìn)制就是“115”，與模擬數(shù)據(jù)的年份“2015”相差1900。我們知道，在有些計算機(jī)系統(tǒng)中，經(jīng)常以1900年為年份的0點，可以推測，文件中保存的是實際年份與1900的差值。

下一步檢查當(dāng)報警數(shù)據(jù)發(fā)生變化時，除了“名稱”“時間”之外，發(fā)生變化的數(shù)據(jù)的便是報警數(shù)據(jù)。通過模擬一些不同的報警數(shù)據(jù)，可以發(fā)現(xiàn)，當(dāng)模擬報警數(shù)據(jù)變化而其他信息不變時，有4個連續(xù)的數(shù)據(jù)（16進(jìn)制）也在變化，如圖 2加亮部分：

數(shù)據(jù)占據(jù)4個字節(jié)，當(dāng)模擬數(shù)據(jù)為整數(shù)時，第1、2位均是“00”，只有第3、4位有數(shù)據(jù)。而帶有小數(shù)時，則第1、2位會顯示非“00”數(shù)據(jù)。根據(jù)“高位在后，低位在前”，推斷第1、2位的是小數(shù)，而3、4位是整數(shù)。為了驗證推論，我們在系統(tǒng)中模擬了幾個只有整數(shù)的報警數(shù)據(jù)：10、11、12，然后打開文件，發(fā)現(xiàn)第3、4位分別是“20 41”、“30 41”、“40 41”，很明顯，第3位是變化的，是低位，第4位是高位，由此，我推測數(shù)據(jù)應(yīng)該第4、3、2、1位這樣順序排列的，例如前面圖片中 “CD CC 8C 3F”，對應(yīng)的16進(jìn)制數(shù)據(jù)應(yīng)該是“3F 8C CC CD”，即十進(jìn)制的“1066192077”，很明顯這里不是直接存儲的“溫度”數(shù)據(jù)，很可能存儲的是傳感器的電信號，所以后續(xù)的關(guān)鍵任務(wù)是找到如何將這些“電信號”數(shù)據(jù)轉(zhuǎn)換為真正的報警數(shù)據(jù)，即“溫度”的方法。我們模擬了超過100組數(shù)據(jù)（即：<電信號數(shù)據(jù)：溫度數(shù)據(jù)>），用于回歸分析。在Excel中，把“溫度”作為x軸、“電信號”數(shù)據(jù)作為y軸錄入到表格中，生成曲線圖，見圖 3：

可以看出，所有的數(shù)據(jù)點分布在由直線段組成的折線上，可以發(fā)現(xiàn)線段的交點橫坐標(biāo)分別是在2、4、8、16、32…，即2n的位置。由此推測，在數(shù)據(jù)文件中存儲的數(shù)據(jù)，即“電信號”與“溫度”之間的對應(yīng)關(guān)系應(yīng)該是用這個折線模型來匹配的。為了驗證，我們推導(dǎo)了2、4、8、32…這些區(qū)間內(nèi)的線段對應(yīng)的一系列的直線方程，即：y=ax+b，其中a為x的系數(shù)，b為常數(shù)。因為我們的目的是要根據(jù)“電信號”推導(dǎo)出“溫度”數(shù)據(jù)，因此將報警文件中的數(shù)值（電信號）作為自變量，“溫度”數(shù)據(jù)作為因變量，利用SPSS軟件進(jìn)行線性回歸，例如，我們分別將對應(yīng)4和8兩點的數(shù)據(jù)（分別是：1082130432、1090519040）錄入SPSS中，然后執(zhí)行線性回歸，結(jié)果得到a=4.76837158203125E-7、b=-512.000。即：當(dāng)報警文件中的數(shù)值介于“1082130432和1090519040”之間時，采用方程y=4.76837158203125E-7x-512.000來計算，將“電信號”轉(zhuǎn)換為“溫度”值。作為驗證，將對應(yīng)溫度為“7”的電信號數(shù)值“1088421888”，代入到上述方程，可以得到正確的結(jié)果：y=7。按此方法，逐一計算出1-2、2-4、4-8、8-16、16-32等報警范圍的方程，見表 1：

利用這些方程，分段對其他模擬產(chǎn)生的數(shù)據(jù)文件中的數(shù)據(jù)進(jìn)行驗證，結(jié)果完全一致，從而確認(rèn)該算法是正確和有效的。

有了這個模型，后續(xù)便可實時分析和獲得各點位的溫度數(shù)據(jù)，實現(xiàn)后續(xù)發(fā)送報警短信的功能了。通過這次學(xué)習(xí)和研究，我了解了一些計算機(jī)數(shù)據(jù)相關(guān)的基礎(chǔ)知識和它們在實際中的應(yīng)用，學(xué)會了用一些工具軟件來實現(xiàn)回歸分析的方法。同時也體會到了在解決實際問題中，要靈活思考，注意觀察，發(fā)現(xiàn)規(guī)律，從不同角度分析問題、解決問題的重要性。