Python數據結構在社保大數據領域運用分析

肖轉紅

（山西運城師范高等專科學校 山西省運城市 044000）

Python 語言在計算機領域有著較為廣泛的應用，能夠基于既定的數據結構方式來提升對各類數據進行處理的效率，也能夠保證數據分析結果的準確性。社保是社會民生工程的重要組成部分，是基本的社會保障之一，將Python 數據結構與大數據技術的應用結合起來，對提升社保數據的處理效率，改善社會公共服務的水平具有積極的意義，能夠為更多政務服務工作的開展提供參考。

1 Python的數據結構

1.1 遍歷函數的應用

Python 語言從本質上來說是一種工具，能夠對基于網絡環(huán)境的空間數據進行批量處理。在Python 語言中應用遍歷函數，能夠基于Pythonfor 的循環(huán)語句、內置函數enumerate，遍歷匯集了空間數據的數據表文件中的目錄、序列項目，將遍歷后得到的結果應用數組、鏈表等數據結構的方式存儲起來[1]。

1.2 數據結構

基于遍歷函數的Python 數據結構，只需要依據OSwalk（）、glob（）等的遍歷函數，就可以直接獲取到網絡空間文件夾內的所有目錄和數據表文件，進而獲取到具體的數據結構[2]。

2 在社保大數據領域應用Python數據結構的情況分析

將Python 數據結構應用到社保大數據領域，能夠在應用大數據技術的基礎上，借助Python 數據結構來實現對于更多復雜數據內容的批量處理和任務執(zhí)行，對于提升大數據技術的應用價值，提升社保服務質量水平具有積極的作用。基于此，在對社保大數據領域應用Python 數據結構的情況進行分析時，主要可以從以下幾個方面來入手：

2.1 數據表文件批量處理方案

2.1.1 擴展工具的應用

對數量較多的數據表文件進行批量處理，需要應用擴展工具來實現。當前能夠應用于Python 語言的擴展工具，以ARC-TOOLBOX 擴展工具、矢量裁剪擴展工具、Arcpy 站點包擴展工具三種為主。

2.1.2 硬件環(huán)境搭建與空間批處理對象的創(chuàng)建

在應用Python 數據結構來對數據表文件進行批量處理時，首先需要基于數據表文件批處理的實際需求，確定應用的數據庫服務器類型。本文在對數據內容進行處理時，主要選擇應用IBMX3850 系列處理器、IBMDS3512 磁盤陣列，并在單臺的磁盤陣列中配置8塊儲存空間為2T 的SAS 硬盤[5]。在測試軟件的選擇方面，主要應用“Windows+ArcMap”軟件包的方式，在設置ARCTOOLBOX、Geoprpcessor 對象工具以及相關組件的前提下，確保對數據表文件進行處理時的環(huán)境和組件都能夠體現出良好的兼容性，也能夠確保數據處理的穩(wěn)定性和準確性。在這一過程中，應注重列表這一數據結構的重要組成部分，在Python 的數據結構中，列表通常作為函數的返回類型使用，能夠實現對于列表中各項元素的添加、刪除以及查找等操作，列表中的具體元素值也可以被修改。列表在應用中需要基于一定的方法來實現排序和逆序，應用不同的算法，能夠在提出數據查找需求之后，基于不同的算法程序和邏輯來實現相應代碼的運行[6]。這一過程是影響不同數據結構運行效率的主要因素，因而對于Python 數據結構的設計，需要重點考慮列表的不同形式。

2.1.3 Python 數據批處理的腳本程序開發(fā)

在確定空間批處理對象之后，需要考慮遍歷函數的應用原理，結合遍歷操作的基本步驟和流程，在IDLE和pycharm 編輯器中，設置ARCTOOLBOX 插件的Geoprocessor 對象工具以及Define Projection 定義投影工具，在工具窗口中點擊下一步的操作指令之后，可以實現對于Python 腳本程序工具語法以及執(zhí)行代碼的定義，從而選擇更符合實際數據處理需求的Python 腳本程序以及工具類型。在這一過程中，還需要對實際運行的代碼進行拷貝處理，結合數據批處理的具體情況，對相應的工具腳本參數情況進行修改，讓工具腳本參數能夠適應ArcGIS 的地理空間中對于數據批處理提出的實際操作要求。

2.1.4 腳本程序的數據批處理執(zhí)行

在完成腳本程序的開發(fā)之后，還需要基于既定的腳本程序來對具體的數據進行批處理的執(zhí)行操作。在這一過程中，需要考慮IDLE、pycharm 的集成開發(fā)環(huán)境這一前提，在充分發(fā)揮Python 匯編語言作用的情況下，滿足對于多樣化ARCTOOLBOX 工具或插件以及基于ArcGIS 空間數據處理的腳本程序的開發(fā)。以此開發(fā)流程得到的Python 腳本程序，能夠滿足描述GIS 數據、更改目錄、命名分解文件、羅列列表等方面的功能。考慮到Python 腳本程序在實際開發(fā)中的應用，對基于腳本程序的數據批處理執(zhí)行，還應具備實現批量投影裁切與輸出的功能。在這一情況下，實際進行Python 腳本程序數據批處理執(zhí)行的流程，主要能夠應用到以下代碼：

import os

作為當前工作目錄path=os.getcwd()#path

獲取當前工作目錄路徑current_path=os.getcwd()#

print (current_ path)

'/ZC/Download/data'

更改當前數據表文件目錄、分解為多個目錄的文件命名的執(zhí)行代碼為：

fpath,fname = os.path.split("要分解的路徑")

a,b=os.path.split('ZC/Download/data/zc.txt')以最后一個目錄為界分割

print a, print b

'ZC/Download/data'

'zc.txt'

在此基礎上，當腳本程序運行的執(zhí)行命令為獲取目錄文件列表時，實際的執(zhí)行代碼運行過程應為：

設置路徑：path=os.getcwd(）#

獲取指定路徑文件：dirs=os.listdir(path) #

循環(huán)讀取路徑下的文件并篩選輸出：for i in dirs: #

if os.path.splitext(i)[1]==".py":# 篩 選Coverage、Excel、csv 等格式的文件

print i(i 表示后綴名為py 的文件)

而對于需要獲取RrcGIS 影像數據的情況，在保證系統數據滿足批量投影裁切的要求之后，實際的執(zhí)行代碼運行過程為：

在以上所有的代碼運行完成后，就可以基于Python語言來實現對于不同矢量數據表的分類導出，并結合系統以及腳本的程序自動將獲得的相應數據表儲存到制定的文件夾當中，從而實現對于批量數據表的有效處理。

2.2 SET數據結構

在明確應用Python 語言進行數據表文件批量處理的運行原理前提下，考慮社保大數據領域對數據處理提出的要求，應在保證實現對數據表文件進行批量處理的前提下，進一步通過優(yōu)化集合列表的方式，在Python中建立一個集合列表，讓實際數據處理中不同的數據結構都能夠更準確地指向需要進行訪問的地址。從Python數據結構的角度進行考慮，需要明確基于程序語言的數據結構本身是一種能夠從內存中獲取數據地址進而得到數據的方式，應用各種類型的編程語言和數據結構，最主要的目的就是能夠借助計算機實現對于內存中數據的讀取。現階段，Python 語言能夠應用于系統編程、GUI編程、互聯網腳本以及數據編程等多個不同的行業(yè)領域。

基于此，在應用Python 結構對數據進行處理時，首先需要構建一個LIST 的數據結構，基于單鏈序列、雙鏈序列以及環(huán)形序列來實現對于其中各類數據信息的精確索引。其中，單鏈序列主要是指以實現單向索引為主要目標，每個節(jié)點只包含下一節(jié)點位置；雙鏈序列能夠實現前后雙向的查找，每個節(jié)點都包含前一節(jié)點與后一節(jié)點的地址；環(huán)形序列則通過序列節(jié)點指向的方式，結合單向序列的原理來滿足對數據進行精確索引的需求。應用這一列表的方式，能夠實現對空間任一個數據位置的插入、切片和刪除，也不會受到重復數據值的影響。

2.3 社保相關數據帶入結構的實例分析

在明確基于Python 語言的數據結構運行原理和列表構建情況之后，需要結合社保大數據領域對Python數據結構應用提出的具體需求，探討以LIST 列表和SET 列表方式對數據進行處理的實際效果。Python 本身是一種高效的編程語言，能夠順應當前軟件開發(fā)的主要趨勢，滿足基于計算機系統的大數據技術應用創(chuàng)新以及優(yōu)化的要求。結合前文對于LIST 和SET 兩種列表的數據結構方式分析，將這兩種數據結構方式代入到社保大數據領域，最主要的目的就是通過數據結構方式的對比，基于社保大數據領域的具體應用要求，為提升社保服務選擇更合適的Python 數據結構類型。

結合當前社保服務工作開展的主要內容和具體要求，在將與社保相關的數據帶入到Python 腳本程序和數據結構時，需要考慮當前社會發(fā)展中需求最為密集的社保種類，即跨統籌區(qū)或跨險種的數據應用和處理情況。在這一方面，考慮到政務服務對于社保數據處理和提升社保服務質量水平的要求，企業(yè)養(yǎng)老保險、機關養(yǎng)老保險以及城鄉(xiāng)居民養(yǎng)老保險等不同方面的數據信息，通常以Excel 的形式儲存在社保部門相對應的不同科室當中，且單一的表格數據信息量就較為龐大。

為驗證本文中提到的應用Python 語言對數據表文件進行批處理以及LIST 和SET 列表構建方法的有效性，在實際分析中選取10000 機關養(yǎng)老待遇的人員信息以及10000 城鄉(xiāng)居民養(yǎng)老待遇的人員信息，以對比的方式，分析應用Python 數據結構所展現的對于數據分析處理的性能優(yōu)勢以及實際的運行情況。

具體而言，在對相應數據進行處理的過程中，需要將10000 人的兩類數據源分別輸入到兩個LIST 列表中，基于FOR 循環(huán)代碼來實現對于相關數據的便利比對。整個遍歷過程涉及到的運行代碼如下：

而在分別將10000 人的兩類數據源輸入到兩個SET列表之后，則需要基于intersection 函數的方式來對數據的交集進行求解計算：

starttime=datetime.datetime.now()

newdata=set(dt).intersection(set(dt1))

finishtime=datetime.datetime.now()

print('SET 用時:%s'%(finishtime-starttime))

在分別對應用兩種列表方式得到的數據交集結果進行驗證之后，發(fā)現LIST 的最大運算次數為20000 次，用時為1.12630778 秒，而應用SET 結構得到的最大運算次數為一億次，用時為0.00001993 秒。結合這一數據的計算結果來看，相較于LIST，SET 列表在基于Python 語言和數據結構的前提下，能夠呈現出更大的應用優(yōu)勢。

為進一步探討SET 列表的數據結構方式應用原理和性能效果，主要從隨機訪問的角度出發(fā)，展示驗證基于查找算法的LIST 抽象源碼運行情況：

def serach For Key (self, key):

temp = self.head

while temp != None:

if temp.value == key:

return True

temp = temp.next

return False

在一個未排列的數據序列中，如果序列共有10、11、12、8、9、12、14 七個整數值，在設定查找13 這一Key 值的前提下，需要從序列的開頭部分以循環(huán)比對的方式進行查找，在查找得到的數據不匹配的情況下，需要通過temp=temp.next 的操作來進入下一個節(jié)點，繼續(xù)進行循環(huán)比對的操作。當循環(huán)比對過程中查找到正確的Key 值，就會返回Ture 進而跳出循環(huán)。由此可以發(fā)現，在應用LIST 列表的算法進行數據查找和索引時，需要利用遍歷函數，遍歷整個序列中的數據才能夠匹配到具體的數值。考慮到實際數據索引和分析處理的需求，通常應用這一列表方式來滿足查找具有順序敏感性的數據，并引入平均查找復雜度這一概念來保證數據查找的精確性與效率效果。

而在應用SET 列表的情況下，基于哈希算法的SET 抽象源碼運行情況如下：

def serach For Key(self, key):

hash Value=self.Compute Hash(key)

temp=hash Value%7

if self.Arr[temp]==key:

return True

elif False

結合前面的分析可以發(fā)現，在應用SET 列表進行數據分析處理的情況下，需要借助哈希算法來省略進行循環(huán)查找的步驟，直接通過一次尋址的方式就可以得到相應的查找結果。在結合以上抽象源碼運行情況之后可以發(fā)現，以構建SET 列表的方式，能夠在得到一個基于7 個整數值的集合之后，通過ComputeHash 函數來驗證查找對象所對應的哈希值，在此基礎上通過哈希算法來對哈希值進行計算，進而得到相對應的哈希表中的索引位置數據。如果得到的索引位置數據與需要尋找的Key值相同，就可以直接成功返回。在這一數據索引和處理分析的過程中，SET 本身的規(guī)模大小以及數據結構的復雜程度不會對數據的索引和查找產生影響。在理想的情況下，應用SET 列表查找數據表文件中的任何數據，都只需要查找一次，就可以借助哈希算法來實現數據比對。

3 結論

綜上所述，將Python 的數據結構應用到社保大數據領域，能夠有效提升對于各項社保信息的處理效率，提升服務水平。針對以社保服務為代表的各個行業(yè)和領域中涉及的數據分析處理需求，應用Python 數據結構，需要在明確數據結構本身運行原理的基礎上，充分發(fā)揮SET 數據結構的作用優(yōu)勢，以代入社保相關數據的方式來驗證數據結構的有效性，明確腳本程序的執(zhí)行流程，確保提升社保數據的處理和應用效率。