基于大數(shù)據技術精細化社會治理系統(tǒng)研究

趙志海

摘 要：為解決常用系統(tǒng)管理大數(shù)據時存儲器容量較小，不能滿足大數(shù)據存儲需求，導致系統(tǒng)運行的并發(fā)性和可擴展性較差的問題，設計了基于大數(shù)據技術的精細化社會治理系統(tǒng)。硬件設計方面，采取分塊模式設計系統(tǒng)總體結構，通過接口板和存儲板組成大數(shù)據存儲器，選取Virtex-4 FPGA芯片作為存儲板內部芯片，優(yōu)化存儲板PCB布局，擴增存儲器容量，滿足大數(shù)據大容量存儲需求;軟件設計方面，通過網絡爬蟲采集社會治理相關大數(shù)據，預處理大數(shù)據并對其進行分類，得到精細化數(shù)據項，為社會治理工作提供數(shù)據支持。設置對比實驗，結果表明，設計系統(tǒng)執(zhí)行大數(shù)據寫入/讀取操作時，提高了并行加速度，擴展比更接近1，并發(fā)性和可擴展性優(yōu)于常用系統(tǒng)。

關鍵詞：社會治理;模塊結構;存儲板;大數(shù)據預處理;精細化數(shù)據項

中圖分類號：TP311.13 ? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ? ? ? ? ?文章編號：1001-5922（2021）06-0072-05

Abstract：In order to solve the problem that the memory capacity of common systems managing big data is small and can not meet the storage requirements of big data， resulting in poor concurrency and scalability of system operation， a refined social governance system based on big data technology is designed. In terms of hardware design， the overall structure of the system is designed in block mode. The big data memory is composed of interface board and memory board. Virtex-4 FPGA chip is selected as the internal chip of the memory board to optimize the PCB layout of the memory board and expand the memory capacity to meet the demand of big data storage; in terms of software design， through the web crawler to collect social governance related big data， preprocess big data and classify it， get fine data items， provide data support for social governance work. A comparative experiment was set up， and the results showed that when the design system performs big data write/read operations， the parallel acceleration is improved， the expansion ratio is closer to 1， and the concurrency and scalability are better than common systems.

Key words：system design; Module structure; memory board; Big data preprocessing; refined data items

0 引言

社會治理是國家體系的組成部分，完善社會治理體系，必須推進社會治理體系信息化。因此，研究基于大數(shù)據技術精細化社會治理系統(tǒng)，將大數(shù)據資源運用到生活各個領域，參與到社會治理模式中，使參與社會治理的主體，在工作中做到細致精確，為民眾提供優(yōu)化服務，具有重要意義。

文獻[1]采用物聯(lián)網和云計算等技術，構建城市發(fā)展框架，從空間分布角度出發(fā)，將城市劃分為政府、人群、產業(yè)、社區(qū)4個子系統(tǒng)，推動城市治理，但該方法構建的系統(tǒng)框架元器件集中，導致系統(tǒng)運行時間較長，并發(fā)性較差。文獻[2]以信息過濾為起點，融合相關大數(shù)據的輔助數(shù)據，利用標簽數(shù)據和反饋信息，為管理對象提供數(shù)據支持，但該方法預處理后的異構數(shù)據，仍具有不同結構，導致系統(tǒng)可擴展性較差。針對以上問題，設計基于大數(shù)據技術精細化社會治理系統(tǒng)，優(yōu)化存儲器，存儲大容量原始數(shù)據，高速穩(wěn)定運行大數(shù)據操作程序。

1 基于大數(shù)據技術精細化社會治理系統(tǒng)設計

1.1 社會治理系統(tǒng)硬件設計

1.1.1 設計系統(tǒng)總體結構

設計系統(tǒng)總體結構，實現(xiàn)社會治理相關大數(shù)據的輸入輸出和存儲。系統(tǒng)采取分塊模式，模塊包括供電模塊、主控芯片模塊、主控芯片配置模塊等模塊。在Camera Link接口輸入大數(shù)據，通過FPGA主控芯片內部的n塊代碼[3-4]，編寫雙口RAM并檢查執(zhí)行的大數(shù)據，位寬轉換64位數(shù)據信號，得到16位數(shù)據信息。下達大數(shù)據存儲指令，縮短寫指令的時間，由n塊NAND Flash并行存儲數(shù)據信息。通過NAND Flash獲取的FPGA芯片和USB內部FIFO控制的主控芯片，獲取與社會治理相關的數(shù)據，通過USB接口將數(shù)據傳輸?shù)絇C機。優(yōu)化后的存儲器結構如圖1所示。

FPGA主控芯片選取CY7C68013型號，嵌入單片機8051核作為內部處理器，帶有9.0KB片上RAM資源，與USB相互兼容，為大數(shù)據傳輸提供高速模式和全速模式，兩種模式的速率分別可達490Mbps和15Mbps，擁有560個I/O引腳，方便大數(shù)據存儲[5-6]。主控芯片配置模塊選取合適的片外Platform Flash，型號為XCF08P-VOG48C，擁有10Mbit編程空間，與FPGA芯片進行匹配，提供5種配置模式。具體如表1所示。

當系統(tǒng)處于主控芯片配置模式時，將撥碼開關接地，M0、M1和M2設置為0，從而選擇主串模式下的FPGA芯片配置模式。Camera Link數(shù)據輸入模塊，使用4片DS90CR286和1片DS90LV019組成，采用MDR-26接頭，該接頭采用屏蔽技術，其接收信號包括6對控制信號和2對差分數(shù)據信號[7-8]，大數(shù)據輸入速度可達2.45Gbits/s，該模塊使用24位Channel Link芯片，將接收的數(shù)據信號，轉換為TTL電平信號，令社會治理相關大數(shù)據以700MB/s的速度，分配到數(shù)據線上，且線上數(shù)據速度保持在80Mb/s左右。至此完成系統(tǒng)總體結構的設計。

1.1.2 設計大數(shù)據存儲器

設計系統(tǒng)存儲器，高速、安全存儲大數(shù)據，滿足社會治理相關海量數(shù)據的大容量存儲需求[9]。通過接口板和存儲板，組成系統(tǒng)存儲模塊，擴大存儲容量。接口板接收Camera Link數(shù)據信號，分配數(shù)據信號，傳輸至可用的存儲板，利用雙口RAM寫入數(shù)據，在RAM另一端口導出數(shù)據，存入存儲板，讀取信號時，選擇需要讀取的存儲板，查詢社會治理相關數(shù)據。存儲板內部采用型號為XC3S4000的Virtex-4 FPGA芯片，由芯片的寫入模式記錄并接收來自接口的控制信號和數(shù)據信號，在讀取大數(shù)據時，串行數(shù)據信號從存儲板芯片讀取并通過主控芯片傳輸?shù)浇涌诿姘濉Ｃ繅K存儲板采用6片F(xiàn)PGA結構，具備640個管腳數(shù)量，控制電路如圖2所示。

該控制電路支持lvcmos I/O接口標準，符合LVDS信號，連接120Ω 在串行通信過程中，采用優(yōu)化的PCB布局作為各存儲單元的載體，用5層電路板將信號層、信號層和電源層隔開，實現(xiàn)了對接收端差分線的電阻化，減少了終端信號的反射，得到了完整的數(shù)據陣列，靠近報警層和地層，充分發(fā)揮電力層和地層的屏蔽作用。將接口板和存儲板的芯片，放置在PCB層的中央位置，按照大數(shù)據流向排放，在芯片供電引腳處放置一個去耦電容，PCB布線采用 45°走線，使地線穿插在相鄰的信號線之間，從而擴增存儲板的存儲容量，使其在短時間內存儲社會治理相關大數(shù)據。至此完成大數(shù)據存儲器的設計，實現(xiàn)社會治理系統(tǒng)硬件設計。

1.2 系統(tǒng)軟件設計

采集社會治理相關大數(shù)據，輸入存儲至系統(tǒng)，預處理大數(shù)據，實現(xiàn)社會治理數(shù)據項的精細化分類。通過網絡爬蟲采集大數(shù)據[10-12]，將社會治理作為關鍵詞，在互聯(lián)網中搜索網頁，從種子UPL開始加入爬蟲隊列，解析下載網頁，抓取UPL得到新的URL，獲取社會治理領域數(shù)據，自定義添加社會治理相關內容，采集網頁中的視頻、音頻、數(shù)據庫、圖片、文本數(shù)據等類型數(shù)據，去除新的URL，加入新的爬取隊列，循環(huán)以上操作。通過隨機選擇數(shù)據采集中心的k個數(shù)據對象作為原始大數(shù)據采集中心，利用馬式距離，比較初始聚類中心和剩余數(shù)據對象。馬式距離計算公式為：

其中，N為原始大數(shù)據維度，xik為第k個數(shù)據維度中，大數(shù)據對象第i個數(shù)據、第j個數(shù)據的維度值，Hij為數(shù)據i和數(shù)據j間的馬氏距離。若馬氏距離Hij越接近1或-1，判定兩個數(shù)據間的相關程度越高、距離越近，若Hij越接近0，判定相關程度越低、距離越遠。將剩余數(shù)據對象移動到最近的起始類中心，然后再次選擇聚類中心，重復迭代直至函數(shù)收斂，k個聚類中心不再變化。準則函數(shù)J定義公式為：

其中，Zr為第r類聚類中心的中心點值，Er為Zr平均值。清洗聚類后的原始大數(shù)據，刪除社會治理不相關的記錄，包括圖片內容請求、文件請求、蜘蛛爬蟲程序請求[13-15]。當分隔不符合邏輯的蜘蛛會話，蜘蛛通過HTTP頭發(fā)起HTTP請求并識別網站用戶，記錄大量用戶相關的社會治理信息。分片預處理后的大數(shù)據，對大數(shù)據進行精細化分類，得到不同局部的數(shù)據元組。分割后的精細化數(shù)據項如表2所示。

建設分布式SQL數(shù)據庫，表示數(shù)據項屬性結構，通過各項精細化數(shù)據集，為精細化社會治理提供數(shù)據支持。至此完成系統(tǒng)軟件設計，實現(xiàn)基于大數(shù)據技術的精細化社會治理系統(tǒng)設計。

2 實驗論證分析

將此次設計系統(tǒng)，與引言中提出的文獻[1]和文獻[2]兩組常用社會治理系統(tǒng)，進行對比實驗，分別記為常用系統(tǒng)1和常用系統(tǒng)2，比較寫入/讀取大數(shù)據時，3組系統(tǒng)的執(zhí)行時間、并發(fā)性和可擴展性。

2.1 實驗準備

搭建系統(tǒng)測試平臺，集群節(jié)點包含4個存儲計算節(jié)點、1個主控制節(jié)點，計算機處理器為Intel Xeon E5-2609，搭建集群網絡拓撲結構，使主節(jié)點和存儲節(jié)點在一個局域網內，在節(jié)點上完成系統(tǒng)部署和系統(tǒng)配置工作。實驗數(shù)據為GroupLens提供的數(shù)據集包含視頻音頻、文檔表格、圖片影像、搜索引擎等，3組系統(tǒng)分別執(zhí)行大數(shù)據輸入輸出、存儲等操作，設計系統(tǒng)存儲板優(yōu)化后的PCB布局如圖3所示。

2.2 實驗結果

2.2.1 系統(tǒng)執(zhí)行時間實驗結果

當社會治理相關大數(shù)據寫入/讀取系統(tǒng)時，記錄系統(tǒng)執(zhí)行這一操作的運行時間，比較3組系統(tǒng)的大數(shù)據操作效率，實驗對比結果如圖4所示。

由圖4可知，讀取社會治理相關大數(shù)據時，數(shù)據量較少情況下，3組系統(tǒng)執(zhí)行時間接近，當數(shù)據量增加時，兩組常用系統(tǒng)執(zhí)行時間迅速增加，設計系統(tǒng)執(zhí)行時間上升緩慢，千次操作的平均執(zhí)行時間為20.3s，常用系統(tǒng)1和常用系統(tǒng)2千次操作的平均執(zhí)行時間，分別為26.1s和30.3s，相比兩組常用系統(tǒng)，設計系統(tǒng)大數(shù)據讀取的執(zhí)行時間，分別縮短了5.8s和10.0s。大數(shù)據寫入操作的執(zhí)行時間，則明顯小于讀取時間，設計系統(tǒng)千次操作的平均執(zhí)行時間為1.8s，常用系統(tǒng)1和常用系統(tǒng)2千次操作的平均執(zhí)行時間，分別為2.6s和3.0s，相比兩組常用系統(tǒng)，設計系統(tǒng)大數(shù)據寫入的執(zhí)行時間，分別縮短了0.8s和1.2s，提高了大數(shù)據寫入/讀取系統(tǒng)的執(zhí)行效率。

2.2.2 系統(tǒng)并行加速比實驗結果

令3組系統(tǒng)執(zhí)行大數(shù)據寫入/讀取操作，通過加速比，衡量系統(tǒng)寫入/讀取程序的并行性，加速比越高，系統(tǒng)并行性越好。加速比m計算公式為：

其中，t1為單處理器下，執(zhí)行大數(shù)據寫入/讀取操作的系統(tǒng)運行時間，tn為n個處理器下系統(tǒng)并行操作的運行時間。在集群節(jié)點全開的環(huán)境下，執(zhí)行大數(shù)據寫入/讀取程序，3組系統(tǒng)并行性實驗對比結果如圖5所示。

由圖5可知，集群節(jié)點的節(jié)點數(shù)量較少時，系統(tǒng)在節(jié)點啟動、大數(shù)據分片等無關步驟上，花費大量時間，執(zhí)行寫入/讀取程序的時間占比不大，導致并行加速比較低，而節(jié)點數(shù)量增多時，并行操作的分布式優(yōu)勢顯現(xiàn)出來，并行加速比隨之增加。執(zhí)行大數(shù)據讀取程序時，設計系統(tǒng)平均加速比為2.3，常用系統(tǒng)1和常用系統(tǒng)2的并行加速比，分別為1.9和1.6，相比兩組常用系統(tǒng)，設計系統(tǒng)并行加速比分別提高了0.4和0.7;執(zhí)行大數(shù)據寫入程序時，設計系統(tǒng)平均加速比為2.4，常用系統(tǒng)1和常用系統(tǒng)2的并行加速比，分別為2.2和1.7，設計系統(tǒng)并行加速比分別提高了0.2和0.7，設計系統(tǒng)并發(fā)性要優(yōu)于兩組常用系統(tǒng)。

2.2.3 系統(tǒng)可擴展比實驗結果

使用擴展比，衡量3組系統(tǒng)執(zhí)行大數(shù)據寫入/讀取程序的可擴展性，擴展比越接近1，表示程序在該狀態(tài)下的可擴展性越強。擴展比g計算公式為：

其中，f為集群節(jié)點個數(shù)，U為并行程序擴展比。3組系統(tǒng)的實驗對比結果如表3所示。

由表3可知，當集群節(jié)點個數(shù)增加時，程序擴展比隨之減小，設計系統(tǒng)執(zhí)行大數(shù)據寫入/讀取程序的平均擴展比，分別為0.949和0.944，常用系統(tǒng)1執(zhí)行寫入/讀取程序的平均擴展比，分別為0.912和0.914，常用系統(tǒng)2分別為0.903和0.900，相比兩組常用系統(tǒng)，設計系統(tǒng)擴展比更接近1，執(zhí)行大數(shù)據程序時，具有更好的可擴展性。

3 結語

此次設計系統(tǒng)充分發(fā)揮了大數(shù)據技術優(yōu)勢，提高了系統(tǒng)執(zhí)行效率、并發(fā)性、可擴展性，為精細化社會治理提供數(shù)據支持。但此次設計系統(tǒng)仍存在一定不足，在今后的研究中，會為存儲器配置更高速率的時鐘，對社會治理相關大數(shù)據進行時序約束，進一步優(yōu)化大數(shù)據存儲速度。

參考文獻

[1]劉子逸.大數(shù)據背景下的智慧城市管理系統(tǒng)的構建研究[J].智能城市，2021，7（02）：51-52.

[2]沈志宏，趙子豪，王華進，等.PandaDB：一種異構數(shù)據智能融合管理系統(tǒng)[J].軟件學報，2021，32（03）：763-780.

[3]蔣宇.基于區(qū)塊鏈的安全可信分布式大數(shù)據管理系統(tǒng)[J].中國新通信，2021，23（06）：152-154.

[4]崔斌，高軍，童詠昕，等.新型數(shù)據管理系統(tǒng)研究進展與趨勢[J].軟件學報，2019，30（01）：164-193.

[5]許鑫，時雷，何龍，等.基于NoSQL數(shù)據庫的農田物聯(lián)網云存儲系統(tǒng)設計與實現(xiàn)[J].農業(yè)工程學報，2019，35（01）：172-179.

[6]鄭美光，楊姣，常成龍，等.非結構化云數(shù)據管理系統(tǒng)不穩(wěn)定數(shù)據分區(qū)識別算法[J].華南理工大學學報（自然科學版），2019，47（08）：105-112.

[7]趙子豪，沈志宏.一種適合多元異構圖數(shù)據管理系統(tǒng)的交互分析框架[J].數(shù)據分析與知識發(fā)現(xiàn)，2019，3（10）：37-46.

[8]唐永軍.分布式大數(shù)據管理系統(tǒng)的設計與實現(xiàn)研究[J].科技創(chuàng)新導報，2019，16（33）：152+154.

[9]吳勇，陳慧，朱衛(wèi)東.基于大數(shù)據分析技術的管理會計系統(tǒng)重構[J].財會月刊，2019（07）：61-68.

[10]劉興宇，孫永明，吳在軍，等.基于物聯(lián)網的廣域網數(shù)據管理系統(tǒng)的研究[J].電子測量技術，2020，43（04）：106-110.

[11]張學謀，王可豪，田大雕.基于Android平臺的數(shù)據管理系統(tǒng)的實現(xiàn)[J].信息與電腦（理論版），2020，32（11）：149-152.

[12]黃正鵬，王力，張明富.基于云計算的海量大數(shù)據智能清洗系統(tǒng)設計[J].現(xiàn)代電子技術，2020，43（03）：116-120.

[13]萬珊，茍文博.基于改進K-means聚類的數(shù)據自動采集系統(tǒng)設計[J].自動化與儀器儀表，2020（10）：108-112.

[14]黃正鵬，王力，張明富.基于云計算的海量大數(shù)據智能清洗系統(tǒng)設計[J].現(xiàn)代電子技術，2020，43（03）：116-120.

[15]金巨波.基于K-mean聚類算法的海量數(shù)據分析方法[J].九江學院學報（自然科學版），2020，35（04）：53-55.