基于大數據的精準推送分類信息發布平臺

韓雪松 林霞

摘要：目前校園內信息的交換方式主要依靠QQ群、空間動態、朋友圈等，這些方式在區域范圍內會產生很多信息孤島，信息分散、利用率低。分類信息發布平臺通過網站、微信服務號、微信小程序等相關服務的部署，實現了失物招領、二手閑置信息、生活優惠信息和招聘信息的精準推送，極大地方便了用戶對信息的獲取。

關鍵詞：分類信息發布;機器人;精準推送

中圖分類號：G642 文獻標識碼：A

文章編號：1009-3044（2020）14-0086-02

1項目背景

大學區域內在學習資源交流、失物招領、生活信息交流等方面均有信息發布的需求，這部分信息流通主要是在QQ群、微信群、空間動態、朋友圈等平臺，這種平臺校內存在很多，就像一個個“孤島”一樣，導致信息分散，信息利用率低。并且現有平臺瀏覽麻煩，信息重復率高。所以需要串聯“孤島”實現信息整合共享，并通過各項技術：機器人服務、微信小程序及大數據技術的應用，將臨沂大學區域分類信息實現價值最大化。

2關鍵實現技術

2.1大數據技術

平臺將用戶上傳的數據或者通過機器人轉發的數據等信息作為數據源導人到大數據重要的組成部分：計算層，在這里我們采用了Hadoop平臺。Hadoop平臺所包含的兩大核心框架HDFS（分布式存儲）和MapReduce（分布式計算）對于信息發布平臺來講，這兩部分較為適合本項目信息整合的需求場景。具體體現在：Hadoop平臺適應于一次寫入，多次讀取的場景，也就是數據復制進去之后，長時間在這些數據上進行分析。同時Hadoop平臺還具有一大優勢為高效性，這也是Hadoop平臺的核心競爭優勢所在。接收用戶的數據請求后，Hadoop可以在數據所在的集群節點上并發處理。這無疑提高了對于信息處理的效率。當然它也存在一些不足，如在Mapreduce框架下，很難處理實時計算，作業都以日志分析這樣的線下作業為主。但對于這樣的信息發布平臺所需要的需求來講不會產生任何形象。

通過Hadoop平臺對信息資源進行合理的分類整合后，會將信息內容整合到對應的模塊，為此我們在信息發布平臺設立了切合實際需求的一些信息展示模塊。并通過機器人實時推送到有相關需求的群體當中去。

2.2反爬蟲技術

分類信息發布網站有可能會遇到黑客爬蟲進行的信息抓取盜用，市面上已有的反爬蟲技術相對來講比較完善了，傳統反爬蟲手段，像動態頁面ajax請求，后臺對訪問進行統計，如果單個IP、session、userAgent訪問超過閾值，予以封鎖。平臺在已有反爬蟲的基礎上在某些代碼層增加SQL注入語句甚至XSS語句，使爬取的黑客爬蟲數據庫被強行刪庫或被我方getshell達到另類反爬效果。

2.3靜態資源OSS存儲

通過OSS存儲技術將動態資源與靜態資源分離，降低了服務器壓力，也同時提高了用戶的訪問效率。通過對靜態資源的OSS存儲鑒權驗證進一步增強了網站的網絡安全防護能力，使得木馬文件即使繞過防火墻上傳到OSS服務器中也無法執行。

2.4技術架構前后端分離

為保證用戶數據安全，提升大數據調用性能，降低維護成本方便多平臺接入管理。平臺采用前后端分離，解耦思想。前后端分離中，傳輸的是數據、Model。數據怎么展示，全部交給前端來處理，后端只負責提供數據。網頁之間有各種跳轉交互，在前后端分離中，跳轉的頁面控制全部是由前端來決定，跟后端完全沒有關系，這也從根源上杜絕了一些前端邏輯漏洞造成getshell的情況。管理上只要做到前端后端一起鑒權，Node層校驗登錄態，后端校驗登錄態，同時后端校驗數據歸屬，這幾個層面就基本上能夠保證系統的軟件層安全，再將后臺管理服務器與數據庫分離，通過IP歸屬校驗與強規則權限限制，可以保證程序數據的安全。

2.5機器人推送

通過QQ機器人功能，聯合平臺大數據分析中心將用戶與多個孤島平臺串聯，讓用戶通過與QQ機器人對話的形式參與平臺的使用，增加用戶便利性。QQ機器人通過酷Q調用安卓QQ協議登錄，并通過HTYP和WebSocket對酷Q的事件進行上報以及接收請求來調用酷Q的DLL接口，實現平臺一系列架構功能。

3平臺的設計與實現

3.1微信服務號

針對用戶行為分析，發現在微信公眾號中打開這種方式相對于大眾來講更容易接受，免去程序安裝的麻煩。微信服務號也作為自媒體平臺運營的陣地之一，通過高質量文章對平臺進行引流。通過微信服務號用戶可以無感知微信登錄，并且可以收到來自微信公眾號的最新消息推送。

3.2分類信息網站

信息發布平臺的網站，設置了不同的信息類別模塊，包括生活優惠信息、閑置信息、招聘信息以及租房信息等。不同的模塊的區分對不同信息進行整合。

通過分類信息發布平臺可以一鍵發布需求或一鍵發布供應信息，供求信息發布后在大數據模塊的響應分析后自動生成最優解推送，以供用戶選擇。在分類信息發布平臺上用戶發布信息后，對相關信息感興趣的用戶即可發起線上咨詢，最新消息提醒將通過微信公眾號發布提醒消息，如圖1所示。

3.3推送機器人

以用戶為中心、滿足用戶正向需求為原則，我們開發了針對信息發布平臺的推送機器人。它可以實現信息的精準推送與校內分類信息孤島平臺的聯結。也可以實現快速的信息上傳，如圖2所示。

通過與QQ機器人直接溝通交流可以獲得平臺最新信息以及所需的最優方案解決方法，使用的方法也很簡單，添加其好友或者加入機器人所在QQ群即可。

3.4小程序

在學校同學們對于失物招領的需求比較大，根據實際情況開發的臨沂大學事物招領微信小程序，在功能上可實現對物品信息直接搜索查找，提高信息的利用率。

通過小程序來實現校內失物招領，用戶在完善了資料之后就可以發布物品丟失或者撿到物品的信息，發布成功后將展示在首頁，用戶物品丟失后即可通過首頁上方的搜索功能搜索到與自己相關的物品信息，并通過“聯系我”功能聯系物品發布者，如圖3所示。

4平臺的優勢

項目在傳統分類信息的基礎上大膽創新融人大數據思想，通過大數據+聊天機器人技術實現用戶信息的精準有效交互，解決了傳統分類信息的內容龐大繁雜，內容真實性不可保證的缺陷。將大部分的人為因素通過技術、創造合約執行自動化的條件，保證了分類信息平臺誠信環境的構建。通過聊天機器人可將當前已有的大多數分類信息平臺聯結起來實現孤島整合，信息共享。

用戶習慣方面不可一蹴而就，文化認知方面更不是一朝一夕可以養成的。但大眾習慣歸根結底與大眾性格相關。在沒有國外交易文化的前提下想要讓用戶能夠對產品產生依賴，就需要產品自身能否給用戶帶來足夠的便利，平臺大基于大數據與聊天機器人的結合就可以完美解決該問題，通過搜集用戶行為信息形成的人物畫像，可以實現信息精準推送，同時也實現了串聯已有信息孤島，整合信息發布類平臺實現信息共享，且全程不會給用戶在操作上帶來任何其他的門檻，一切基于合約執行自動化的思想，無形中創造信息的價值。

將分類信息發布平臺與自媒體形式一體化產業化，校園為特殊的用戶群體范圍，自媒體平臺吸引學生流量從而吸引商家人駐與廣告投放，配合做好網站文化，自媒體平臺通過對產品的設計包裝，投放進信息發布平臺內，實現包裝宣傳、定位投放一體化、一條龍信息服務鏈。

依據功能優勢與用戶群體特點專注區域信息發布，國內已有的信息發布類網站因為資本運作問題、用戶認知問題、用戶交易習慣等問題，使得早已失去了原本c2c方向的分類信息發布方式。平臺基于大學校園這一特殊用戶群體實現的區域信息發布平臺，正是由于區域性與大學生的諸多特性不會重蹈國內其他分類信息發布平臺的覆轍，也能使精準投放功能更加優秀地實現。

5總結

新形勢、新技術下分類信息參與到高校供求關系解決中來，為高校學生的生活帶來了新的機遇，也出現了前所未有的挑戰，為此，要結合大數據技術對信息分類推送進行深入研究，探索構建分類信息推送系統的具體途徑，最終實現高校分類信息推送系統完成新的架構。