數據挖掘技術在互聯網領域的應用研究

摘要：互聯網隨著時代的發展，演變成信息傳輸的綜合體。隨著現代計算機信息技術的飛速發展，網絡數據不斷地增長，我們步入了大數據時代。多年來，人們使用數據挖掘技術分析、整合海量的數據，從大量數據中，發現規律和知識，挖掘出有價值的信息。本文從數據挖掘技術的研究入手，結合不同領域的特點，剖析了數據挖掘技術在不同網絡平臺中的應用。我們可以發揮數據挖掘的社會價值，改善人們的生活，完善平臺的數據服務，最大化數據挖掘的積極作用。

關鍵詞：互聯網;數據挖掘;應用;網絡平臺

中圖分類號：G642 文獻標識碼：A

文章編號：1009-3044（2019）36-0008-03

1概述

互聯網隨著時代的發展，演變成信息傳輸的綜合體。無論是個人，還是企業、平臺等都頻繁使用互聯網，如個人通信、企業宣傳、媒體平臺傳播等都依賴于它。隨著現代計算機信息技術的飛速發展，網絡數據不斷地增長。社交網絡、電商平臺、金融平臺、教育平臺、音樂平臺、醫學平臺等不同領域的平臺，各種服務工具等，都提供和處理著大量網絡數據[1]，同時，也作為數據的來源。在互聯網上，有著豐富的數據信息，如某電商平臺數億的用戶每天產生的交易數據約20TB左右，某教育平臺課程資源等數據也超過100TB。數據通過互聯網地傳輸，每時每刻都在更新，逐漸形成大量且復雜性較高的信息。互聯網為人們提供了許多應用及服務，人們在生活中幾乎離不開互聯網，換句話說，每個使用互聯網的人都在為互聯網提供著數據，并且這些數據是實時進行處理的。

2大數據時代

跟隨著信息化的腳步，我們已經正式步人了大數據時代。在信息日益漸增的情況下，一定程度上加速了人們生活的進步，也促進了不同領域的信息交流的時效性。在日常生活中，聯絡他人可以直接用網絡通信，買東西可以足不出戶，想了解天下事只需要上網，甚至人們的衣、食、住、行都可以通過網絡方式獲取信息。在數據時代，幾乎所有的信息都可以通過網絡來看到相應數據[2]。這也意味著，網絡數據在我們生活中已經占據了至關重要的角色。

在大數據時代，人們的身邊每天充斥著大量的信息。在這些信息當中，有準確或者不完善的信息，有對于不同需求的人來說，看似有用或者無價值的信息等。因此，不同領域的網絡平臺對于數據的應用，就需要將不同人的看法搜集起來，利用數據挖掘技術，進行有效整合，充分將大數據的價值利用起來。此外，通過數據挖掘技術，可以將繁雜的數據進行分類，提取有效信息，防止數據的重復性和枯竭，改善網絡環境[3]。

3數據挖掘技術

信息的交互、網絡數據的實時分享，在一定程度上加速了人們的生活發展，每個人都能享受到大數據所帶來的便攜。與此同時，隨著互聯網行業的不斷發展，平臺大規模的增加，大量網絡數據遞增。數據具有海量且復雜的特征，其中，相對價值較高的數據所占百分比較小。數據中包含很多噪聲數據，數據內容可能缺失或者分散，導致數據質量不一致[4]。我們需要利用數據挖掘技術從大量的隨機并且雜亂的數據集合中，通過采用一定的算法對信息進行提取，發現規律和有用的價值信息，重新整合數據信息庫。

數據挖掘不僅是收集某類數據，也是通過從大量不同類型的數據中，挖掘出各種有價值的信息如趨勢、模式及關系的過程，從而達到改善社會治理、提高效率、提高數據系統使用率的效果。數據挖掘技術是對大量數據進行分整合、統計與分析并通過機器學習方法、人工智能方法或數據挖掘方法深度分析，發現規律和知識，并運用于各個領域。

3.1數據挖掘方法和步驟

數據挖掘方法有許多，例如有基于遺傳算法，粗集方法，決策樹方法和神經網絡方法，通常可以選擇一種來建模或者多種來對比校驗。通常數據挖掘的步驟為：分析問題、對數據的選擇和預處理、創建、調試數據模型、挖掘數據和維護數據挖掘模型和評估結果。下面以教育平臺數據挖掘為例，解析數據挖掘的一般步驟：

1）分析問題：明確數據庫和挖掘目的。如為了推廣優質課程，可分析教育平臺中評分高的課程，可根據課程內容分類、課件點擊率、用戶關注度、評分、評價等。

2）對數據的選擇和預處理：獲取、清洗數據，將不完整的數據去除或者修正，把數據按照一定格式來進行整合。如收集課程平臺中的評分、關注度、課件點擊率等數值，課程內容分類、評價等文本信息。針對不同格式的信息，設置白定義規則，如評價為空則不收集，評分高于某數值則收集對應的評價信息。

3）創建、調試數據模型，選擇所需的數據挖掘算法，將數據代入算法中來創建模型。再多次比對、校驗、調整中，獲得滿足需求的模型。如可以在分析軟件中對比數據，判斷模型準確性。

4）挖掘數據和維護數據挖掘模型：隨著數據量的增加，需要對模型進行調整和維護，從驗算中找到數據間的關系，并且不斷完善模型，保持模型的活力。如分析課程評分高的影響因素。

5）評估結果：根據模型和數據分析的結果，發現規律和有用的價值信息，重新整合數據信息庫。如：點擊率多、評分高且評價好的課程大多數為某一學科，可預測該學科為近期關注度較高課程。平臺可以將推薦規則設為該學科，優先給用戶推薦。

3.2數據挖掘的功能

對于不同領域來說，可以充分發揮數據挖掘的不同功能。數據挖掘有分類、估計、預測、關聯等相關功能。

1）數據分類，可以根據需求中分析對象的屬性，按照某些屬性來進行分類，并且建立不同類別組。如將教育平臺中使用者的教育程度進行分類，小學、初中、高中、大學等，挖掘出某些信息后，則可向不同教育程度的用戶，推薦對應教學層次的課程。

2）數據估計，即根據已有連續性數值的相關屬性數據，以獲取某一屬性未知的值。如在金融平臺中按照使用者的教育程度、行為來推估信用卡消費額。

3）數據預測，根據對象屬性中之前的一系列信息，來推測出該屬性值未來的變化。如：在音樂平臺中某用戶關注了某歌曲，來預測其未來可能會關注同類型的歌曲或歌手。

4）數據關聯分組，即判斷哪些相關對象應該放在一起，設計出吸引人的產品群組，且購買的概率將會大幅提升。如：在購物平臺中，一個用戶搜索了牙膏，那么在物品推薦頁面中，可以推薦牙膏和牙刷的組合。

5）數據群集，從某一特殊特征分隔出相同屬性群組，定義為某一數據群集。觀察其中數據奧秘，通過觀察數據為何被群集在一起的，可以了解數據間的關系，以及這些關系將會如何影響預測的結果。

如：使用相同品牌電腦的人群，熱愛出國旅行的人群，喜好白助餐的人群等，可以從不同人群中，分析他們的消費水平，教育程度，家庭成員人數等，找到人群數據的特征加以分析。

6）時序數據序列模式挖掘，以時間序列為主要屬性，找出該數據與時間相關的行為模式，從中分析序列因時間而發生的改變。由此進行數據挖掘，來預測未來的效果，如：預測未來的股市走向、股價的波動。

4數據挖掘的應用領域

不同行業中已經有許多平臺運用了數據挖掘技術，他們將數據挖掘結果有效地提升平臺服務品質。在互聯網中，常見的電子商務、金融、教育、音樂、醫療保健等平臺通過數據挖掘技術，把數據信息進行挖掘并且整合，再將有益數據結果融合在不同應用中[5]。數據挖掘的結果不僅來源于每一個人，也關系到個人、企業、社會未來的發展。我們需要發揮數據挖掘的社會價值，改善人們的生活，完善平臺的數據服務，最大化數據挖掘的積極作用。

每一個用戶都有和他人相同或不同的屬性，這些屬性都意味著數據的價值。數據產生的同時，也伴隨著計算機數據的產生，例如網絡中的文字信息、圖片信息、音視頻信息等。我們可以采用數據挖掘技術對網絡數據進行分析，通過細分用戶或用戶行為，挖掘出不同用戶的需求。不僅可以提供給用戶個性化的服務，還可以研發適合不同用戶的產品，來滿足當下大數據時代人們對于網絡智能化的要求。

4.1電子商務領域的應用

互聯網的普及顛覆了許多傳統的實體行業，網絡購物也成了一種時尚，中國的營銷市場取得了突破性的進展。計算機數據挖掘技術在電子商務領域的應用多數體現在用戶的喜好上。運用挖掘技術，根據個人在網絡瀏覽商品的記錄，從購物習慣推算出用戶對于商品的喜好。大多數平臺則通過這項技術，采集大量的數據進行挖掘，分析用戶群體所喜好的商品。為企業提供智能化的數據分析，優化電子商務平臺的運營投放，改善營銷手段，提升營銷服務。

此外，除了購物網絡化，電子商務平臺正為用戶打造一個完整的生態服務體系，提供用戶日常生活服務等，如出行選擇方式，訂餐外賣，節假日的出行旅游和美食口味偏好等。根據每個用戶所提供的數據來源，加以數據挖掘，為用戶提供最契合自身特性和符合私人需求的定制化服務體驗。

4.2金融領域的應用

銀行業已經深刻意識到大數據戰略對其經營管理、客戶營銷和產品優化等方面的重要作用，以及對銀行未來發展方向的深刻影響[6]。深度挖掘大數據蘊涵的巨大價值，從而推動銀行產品、服務和管理的創新。在銀行產品方面，可根據銀行產品特點，結合客戶消費習慣，計算出客戶貢獻率。例如可以查詢當前客戶使用網上銀行的頻率，將這一數據進行排名，對排名較高的客戶進行適當的廣告投放或者電話營銷，推薦相關產品。在客戶管理方面，依據客戶的資產、購買產品等情況，計算他們的內部產品貢獻率。這部分數據則可挖掘出優質客戶群體和有潛力的客戶群體。銀行則可提供針對不同客戶的差異化服務，對優質客戶交叉銷售提供支持，提高客戶的滿意度和忠誠度。

在金融投資方面，無論是股市的投資或是期貨等金融類的投資，往往獲得巨大收益的同時一定也伴隨著巨大的風險。投資者們希望通過數據分析來降低風險，實現利益最大化。數據挖掘技術恰好能對數據進行整合分析，并且進行科學的預測，某種程度上可以幫助用戶降低投資風險。

4.3教育領域的應用

大數據將傳統的課堂教學模式改變，從“小教室”到“世界大講堂”，數以萬計的課程教學內容呈現在互聯網上。網絡在線教育，點擊量達到億萬次。在網絡平臺中的知識資源里，大數據使得教育發展有著更廣闊的空間。大數據將掀起新的教育革命，每一條數據記錄了每個學習者獨有的信息。而這些數據信息蘊含著學習者的學習，反饋著課程的教學質量，影響著教師的教學，完善著教育政策制定的方式。

以往學習者的學習特征都消散于教室、白習室等地方，很多數據難以收集[7]。現在利用大數據技術，將這些數據存放在網絡上或者下載到本地，反復研究。例如在網絡上學習者點擊的某門課程頻率，停留在某部分知識內容上的時間.知識測驗的分數，學習方式的喜好等都以信息的方式呈現。通過研究群體學習的特征，看似雜亂無章的大量信息，則可利用數據挖掘技術分析其中的規律。對于教學者而言，數據挖掘技術可以通過學生的網絡行為，了解學生對知識掌握的程度，還可以規劃教學內容的重、難點，提升教案品質。除此之外，針對點擊率高且評價好的課程、教案等，挖掘出其中受歡迎的原因。在網絡上的大量學習者、教學者、學校的信息，都值得深度挖掘。一方面，通過數據挖掘，我們還能發現一些重要信息，利用學生反饋的信息，來改善學生的成績，為他們提供個性化的服務。另一方面，通過分析課程資料數據、教案數據、學生行為數據、課程反饋等，挖掘數據的結果有助于教學質量，教學者們不僅可以互相分享，還能夠教學溝通，優選出精品課程，提升教師整體素質。

4.4音樂領域的應用

近年來網絡上的音頻、視頻劇增，海量的音樂數據依托于網絡平臺。大眾獲取音樂信息的模式逐漸網絡化，通常在網絡平臺收聽音樂、查詢音樂動態等。音樂網絡平臺不僅迅速整合了多文化、多形式的音樂資源，還將受眾用戶的喜好和想法進行信息反饋[8]。對于各大音樂平臺來說，音樂資源量和用戶體驗度是平臺優勢的重要指標。通過對音樂數據的挖掘，一方面可以分析出當下流行的音樂資源，將其收錄到平臺，提升資源量。另一方面，結合用戶的聽歌數據等反饋信息，研發出人性化的推薦功能，如某平臺的推薦相似歌曲、相似藝人等功能，大幅度提升用戶體驗。音樂數據挖掘有不同的方式，可以根據用戶的基本信息、收聽記錄中的歌曲、歌曲曲風信息、藝人信息來尋找潛在聯系，進行多維度關聯挖掘。例如根據用戶收聽過某些歌曲，分析這類歌曲的曲風，將屬于同類曲風的其他相似歌曲推薦給用戶。也可以根據用戶所關注的藝人信息，推送相關專輯、演唱會等。

另外，音樂的關注度意味著作品的熱度。音樂人伴隨著其高熱度的作品，可獲取相應互聯網“流量”，即明星效應，能夠給個人和經紀公司帶來經濟收益。其音樂的衍生品，例如演唱會門票、藝人專輯等。由此可見，用戶所關注的信息非常重要，若將這些數據進行深度挖掘，例如把當下熱門藝人、最流行專輯等數據結果提供給音樂廠商，則可以輔助音樂衍生品的精準營銷，開拓音樂的商務市場[9]。

4.5醫學領域的應用

隨著醫療信息化的普及，醫院管理逐步現代化。如今醫院系統中將病人檔案資料、醫療器具的管理、藥品等方面的數據都錄入系統，通過這些數據如診患者結構、就診時間等加以整合挖掘[10]，數據報告則具有指導作用，如某科室的診斷時間過長，可以適當調整;患者服用的長期藥品在某段時間有效等，能夠幫助患者康復和使得醫院服務質量提升。

在醫療工作中，工作者的診斷方式同樣發生著改變。傳統研究模式是利用白身經驗診斷，而在大數據時代，人類疾病方面所蘊含的數據信息可以進行查閱。如果只是依靠白身經驗診斷，說服力較弱。如今，工作者可以通過數據挖掘技術將患者的病史、出現的臨床癥狀、相似患者的病史等多方面的數據，通過對數據庫中信息進行綜合研究。不僅可以挖掘出有意義的診斷規則，輔助疾病診斷，提高醫生的診療效率，緩解醫患矛盾，還可以切實對患者的疾病進行預警，推薦治療措施。

5結束語

綜上所述，跟隨著信息化的腳步，我們已經正式步人了大數據時代。在信息日益漸增的情況下，通過數據挖掘技術來推進網絡信息數據的處理是十分必要的。本文從數據挖掘技術的研究人手，結合不同領域的特點，剖析了數據挖掘技術在不同網絡平臺中的應用。人們使用數據挖掘技術，通過從海量數據中挖掘出有利于不同領域發展的數據，達到改善社會治理、提高數據平臺使用率的效果，并運用于各個領域。我們可以發揮數據挖掘的社會價值，改善人們的生活，完善平臺的數據服務，最大化數據挖掘的積極作用。

參考文獻：

[1]閆偉偉.基于數據挖掘的數字出版CRM應用研究[D].西安工業大學，2018.

[2]李小慶.大數據挖掘在銀行業務領域的應用[J].金融科技時代，2017（5）：15-19.

[3]何光凝.數據挖掘在計算機網絡安全領域的應用研究[J].技術與市場，2016，23（8）：13+15.

[4]王妤姝.基于大數據的數據挖掘技術與應用[J].數字技術與應用，2016（4）：115.

[5]劉政宇.大數據分析挖掘技術及其決策應用研究[J].科學技術創新，2019（23）：84-85.

[6]于海波.數據挖掘在銀行客戶關系管理中的應用研究[D].合肥工業大學，2 010.

[7]阿里研究院.互聯網+從IT到DT[M].機械工業出版社，2015.

[8]呂倩倩.基于機器學習的音樂流行趨勢預測[D].蘭州大學，2017.

[9]邢白夕.情感驅動的音樂數據挖掘及檢索[D].浙江大學，2013.

[10]任芳，劉碩.數據挖掘技術在醫學信息中的廣泛應用[J].中國多媒體與網絡教學學報（上旬刊），2019（6）：9-10.

【通聯編輯：王力】

收稿日期：2019-10-03

作者簡介：吳琛（1992-），女，碩士，主要研究方向為計算機技術，互聯網技術。