王和源,劉學誠(通訊作者)
(泰山學院數學與統計學院 山東 泰安 271021)
隨著互聯網的飛速發展,互聯網領域中技術的新老交替快速進行著。大數據就是新時代的產物之一,當下是信息爆炸的時代,各種數據源源不斷地從不同的數據源中迸發而出。大數據主要是由網絡交易、電子郵件、各種傳感器、視頻、音頻以及其他可獲得的數字資源所產生海量的、多樣的、復雜的、縱向或分布式數據集,其最突出的特點就是這些數據集是從各種數據源不斷收集而來的。預估在2025年,中國數據量將達到48.6 ZB。因為大數據所涉及的數據量巨大,并且由于它的復雜性和多樣性等性質,龐大的數據集中蘊含著巨大的商業價值。大數據技術的功能就是利用互聯網技術和工具提取這些數據集里有用的信息[1]。
大數據是一種先進的采用分布式計算的計算機技術,它包括機器學習、云計算、數據庫等多種技術種類,能將有價值的信息從海量的數據中發掘處理,從而科學化、規范化人們的決策[2]。大數據當前已經在許多領域中得到廣泛應用,比如在電子政務、電商網站、金融銀行、通信運營等領域,各種類型的行業大數據平臺被構建了起來,例如阿里巴巴大數據平臺、電子政務大數據平臺、華為大數據平臺等,以集中化管理各行各業的數據。大數據在應用的過程中還引用了先進的安全防御技術。在大數據的實際應用過程中,有些不法分子總會蓄意地制造一些虛假數據來營造一些假象,從而引導他人給出有利于這些不法分子的不良結論,因此大數據在處理過程中還需要引入先進的識別和安全防御技術以保證大數據的可靠性、真實性和完整性。圖1為大數據技術在部分領域的應用圖。

圖1 大數據技術的部分應用
在電子商務領域,“618”和“雙十一”等一系列購物節為各大電商企業帶來了巨大的收益。在這巨大的收益背后,大數據技術起著關鍵的作用,正確并充分利用大數據技術的企業是適應時代的發展的一種表現。
大數據技術在電商領域的應用相對于其在其他領域的應用相對較早,這種應用在我們的日常生活中也非常常見。我們在瀏覽各大電商平臺的APP進行網上購物時,APP會自動為我們推薦我們可能需要的各種商品,因為電商平臺利用大數據通過采集消費者的習慣和偏好、消費趨勢、區域消費特征等相關數據,實現了在精準銷售、物流管理和物料生產管理方面質的飛躍。例如美國企業eBay,其不僅記錄消費者的日常交易信息,還記錄消費者每一次探索瀏覽器的過程,從其設定的成百上千種情景模型中計算出用戶可能的需求。在智能機器人的學習和分析下,適時地推送給用戶最想要的商品,或者給商家(供應商)提供各式各樣的“情報”,還能向商家提供銷售建議。
當下,互聯網的應用變得越來越廣。隨著計算機網絡的普及,在各行各業中,信息檢索系統發揮著非常重要的作用。隨著當下互聯網信息檢索功能的日漸強大,人們查找信息的方式也被改變著,查找信息的時間也被逐漸縮短,從而加快了科研工作的進程,為科研創新提供了很大幫助。但是,在當下大數據的時代中,隨著信息數據資源的劇增,當下對信息檢索技術提出了更高的要求,信息整合分析能力和信息的檢索服務方式也需要適應大數據時代的要求,許多傳統的信息檢索系統也受到了沖擊和挑戰。許多門戶網站和電子商務平臺等都具備信息檢索功能,例如百度、360搜索、谷歌等,它們是專業的搜索平臺;知網、萬方數據庫和微博、快手等都具備行業領域內的信息檢索,這需要構建一個強大的搜索引擎來滿足巨量的搜索需求,需要引入先進的機器學習技術或者數據挖掘技術,從而使用戶所搜索的信息能夠被精準地分類和定位。
搜索引擎數據挖掘目前引入了很多先進技術,例如神經網絡技術、貝葉斯分類技術和支持向量機技術等,這些先進技術使得門戶網站的搜索精準程度得到提升,用戶的體驗效果得到增強和提高。例如,微博平臺提供了一個人工智能搜索引擎,該引擎基于卷積神經網絡,可以將用戶瀏覽量或點擊量相對較多的信息標注為頭條信息,也可以將其標注為熱點信息并實時展示信息的熱度。
大數據為影視制作思路和營銷模式等帶來了變革。隨著互聯網的發展,人們娛樂休閑的方式逐漸改變。以前,人們主要在電視上觀看電影或電視劇,隨著當下各種影視軟件的層出不窮,人們收看影音視頻的平臺逐漸轉移到了平板電腦、手機或其他移動設備上。面對這種轉變,互聯網對數據分析的優勢就顯現了出來。數據挖掘已經為影視行業的多種工作提供了更為科學嚴謹的決策依據。數據資料的再次發現與利用及大數據時代中的數據挖掘,正為影視行業帶來一場前所未有的大變革。
在網絡上,網絡視頻觀眾的每一次點擊、搜索、評價等能衡量影視作品好與壞的各種數據參數都會被記錄下來。電視劇受眾的所有行為完全可以數據化[3]。當下,社交媒體無處不在,影視作品的受眾可以非常容易地在社交媒體上發布各種信息。由于當下互聯網觀影已成一種非常普遍的觀影方式,因此將所有受眾的有用信息完全數據化會形成一個非常龐大的并且非常具有價值的數據集。網絡視頻提供商、電視劇制作方可以對這些數據進行數據挖掘分析,繼而有針對性地制作影視節目。影視劇的制作通過數據挖掘創作者、作品與受眾之間的內在關聯以迎合觀眾的喜好,這說明勾勒“受眾畫像”是大數據服務影視生產的核心價值。
在其他領域,大數據也有很廣泛的應用,在社交網絡、保險行業、能源行業、汽車制造等很多領域都能看見大數據的身影。隨著大數據技術的不斷發展,各個領域對信息數據的需求逐漸增加,這也為通信運營商們帶來了新的商機。當下,我國運營商主要掌握的信息數據包括用戶的指令信息和用戶的位置信息,基于這些數據信息構建完備的大數據分析平臺,可以使通信的質量得到提升。戶籍大數據可以輕松挖掘出復雜的人際關系,為刑偵提供很大幫助;交通大數據可以給出道路的擁堵情況等信息,使得交通警察知道每輛車的運行軌跡;氣象大數據通過構建大氣運動規律評估模型和氣象變化關聯性分析等路徑,準確地預測氣象變化,尋找最佳的解決方案,規劃應急救災工作。
大數據具有較強的行業領域應用需求驅動特性,大數據所處理的問題一般會來自某一具體的行業領域,所以在數據挖掘的過程中,必須與行業的實際應用背景和需求緊密結合,才可以優化信息處理的深層價值和時效性。因此,智能化是未來計算機的重要發展方向之一,未來計算機的存儲速度和存儲密度會得到持續的提升,在未來的信息化建設中,通過大數據與計算機的融合代替人的思維活動,減少人的腦力勞動,使得生產和生活更具效率。隨著互聯網的飛速發展,人們的生活變得更加便捷,電視、洗衣機、冰箱等日用家電越來越趨向于智能化和自動化,這得益于大數據和人工智能的緊密結合[4]。當今工廠的生產過程同樣也趨向于自動化和智能化。例如,小米集團研發的小愛同學以及各種具備語音識別功能的機器都是大數據和人工智能結合后所誕生的產品。又比如,在某些公共場所出現可以同人類對話并幫助人類運送物資的機器人也是大數據的結晶。
計算機可以進行數值和邏輯計算,同時還具有存儲的功能,可以精準高速地分析處理數據。大數據海量資源與計算機應用技術的融合,既增強了信息的共享,同時也提供了大量更具有深層價值的信息,但由于大數據與一般數據的不同,傳統的計算方法已經無法滿足大數據所需要的運算速度。計算機的微型化,會更加有利于日常的工作并提高工作效率。與從一開始一臺計算機需要占用幾間屋子的空間,到現在的臺式電腦和筆記本電腦,計算機所占的空間越來越小,然而計算機的運行速度卻逐代劇增,計算機的性能也逐代優化,未來世界的總數據量將越來越大,所需處理的問題越來越復雜,計算機技術所涉及的領域越來越廣泛,相信在未來,計算機可以做到只占一拳大小的空間,性能比當下的計算機快數倍,甚至可以出現隱形計算機[5]。海量數據的處理也變得得心應手。
大數據處理技術綜合性、交叉性強,相較于以往有限的數據樣本,大數據環境下,龐大海量數據的處理性能問題變得非常突出,涉及計算機獲取數據、管理數據、處理數據、分析數據、應用數據等眾多方面的綜合性技術。為了使計算機技術和大數據相互融合,需要完整、綜合的大數據處理應用系統,大規模的硬件資源、分布式存儲管理等,對數據進行深入地計算、挖掘、分析,所以計算機巨型化是一個必然的發展趨勢。巨型化是指要讓計算機擁有更大的存儲容量、更強的運算功能、更快的運算速度,從而可以更快、更高、更強地處理數據。當前大數據在各個領域中有著廣泛的應用,龐大的數據資源已經成為國家的戰略資源,是下一個促進生產、創新、競爭新信息的技術時代。所以,未來需要加強計算機技術的研發力度,研究出與當下及未來大數據運算相匹配的巨型化計算機應用設備,使得計算機內部具備多樣化功能、高速度運算、大存儲容量的處理特點。
在大數據時代中,大數據技術為我們帶來了許多便利,我們應正確認識到大數據應用的重要性,充分將大數據有機地運用于各行各業。宏觀層面上,經濟決策部門可以利用大數據更加精準地把握經濟走向,從而制定科學嚴謹的政策。微觀層面上,企業可以利用大數據技術提高其決策的水平和效率,從而給企業、行業領域帶來經濟效益。同時認識到計算機改革的必要性,加大對計算機技術的研究和資金力量的投入,大力研發新型計算機,努力提高計算機的性能,以適應現代社會對計算機硬件與軟件要求不斷升高的趨勢。