劉喆
本文首先對(duì)數(shù)據(jù)挖掘的現(xiàn)狀以及發(fā)展方向作出了整體的概括,接下來(lái)對(duì)數(shù)據(jù)挖掘在電力系統(tǒng),醫(yī)學(xué)領(lǐng)域,商業(yè)領(lǐng)域以及軍事領(lǐng)域上分別進(jìn)行了闡述。
數(shù)據(jù)挖掘的現(xiàn)狀及發(fā)展方向:
在現(xiàn)階段,基于數(shù)據(jù)挖掘的算法已經(jīng)被學(xué)術(shù)界所接受,并在實(shí)際中得到了大量的應(yīng)用。從本質(zhì)上講,數(shù)據(jù)挖掘?qū)嶋H上就是從海量的數(shù)據(jù)(結(jié)構(gòu)化與非結(jié)構(gòu)化)上挖掘到的實(shí)現(xiàn)不為人知的、隱含在數(shù)據(jù)中的潛在的信息。挖掘出來(lái)的信息具有很大的價(jià)值,可能是用戶(hù)具有用戶(hù)感興趣的、可理解、可使用的、可以為我們帶來(lái)收益的,對(duì)科學(xué)研究具有巨大導(dǎo)向的。數(shù)據(jù)挖掘過(guò)程的流程主要有數(shù)據(jù)準(zhǔn)備(數(shù)據(jù)的提取,數(shù)據(jù)的轉(zhuǎn)換,數(shù)據(jù)的加工,數(shù)據(jù)的預(yù)處理),數(shù)據(jù)挖掘,解釋與評(píng)估。數(shù)據(jù)挖掘?qū)?shù)據(jù)中的各種特征下的信息直觀的呈現(xiàn)出來(lái)。
數(shù)據(jù)挖掘的功能及存在的問(wèn)題:
數(shù)據(jù)挖掘的功能大體分為兩個(gè)部分,第一部分是通過(guò)分析海量數(shù)據(jù)在不同屬性不同維度下表現(xiàn)出的對(duì)象特征,對(duì)象的特征以及對(duì)象間的相關(guān)性來(lái)劃分不同類(lèi)別進(jìn)行事物的描述,對(duì)內(nèi)在的關(guān)系進(jìn)行分析及總結(jié)。第二部分為關(guān)聯(lián)是某種事物與另一種事物很有可能同時(shí)發(fā)生,或者一種事物發(fā)生后另外一種事物很可能會(huì)連帶著發(fā)生。對(duì)數(shù)據(jù)中蘊(yùn)含的規(guī)律進(jìn)行分析及把握并預(yù)測(cè)未來(lái)的發(fā)展動(dòng)態(tài)針對(duì)未來(lái)的發(fā)展趨勢(shì),采取相應(yīng)的措施。并對(duì)極少數(shù)的,特殊的對(duì)象進(jìn)行重點(diǎn)分析,挖掘出內(nèi)在的關(guān)系,提取出有價(jià)值的信息。
1 數(shù)據(jù)挖掘在電力系統(tǒng)中的應(yīng)用
數(shù)據(jù)挖掘運(yùn)用到電力系統(tǒng)中主要有以下幾個(gè)方面的任務(wù):
從電力系統(tǒng)的運(yùn)行調(diào)動(dòng)方面,調(diào)度運(yùn)行部門(mén)是電力系統(tǒng)穩(wěn)健,高效運(yùn)行的重點(diǎn)保障。它對(duì)系統(tǒng)中反饋而來(lái)的信息進(jìn)行分析及處理,在這個(gè)步驟下,數(shù)據(jù)挖掘起著重要的推動(dòng)作用,利用數(shù)據(jù)挖掘分析出來(lái)的內(nèi)在規(guī)律做出相應(yīng)的決策。在保障系統(tǒng)穩(wěn)健安全運(yùn)行的前提下,考慮各種經(jīng)濟(jì)問(wèn)題的同時(shí)例如對(duì)電價(jià)如何進(jìn)行合理的制定等。
在決策支持和控制方面,在電力系統(tǒng)發(fā)生故障時(shí),調(diào)度員可以通過(guò)保護(hù)裝置的動(dòng)作信息判斷出具體的故障原因以及具體的故障位置。為避免大量的經(jīng)濟(jì)損失要求在極端時(shí)間內(nèi)解決問(wèn)題。然而面對(duì)系統(tǒng)中的海量數(shù)據(jù),傳統(tǒng)的靠專(zhuān)家的經(jīng)驗(yàn)已經(jīng)無(wú)法適應(yīng)今天的情況,面對(duì)海量的數(shù)據(jù),數(shù)據(jù)挖掘方法能去除無(wú)關(guān)的屬性,獲得復(fù)雜數(shù)據(jù)下的規(guī)律,并對(duì)故障特征進(jìn)行提取,幫助調(diào)度員判斷電力系統(tǒng)的狀態(tài)以及選擇處理故障問(wèn)題的方法。
在電力系統(tǒng)的不良數(shù)據(jù)辨識(shí)方面,現(xiàn)在這一階段對(duì)電力系統(tǒng)數(shù)據(jù)的可靠性要求越來(lái)越高。
對(duì)于不良數(shù)據(jù)辨識(shí)就是想找出由于種種原因產(chǎn)生的少量不良數(shù)據(jù),從而避免不良數(shù)據(jù)對(duì)系統(tǒng)的軟件環(huán)境性能產(chǎn)生影響。然而在辨識(shí)不良數(shù)據(jù)的過(guò)程中,傳統(tǒng)方法很可能造成誤檢或漏檢,然而通過(guò)數(shù)據(jù)挖掘中的神經(jīng)網(wǎng)絡(luò),聚類(lèi)以及關(guān)聯(lián)規(guī)則等算法就能更加快速而且準(zhǔn)確的達(dá)到對(duì)不良數(shù)據(jù)辨識(shí)的目的。
在電力系統(tǒng)的建模方面,整個(gè)電力系統(tǒng)的實(shí)時(shí)性決策是以電力系統(tǒng)模型為基礎(chǔ),因?yàn)殡娏ο到y(tǒng)的高復(fù)雜度,采用傳統(tǒng)的動(dòng)力學(xué)模型進(jìn)行具體應(yīng)用非常困難,而數(shù)據(jù)挖掘技術(shù)不受對(duì)象模型的復(fù)雜度控制,對(duì)其數(shù)據(jù)進(jìn)行分析,總結(jié)出電力系統(tǒng)數(shù)據(jù)模式的內(nèi)在規(guī)律。
2 數(shù)據(jù)挖掘在醫(yī)學(xué)領(lǐng)域上的應(yīng)用
在很早以前,數(shù)據(jù)挖掘技術(shù)就被應(yīng)用到醫(yī)學(xué)領(lǐng)域上,并因此形成了“專(zhuān)家系統(tǒng)”。專(zhuān)家系統(tǒng)的功能為對(duì)醫(yī)學(xué)領(lǐng)域上的專(zhuān)家的個(gè)人經(jīng)驗(yàn)與她們自身的知識(shí)積累利用數(shù)據(jù)挖掘技術(shù)進(jìn)行計(jì)算機(jī)語(yǔ)言方面的描述,從而實(shí)現(xiàn)對(duì)醫(yī)學(xué)領(lǐng)域方面問(wèn)題的處理。隨著時(shí)間的發(fā)展,從不同疾病的類(lèi)型出發(fā),利用從不同疾病患者中收集到的病歷信息,將其轉(zhuǎn)化為數(shù)據(jù)挖掘技術(shù)所需要的數(shù)據(jù)集,通過(guò)分析數(shù)據(jù)中隱藏著的潛在信息來(lái)對(duì)實(shí)現(xiàn)對(duì)體檢人員相應(yīng)病情的風(fēng)險(xiǎn)評(píng)估,進(jìn)行相應(yīng)的提醒。
3 在商業(yè)領(lǐng)域的應(yīng)用
數(shù)據(jù)挖掘在商業(yè)以及金融上的應(yīng)用較為明顯,甚至滲透于商業(yè)以及金融領(lǐng)域的方方面面。從商業(yè)上講,通過(guò)收集顧客對(duì)各種商品的購(gòu)買(mǎi)情況的數(shù)據(jù)來(lái)構(gòu)成有分析價(jià)值的數(shù)據(jù)庫(kù)。利用關(guān)聯(lián)規(guī)則分析算法來(lái)對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)進(jìn)行挖掘,并對(duì)顧客的購(gòu)買(mǎi)習(xí)慣進(jìn)行總結(jié)。挖掘出一系列的購(gòu)買(mǎi)規(guī)律,從而調(diào)整商品在商店的擺放以及商業(yè)廣告中商品的搭配等,從而達(dá)到最大的獲利。并且在電子商務(wù)上,數(shù)據(jù)挖掘可以使商家更加了解客戶(hù)的需求,為客戶(hù)提供更加個(gè)性化的服務(wù),從而保留個(gè)數(shù)增加商品的銷(xiāo)售額。從金融上講,對(duì)股市中的數(shù)據(jù)的變化趨勢(shì)進(jìn)行總結(jié),再用關(guān)聯(lián)規(guī)則,卷積神經(jīng)網(wǎng)絡(luò)等方法對(duì)股市中接下來(lái)的運(yùn)行趨勢(shì)進(jìn)行預(yù)測(cè)。從而對(duì)針對(duì)股市的漲幅等情況來(lái)調(diào)整利率,從而避免經(jīng)濟(jì)損失,達(dá)到盈利的目的。
4 在軍事領(lǐng)域上的應(yīng)用
由于大數(shù)據(jù)時(shí)代的來(lái)臨,決策的思維和方法產(chǎn)生了變革。傳統(tǒng)戰(zhàn)爭(zhēng)下的決策缺少數(shù)據(jù)的支持,并且數(shù)據(jù)的準(zhǔn)確性很難達(dá)到保障,一般靠經(jīng)驗(yàn)在戰(zhàn)爭(zhēng)中進(jìn)行決策。然而現(xiàn)階段的戰(zhàn)爭(zhēng)下,可以利用海量與戰(zhàn)爭(zhēng)相關(guān)的數(shù)據(jù),這就要求指揮者有全新的數(shù)據(jù)思維,并結(jié)合統(tǒng)計(jì)學(xué)家與數(shù)據(jù)挖掘研究人員,找出數(shù)據(jù)中隱含的信息,不受舊思想的束縛,達(dá)到最大的作戰(zhàn)效益。例如,可以用深度學(xué)習(xí)的方法結(jié)果衛(wèi)星對(duì)敵方地理位置達(dá)到精準(zhǔn)的還原,通過(guò)計(jì)算機(jī)高速的計(jì)算能力使指揮者更快做出決策,也可以分析敵方以往的作戰(zhàn)數(shù)據(jù),對(duì)其作戰(zhàn)規(guī)律進(jìn)行總結(jié),并對(duì)其下一步的行動(dòng)做出較為精準(zhǔn)的預(yù)測(cè),并且對(duì)于自己大量的作戰(zhàn)資源與戰(zhàn)士們的人員通過(guò)數(shù)據(jù)挖掘的方法進(jìn)行合理的分配,最終達(dá)到作戰(zhàn)能力的最大化。
(作者單位:東北大學(xué)秦皇島分校)