數(shù)據(jù)挖掘中如何優(yōu)化建模的研究

摘 要：任何一個(gè)數(shù)據(jù)挖掘模型都是針對(duì)一個(gè)特定業(yè)務(wù)需求的，圍繞著一個(gè)具體的業(yè)務(wù)需求，數(shù)據(jù)挖掘模型總是可以有辦法不斷完善、不斷提升，即提升精確度、提升轉(zhuǎn)化率等。這里自然就出現(xiàn)了一個(gè)問題，模型應(yīng)該怎么優(yōu)化，要優(yōu)化到什么程度才算可以？這是數(shù)據(jù)挖掘商業(yè)實(shí)踐中經(jīng)常碰到的問題。

關(guān)鍵詞：數(shù)據(jù)挖掘；優(yōu)化；建模

1 數(shù)據(jù)挖掘模型的優(yōu)化要遵循有效、適度原則

既然任何一個(gè)數(shù)據(jù)挖掘模型都是針對(duì)一個(gè)特定業(yè)務(wù)需求的，那么評(píng)價(jià)模型是否合格的一個(gè)原則性標(biāo)準(zhǔn)就是模型的結(jié)論或應(yīng)用效果是否滿足當(dāng)初的業(yè)務(wù)需求，即有效的原則。雖然這個(gè)原則的表述聽上去比較虛，但是具體到業(yè)務(wù)實(shí)踐和具體的分析需求中，一般都是有一系列具體、明確、可量化的指標(biāo)和尺度的。比如，一個(gè)某付費(fèi)產(chǎn)品的續(xù)費(fèi)客戶預(yù)測(cè)模型的建模需求，必然要求所構(gòu)建的預(yù)測(cè)模型能有效鎖定最可能續(xù)費(fèi)的用戶群體，從而可以提升續(xù)費(fèi)轉(zhuǎn)化率，是相對(duì)于不做客戶細(xì)分時(shí)的總體續(xù)費(fèi)轉(zhuǎn)化率來說的，即原始轉(zhuǎn)化率，或者稱為隨機(jī)轉(zhuǎn)化率，最起碼在對(duì)最終模型進(jìn)行驗(yàn)證后，確實(shí)可以得出模型挑選出的優(yōu)質(zhì)群體的續(xù)費(fèi)轉(zhuǎn)化率顯著高于隨機(jī)轉(zhuǎn)化率這樣的結(jié)論，這時(shí)才可以稱為有效。

一旦模型滿足了有效的標(biāo)準(zhǔn)，是否還要繼續(xù)優(yōu)化呢？此時(shí)要考慮第二個(gè)原則，即適度的原則。所謂適度，是說此時(shí)模型還是可以繼續(xù)投入資源、投入精力去持續(xù)優(yōu)化的，即繼續(xù)不斷提升模型的精度和轉(zhuǎn)化率等，但是必須要考慮投入產(chǎn)出之間的性價(jià)比是否合適，是否適度。如果花了很大的力氣，投入了很多的資源，但是模型的提升不明顯，即模型優(yōu)化的投入與產(chǎn)出相比得不償失，那么就違反了適度的原則；如果花了較少的力氣，增加了不多得資源，但模型的提升很明顯，很顯著，那么可以認(rèn)為這種持續(xù)性的優(yōu)化是適度的，是具有較好性價(jià)比的。

2 如何有效地優(yōu)化模型

2.1 從業(yè)務(wù)思路上優(yōu)化模型式最重要的模型優(yōu)化措施

這個(gè)也是很多數(shù)據(jù)分析師在嘗試模型優(yōu)化時(shí)最容易忽視或者根本沒有想過的方法。很多時(shí)候，這個(gè)思路和方法對(duì)于模型效用的提升是根本性的，是源頭上的突破，因而常常更有效。之所以說它常常有效果，主要是因?yàn)榻?jīng)過前期的數(shù)據(jù)熟悉、分析和初步建模之后，我們對(duì)數(shù)據(jù)邏輯之間的關(guān)系更加敏銳了，而且對(duì)于需求目標(biāo)的認(rèn)識(shí)更加深刻了，并且前期建模過程中常常會(huì)有一些新的關(guān)聯(lián)和聯(lián)想給我們提供了新的、更加貼切的靈感，所有這些因素形成合力，拓寬了我們的業(yè)務(wù)思路，加強(qiáng)了我們的業(yè)務(wù)洞察力，換個(gè)角度看問題，又是一幅新的風(fēng)景，通過這種方式常常可以輕松優(yōu)化、提升模型。

從業(yè)務(wù)思路上優(yōu)化主要可以從以下幾個(gè)層面進(jìn)行考慮：（1）有沒有更加明顯且直觀的規(guī)則、指標(biāo)可以代替復(fù)雜的建模？通過對(duì)這些直觀的假設(shè)進(jìn)行驗(yàn)證、思考并增添相關(guān)的新衍生變量，有時(shí)可以有效的優(yōu)化模型。（2）有沒有一些明顯的業(yè)務(wù)邏輯（業(yè)務(wù)假設(shè)）在前期的建模階段被疏忽了呢？比如要建立一個(gè)類似于“競(jìng)價(jià)排名”業(yè)務(wù)的續(xù)費(fèi)用戶預(yù)測(cè)模型，那么除了直接從數(shù)據(jù)倉庫中提取相關(guān)字段、數(shù)據(jù)之外，是否考慮了用戶提前充值的行為很可能跟其當(dāng)前賬戶的余額有關(guān)系，或者跟其最近月均消耗金額與余額的比例有關(guān)？這些深入的思考可以讓我們?cè)鎏硪恍┭苌淖兞俊⒆侄危@些衍生的變量常常能給模型帶來明顯的效果提升。（3）通過前期的初步建模和數(shù)據(jù)熟悉，是否有新的發(fā)現(xiàn)，甚至能顛覆之前的業(yè)務(wù)推測(cè)或業(yè)務(wù)直覺呢？如果有，適時(shí)調(diào)整新的分析思路，常常就會(huì)有明顯的模型效果提升作用。比如，起初我們會(huì)猜想有佛教信仰的人應(yīng)該是寺廟收入的主流目標(biāo)群體，其承擔(dān)了寺廟大多數(shù)門票和捐款收入，但是仔細(xì)觀測(cè)數(shù)據(jù)我們會(huì)發(fā)現(xiàn)其實(shí)在現(xiàn)實(shí)生活中不一定信仰佛教，但是一定有愿望祈求佛菩薩保佑，即保佑發(fā)財(cái)、保佑升官、保佑平安等的香客才是寺廟收入真正的主流目標(biāo)群體。這種觀察直接顛覆了之前的猜想，如果要為某寺廟尋找收入提升的方式，那么修改原先的目標(biāo)群體，重新定位那些祈求佛菩薩保佑的信眾，宣傳有求必應(yīng)的靈驗(yàn)性，或許是提升收入的重要策略。針對(duì)這個(gè)新的目標(biāo)群體構(gòu)建的數(shù)據(jù)模型，理論上來說其效果會(huì)明顯的提升。（4）目標(biāo)變量的定義是否穩(wěn)定，要在不同的時(shí)間點(diǎn)抽樣驗(yàn)證。如果不穩(wěn)定，通常應(yīng)該考慮一個(gè)更加合適的相關(guān)的穩(wěn)定的變量作為目標(biāo)，并重新建模。通過與業(yè)務(wù)需求方的頭腦風(fēng)暴，可以發(fā)掘出新的想法和思路，從更多的角度、更多的層次考慮業(yè)務(wù)邏輯，從而更全面地增加衍生字段。對(duì)于數(shù)據(jù)分析師來說，不僅自己要多視角、多層次考慮業(yè)務(wù)邏輯，更重要的是要與業(yè)務(wù)團(tuán)隊(duì)充分溝通、共同探討，在大家的思維碰撞中發(fā)現(xiàn)新的火花。

2.2 從建模的技術(shù)思路上優(yōu)化

從建模的技術(shù)思路上優(yōu)化是指在建模的總體技術(shù)思路、總體技術(shù)方向上進(jìn)行比較、權(quán)衡。建模的總體技術(shù)思路包括不同的建模算法、不同的抽樣方法、有沒有必要通過細(xì)分群體來分別建模等。一般來講，不同的建模算法針對(duì)不同的具體業(yè)務(wù)場(chǎng)景會(huì)有不同的表現(xiàn)，沒有哪種算法可以永遠(yuǎn)優(yōu)越于其他算法，所以數(shù)據(jù)分析師在具體的業(yè)務(wù)項(xiàng)目實(shí)踐中應(yīng)該多嘗試不同的建模算法，從中比較、權(quán)衡，擇優(yōu)而用。這里的建模算法是廣義上的，包括基本的統(tǒng)計(jì)分析技術(shù)，只要是可以解決業(yè)務(wù)問題的，都是我們的候選算法。而對(duì)于不同建模算法的比較，既包括了預(yù)測(cè)響應(yīng)模型思路里不同算法的比較，如綜合考慮邏輯回歸算法、決策樹算法、神經(jīng)網(wǎng)絡(luò)算法、支持向量機(jī)算法等，又有廣義上的算法比較，比如，在A產(chǎn)品付費(fèi)用戶特征分析項(xiàng)目中，實(shí)際上有至少三種完全不同的技術(shù)思路可以應(yīng)用，包括基本的統(tǒng)計(jì)分析方法，如找出有統(tǒng)計(jì)差異顯著的特征字段及組合、常規(guī)的聚類分析方法，如對(duì)付費(fèi)用戶群體進(jìn)行幾個(gè)重要業(yè)務(wù)變量的聚類劃分，以及預(yù)測(cè)項(xiàng)目模型的思路，它不僅可以找出特征字段，還可以有效預(yù)測(cè)潛在的最可能付費(fèi)的目標(biāo)人群。很明顯，三種不同的思路有更多不同的算法可以嘗試，究竟哪種思路和算法最適合本項(xiàng)目，要權(quán)衡的因素很多，包括項(xiàng)目的資源是否充足、現(xiàn)有數(shù)據(jù)的完整情況、項(xiàng)目的實(shí)踐節(jié)點(diǎn)、模型精度要求等，但是從模型優(yōu)化的角度來考慮，對(duì)不同的算法多嘗試、多比較，是數(shù)據(jù)挖掘常用的一種優(yōu)化思路。

2.3 從建模的技術(shù)技巧上優(yōu)化

在建模過程中，業(yè)務(wù)思路上的優(yōu)化比建模技術(shù)思路上的優(yōu)化更重要，而建模技術(shù)思路上的優(yōu)化又比單純的建模技巧的優(yōu)化更重要。在數(shù)據(jù)挖掘過程中，很多人總是非常熱衷于對(duì)技巧的掌握和應(yīng)用，殊不知在真正成功的數(shù)據(jù)挖掘應(yīng)用中這些建模最多只是“術(shù)”層面上的，而所謂“術(shù)”更多的是“錦上添花”而不能是“雪中送炭”。與之相對(duì)應(yīng)的是，思路上的優(yōu)化，尤其是業(yè)務(wù)思路上的優(yōu)化才是真正“道”層面上的，是方向性的，是可以產(chǎn)生質(zhì)變的因素和條件，所以它是可以解決根本性問題的，是最有可能顯著提升模型效果的。既然建模技巧更多起到的是“錦上添花”的作用，這倒也很符合模型優(yōu)化的初衷，如果業(yè)務(wù)思路正確了，建模技術(shù)正確了，再加上這些建模技巧，的確是可以有效優(yōu)化和提升模型質(zhì)量的。

3 總結(jié)與展望

對(duì)于完成優(yōu)化的模型來說，對(duì)其的評(píng)估主要是從兩個(gè)方面來進(jìn)行考慮的，一方面就是模型精度、準(zhǔn)確度、效果、效率等；另一方面就是對(duì)模型穩(wěn)定性的評(píng)估。一個(gè)模型無論多么準(zhǔn)確，多么有效，如果其表現(xiàn)不穩(wěn)定，也是無法投入業(yè)務(wù)落地應(yīng)用的。一個(gè)模型搭建完成后，即使它在訓(xùn)練集合驗(yàn)證集的表現(xiàn)都令人滿意，也不能說現(xiàn)在這個(gè)模型就可以投入業(yè)務(wù)應(yīng)用了，如果條件許可，最好用幾個(gè)不同時(shí)間窗口的數(shù)據(jù)分別進(jìn)行觀察比較，多比較、多測(cè)試才有說服力。

參考文獻(xiàn)

[1]丁立言，等.供應(yīng)鏈管理實(shí)用建模方法及數(shù)據(jù)挖掘[M].北京：清華大學(xué)出版社，2001，9.

[2]羅印升，李人厚，梅時(shí)春.復(fù)雜工業(yè)過程中數(shù)據(jù)挖掘模型研究[J].信息與控制，2003，32（1）：32-35.

[3]楊燕，薪蕃.微粒群優(yōu)化算法研究現(xiàn)狀及其發(fā)展[J].計(jì)算機(jī)工程，2004，30（21）.

作者簡(jiǎn)介：李江鵬（1983-），男，廣西南寧人，單位：廣西金融職業(yè)技術(shù)學(xué)院，職稱：講師，學(xué)歷：研究生，研究方向：計(jì)算機(jī)。