知識(shí)與數(shù)據(jù)驅(qū)動(dòng)機(jī)器學(xué)習(xí)模型的參數(shù)可辨識(shí)性理論分析與研究

張樹興 蔣紅衛(wèi)

摘? 要：隨著現(xiàn)代經(jīng)濟(jì)水平的不斷提升，現(xiàn)代社會(huì)逐漸成信息傳播的時(shí)代，在此背景之下，基于信息數(shù)據(jù)驅(qū)動(dòng)的各種機(jī)器逐漸成為數(shù)據(jù)處理的關(guān)鍵技術(shù)。分析知識(shí)與數(shù)據(jù)驅(qū)動(dòng)機(jī)器學(xué)習(xí)模型的參數(shù)的可辨識(shí)性，對(duì)于相關(guān)研究來說具有重要的價(jià)值。基于此，文章主要對(duì)知識(shí)以及數(shù)據(jù)驅(qū)動(dòng)機(jī)器學(xué)習(xí)模型的參數(shù)可辨識(shí)性的理論參數(shù)進(jìn)行了分析，對(duì)其研究進(jìn)行了探究分析。

關(guān)鍵詞：知識(shí)與數(shù)據(jù)驅(qū)動(dòng)機(jī)器學(xué)習(xí)模型;參數(shù)可辨識(shí)性;分析以及研究

中圖分類號(hào)：TP181? ? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）09-0014-02

Abstract： With the continuous improvement of modern economic level， modern society has gradually become an era of information dissemination. In this context， various information data-drivenmachines have gradually become the key technology of data processing. It is of great value for related research to analyze the course identification of the parameters of knowledge and data-driven machine learning model. Based on this， the paper mainly analyzes the theoretical parameters of the identifiability of knowledge and data-driven machine learning model.

Keywords： knowledge and data-driven machine learning model; parameter identifiability; analysis and research

基于辨識(shí)研究發(fā)展角度分析，辨識(shí)是數(shù)學(xué)模型以及控制系統(tǒng)中的關(guān)鍵以及集成的內(nèi)容。辨識(shí)概念研究的主題在不斷的拓展。在系統(tǒng)辨識(shí)理論中是較為關(guān)鍵的內(nèi)容。可辨識(shí)性是機(jī)器學(xué)習(xí)的核心內(nèi)容。現(xiàn)階段并沒有得到深入的研究。基于知識(shí)以及數(shù)據(jù)驅(qū)動(dòng)機(jī)器學(xué)習(xí)模型角度進(jìn)行分析，分析參數(shù)可辨識(shí)性，對(duì)其進(jìn)行分析，了解其今后的發(fā)展軌跡以及主要特征具有重要的價(jià)值意義。

1 知識(shí)與數(shù)據(jù)驅(qū)動(dòng)機(jī)器學(xué)習(xí)模型的參數(shù)可辨識(shí)性理論分析

模型對(duì)象為“基于知識(shí)與數(shù)據(jù)共同驅(qū)動(dòng)的模型”，此模型的結(jié)構(gòu)原理如圖1。

其表示的就是兩個(gè)子模型之間互相作用的運(yùn)算以及數(shù)據(jù)驅(qū)動(dòng)的子模型，可以通過機(jī)器X射線決策樹以及神經(jīng)元網(wǎng)絡(luò)、也可支持向量機(jī)。參數(shù)辨識(shí)性的分析中，知識(shí)以及數(shù)據(jù)的驅(qū)動(dòng)機(jī)器學(xué)習(xí)模型有重要的價(jià)值。知識(shí)驅(qū)動(dòng)子模型參數(shù)變量進(jìn)行處理，這也是獲得參數(shù)正確估計(jì)的關(guān)鍵。

為了統(tǒng)一模型框架，將傳統(tǒng)知識(shí)驅(qū)動(dòng)或者書籍驅(qū)動(dòng)模型作為例子進(jìn)行分析，模糊系統(tǒng)以及概率圖等模型相關(guān)通過單一結(jié)構(gòu)化的知識(shí)表達(dá)模型可以定義為新模型的一種，新模型利用具有非結(jié)構(gòu)化的先驗(yàn)知識(shí)以及具有任意類型的動(dòng)態(tài)模型進(jìn)行處理。此模型與傳統(tǒng)的模型具有一定差異，新模型的耦合模式以及DD子模型的特征可以為參數(shù)的可辨識(shí)性提高充分的空間。通過調(diào)整模型的方式則可以達(dá)到對(duì)模型可辨識(shí)度的實(shí)際狀況的調(diào)整，其具有一定的物理意義。也為不可辨識(shí)參數(shù)的轉(zhuǎn)變提供可行。

今后，機(jī)器學(xué)習(xí)的模型呈現(xiàn)智能化的特征。利用知識(shí)以及數(shù)據(jù)，要基于“歸納”與“演繹”進(jìn)行處理，為新的模型提供參考。在大數(shù)據(jù)的支持之下會(huì)產(chǎn)生不斷的完善。經(jīng)典統(tǒng)計(jì)理論中，可辨識(shí)度屬于基本的假設(shè)，多數(shù)的統(tǒng)計(jì)性質(zhì)均是用過假設(shè)的方式進(jìn)行研究。例如，極大似然估計(jì)以及Bayes的后驗(yàn)分布中的漸近正態(tài)性。

可辨識(shí)性研究以及機(jī)器學(xué)習(xí)領(lǐng)域具有密切的關(guān)系。其中隱因子模型、變分Bayesian矩陣分解之間有著密切的關(guān)系。在機(jī)器學(xué)習(xí)領(lǐng)域中學(xué)習(xí)機(jī)具有奇異性的特征，其對(duì)機(jī)器學(xué)習(xí)產(chǎn)生了較大的影響。在參數(shù)模型以及學(xué)習(xí)算法、學(xué)習(xí)動(dòng)態(tài)、Bayes推斷等領(lǐng)域中具有重要的影響。對(duì)此，要通過創(chuàng)新化的方式對(duì)奇異學(xué)習(xí)機(jī)進(jìn)行統(tǒng)計(jì)分析。

2 知識(shí)與數(shù)據(jù)驅(qū)動(dòng)機(jī)器學(xué)習(xí)模型的參數(shù)可辨識(shí)性研究

2.1 奇異統(tǒng)計(jì)模型參數(shù)空間的幾何結(jié)構(gòu)

基于Amari信息幾何特征，利用模型的一階近似，非奇異統(tǒng)計(jì)模型參數(shù)之間的空間局部結(jié)構(gòu)要對(duì)統(tǒng)計(jì)流形的切空間進(jìn)行表示。而高階近似則可以基于信息集合的放射鏈接以及相關(guān)的e-曲線和m-曲線獲得。

而在奇異模型的統(tǒng)計(jì)流形中，并沒有在奇異點(diǎn)中并沒有切空間。通過切錐進(jìn)行分析。通過同意的方式對(duì)奇異統(tǒng)計(jì)的具備結(jié)構(gòu)進(jìn)行研究分析，可以將其觀測(cè)的等價(jià)參數(shù)通錐 （Cone）的方式進(jìn)行嵌入，在正則流形中進(jìn)行分析。

機(jī)器學(xué)習(xí)領(lǐng)域中的研究較大，通過對(duì)層次神經(jīng)網(wǎng)絡(luò)進(jìn)行研究，發(fā)現(xiàn)在模型參數(shù)中的等價(jià)類并不是呈現(xiàn)孤立性的集合性，而是呈現(xiàn)連續(xù)統(tǒng)的方式進(jìn)行存儲(chǔ)，充分的展示了奇異模型參數(shù)的幾何結(jié)構(gòu)特征。

2.2 模型選擇

模型選擇是機(jī)器學(xué)習(xí)的重要內(nèi)容。進(jìn)行模型選擇中主要根據(jù)可辨識(shí)性以及靈活性、吝嗇性等方面進(jìn)行分析，較長(zhǎng)應(yīng)用的模型準(zhǔn)則主要有Akaike information criterion（AIC）Bayesian information criterion（BIC），Minimum descriptionl

ength（MDL）等等。

神經(jīng)網(wǎng)絡(luò)建模處理中，應(yīng)用AIC作為其標(biāo)準(zhǔn)，但是結(jié)果并不理想，而出現(xiàn)此種問題主要就是因?yàn)樯窠?jīng)網(wǎng)絡(luò)模型自身的奇異性造成的。

網(wǎng)絡(luò)信息準(zhǔn)則（NIC）分析了奇異性的特征，其理論以及數(shù)值的實(shí)驗(yàn)較為良好。而NIC的基本思想與Vapnik結(jié)構(gòu)風(fēng)險(xiǎn)中的極小化歸納原則中要構(gòu)建具有嵌套性的函數(shù)集合特征，但是其操作較為困難。基于其統(tǒng)計(jì)角度進(jìn)行分析，AIC的極小化模型具有泛化誤差。在奇異模型中的泛化誤差中的正則模型具有復(fù)雜的性質(zhì)特征。在奇異模型中其BIC缺陷、MDL缺陷類似于AIC。而Bayes模型對(duì)比分析，模型奇異性是必須要綜合的因素。奇異模型中要應(yīng)用標(biāo)準(zhǔn)的選擇標(biāo)準(zhǔn)，這也是機(jī)器學(xué)習(xí)的重要內(nèi)容。

2.3 學(xué)習(xí)算法

學(xué)習(xí)模型中的相關(guān)參數(shù)維數(shù)以及非線性的程度會(huì)呈現(xiàn)快速增加，在學(xué)習(xí)中會(huì)產(chǎn)生大量的計(jì)算資源，為了提升學(xué)習(xí)參數(shù)過程的速度，就要加強(qiáng)對(duì)奇異性的學(xué)習(xí)算法的研究。多層感知其網(wǎng)絡(luò)的研究中為了加快對(duì)后向傳播算法的研究提升收斂速度，學(xué)者對(duì)其進(jìn)行了大量的研究，其中自適應(yīng)步長(zhǎng)動(dòng)量的方法雖然有效，但是在本質(zhì)上來說都是梯度下降的一階算法，無法在根本上達(dá)到解決平臺(tái)現(xiàn)象的目的。而牛頓法、共軛法等方法雖然分析了參數(shù)空間的曲率信息，但是其開銷較大，僅僅具有收斂的特性，都屬算法僅僅適合批量的方式，無法適合大規(guī)模的數(shù)據(jù)以及在線學(xué)習(xí)的要求。

在平臺(tái)中出現(xiàn)慢流形的主要問題就是模型自身的奇異性，為了有效的克服出現(xiàn)的慢收斂的問題，通過自然梯度下降算法分析，可以綜合算法中參數(shù)空間中的流形結(jié)構(gòu)，達(dá)到提升收斂速度的目的。分析自然梯度下降算法的復(fù)雜性問題，綜合統(tǒng)計(jì)物理機(jī)理對(duì)其進(jìn)行分析。整體上來說，自然梯度下降算法中的復(fù)雜度較高，對(duì)此，在奇異模型中仍需要更高的算法。

2.4 學(xué)習(xí)過程的動(dòng)態(tài)軌跡分析

在進(jìn)行奇異性的研究中，學(xué)習(xí)過程中的動(dòng)態(tài)軌跡的分析尤為關(guān)鍵。奇異模型中的參數(shù)具有不可辨識(shí)的特征，因此其相關(guān)的觀測(cè)等價(jià)參數(shù)的誤差函數(shù)是相同的，誤差曲面中多數(shù)的地方為平坦的狀態(tài)。受到其影響導(dǎo)致學(xué)習(xí)過程相對(duì)較為緩慢，會(huì)產(chǎn)生嚴(yán)重的后果：

學(xué)習(xí)過程緩慢，低緯流形上的學(xué)習(xí)軌跡停留時(shí)間則就會(huì)過長(zhǎng)，隨著其訓(xùn)練數(shù)據(jù)的隨機(jī)噪聲的作用才會(huì)導(dǎo)致其出現(xiàn)下降的趨勢(shì)。導(dǎo)致其陷入到局部的極小值中。誤差曲面中的參數(shù)學(xué)習(xí)軌跡嶺線完全平坦。在理論的角度進(jìn)行分析可以確定，在奇異模型中，Batch學(xué)習(xí)方式則就會(huì)對(duì)在訓(xùn)練中產(chǎn)生的隨機(jī)噪聲產(chǎn)生作用，平滑隨機(jī)噪聲;這樣則就會(huì)使得學(xué)習(xí)過程出現(xiàn)低維流形以及局部的極小點(diǎn)。通過Onlie的學(xué)習(xí)方式則就會(huì)使得學(xué)習(xí)平坦區(qū)域中的動(dòng)態(tài)軌跡逃離。由此可以證明，奇異模型中Online方法更為合適。在學(xué)習(xí)中為了充分的分析參數(shù)的學(xué)習(xí)軌跡，通過對(duì)多層感知網(wǎng)絡(luò)以及高斯混合模型中的參數(shù)學(xué)習(xí)的動(dòng)態(tài)軌跡進(jìn)行分析，了解參數(shù)空間中的學(xué)習(xí)動(dòng)態(tài)的向量場(chǎng)。但是進(jìn)行奇異模型的學(xué)習(xí)過程的動(dòng)態(tài)軌跡分析，其并沒有普遍適應(yīng)的結(jié)果。

2.5 泛化誤差

泛化誤差是基于Cram6r-Rao范例開展的。奇異統(tǒng)計(jì)模型的泛化誤差計(jì)算則要綜合模型中的特殊性質(zhì)進(jìn)行分析。高斯混合模型中的數(shù)似然比具有奇異性的特征。出現(xiàn)此種特征主要就是因?yàn)槠娈惤y(tǒng)計(jì)模型中的數(shù)似然比影響。神經(jīng)網(wǎng)絡(luò)中利用簡(jiǎn)單的線性模型則可以充分的分析多層感知器模型的漸近性質(zhì)以及泛化誤差結(jié)果更為精準(zhǔn)。

現(xiàn)階段，學(xué)界中主要就特殊模型進(jìn)行研究，要加強(qiáng)對(duì)奇異模型的通用結(jié)果的深入研究。

2.6 Bayes推斷

通過Bayes學(xué)習(xí)方式進(jìn)行處理，利用先驗(yàn)知識(shí)的方式，可以緩解過擬合的問題，其具有顯著的泛化性特征，在奇異學(xué)習(xí)中，會(huì)遇到理論性的困難。應(yīng)用先驗(yàn)知識(shí)“無信息先驗(yàn)”進(jìn)行處理，則光滑先驗(yàn)密度奇異點(diǎn)構(gòu)成等價(jià)類則呈現(xiàn)無窮大的特征，導(dǎo)致模型后驗(yàn)分布會(huì)更加偏向奇異點(diǎn)，但是違背了“無信息先驗(yàn)”的基礎(chǔ)原則，不符合常理，同時(shí)，在奇異模型中Bayes后驗(yàn)分布，利用Hironaka奇異性對(duì)定理分解以及Sato公式，在奇異機(jī)器學(xué)習(xí)中代入幾何以及代數(shù)分析，研究分析不同層次的奇異學(xué)習(xí)的預(yù)測(cè)分布的性能，可以獲得一定結(jié)果。其理論主要幾個(gè)方面，得出了一系列結(jié)果：

第一，分析數(shù)似然比函數(shù)標(biāo)準(zhǔn)型以及隨機(jī)復(fù)雜度中存在的收斂性問題。在Bayes分析中，分析兩個(gè)方程與訓(xùn)練誤差、泛化誤差直接的對(duì)稱性關(guān)系。第二，分析奇異性的不同影響，是機(jī)器學(xué)習(xí)的基礎(chǔ)的知識(shí)，是今后研究的重點(diǎn)。

3 結(jié)束語

機(jī)器學(xué)習(xí)理論為實(shí)踐研究提供了全新的視角以及參考。對(duì)其相關(guān)概念以及知識(shí)要點(diǎn)進(jìn)行分析，對(duì)于自變量的設(shè)定以及公共政策的調(diào)整等的各項(xiàng)提供參考，也為典型的復(fù)雜巨系統(tǒng)問題的演變激勵(lì)研究提供了參考。知識(shí)與數(shù)據(jù)共同驅(qū)動(dòng)的思維以及其參數(shù)可辨識(shí)性的研究對(duì)于深度學(xué)習(xí)以及人工智能等理論具有重要的價(jià)值。

參考文獻(xiàn)：

[1]沈國良，錢濟(jì)人.基于系統(tǒng)辨識(shí)的機(jī)器學(xué)習(xí)模型參數(shù)可調(diào)性研究[J].自動(dòng)化應(yīng)用，2019（03）：97-98.

[2]胡包鋼.統(tǒng)計(jì)機(jī)器學(xué)習(xí)中參數(shù)可辨識(shí)性研究及其關(guān)鍵問題[J].自動(dòng)化學(xué)報(bào)，2017（10）：3-12.

[3]冉智勇.知識(shí)與數(shù)據(jù)驅(qū)動(dòng)機(jī)器學(xué)習(xí)模型的參數(shù)可辨識(shí)性理論研究[D].中國科學(xué)院大學(xué)，2014.