劉 鋒
(黑龍江工業學院,黑龍江 雞西 158100)
語料庫技術又分為兩種方法,分別為主題建模和文本分類。主題模型用于發現隱藏大型數據模型,該技術可以有效降低語料庫的維度;文本分類在組織大量無序文本中起著至關重要的作用。
主體建模方法主要分為潛在語義分析(蘊SA)和概率潛在語義分析(P蘊SA)。
蘊SA通常被用于信息檢索,在該方法中,主要是分析和管理大數據,從而提高了算法的效率。利用該方法可以創建多語言語義空間,不需要經過查詢翻譯機制,就可以直接使用另一種語言編寫的文檔,同時在多個數據集上實現了該系統,取得了良好的效果。為了進一步查看語料庫,引入可視化技術,在該技術中使用一個二維文件圖冊,這種文件圖冊可以更好地使數據進行可視化。針對較低維度的語義空間又該如何描述呢?這是可以引入多維文檔分析方法,方法包括一個訓練集的樣本協方差矩陣,這有助于從文檔中有效地挖掘本地信息,并使用術語關聯和空間分布,該分析模型在精度和計算效率方面效果明顯。在目前的情況下,許多研究人員使用蘊SA進行特征提取,針對質量和參與數量分別進行特征提取。但是由于參與人數太多,產生了信息超載。這種特征提取的方法只能有效解決其中一個問題。
概率潛在語義分析(P蘊SA)使用生成潛在類模型來執行概率混合分解,這一模型可以應用于各個領域,但有些人認為該方法對不同類型的文本搜索的有效性產生了質疑,最后通過實驗結果表明P蘊SA的性能優于標準蘊SA方法。為了解決新的問題,P蘊SA方法也在不斷改進,當前有兩個問題是比較嚴峻的,其一是如何使用GPU上有限的內存來處理較大的文本數據,其二是如何使用GPU的功能加速??梢圆捎谜龢拥姆椒▉磉M行解決:首先使用矩陣向量乘法加速算法;其次,采用同樣的過程以節省空間和降低復雜度;最后使用并發執行加速進程。
支持向量機(SVM)該方法的總體思路是將輸入向量映射到高維特征向量空間,并構造一個線性決策面。通過支持向量機試圖找到解決兩組分類問題的方法,其中為了能夠有效的分離一組對象,引入了超平面,該模型解釋了該方法可以減少在標準歸納和轉換設置中標記訓練實例的需要,用一個版本空間概念給出了算法的理論解釋,在實驗驗證中,用一個個低次多項式數據,并嘗試映射和檢測實現問題,經過采用了快速線性SVM方法,進行集中于快速訓練和測試,實驗結果表明這對某些大型數據集是有用的。針對上述問題,有些學者提出了一種基于SVM的先進多類實例選擇方法,該方法提高了SVM的熟練度和準確性,通過仿真實驗結果表明,該模型提高了支持向量機的分類精度,比基于鄰域的模式選擇(NPPS)算法更好。同時也有學者推薦了一種將SVM集成到基于上下文相關和上下文無關的用戶首選項分組的策略,該策略支持向量機,有助于提高建議的準確性,并給出更精確的預測結果,對實際服務數據進行了實驗研究,驗證了模型的有效性。
最近鄰居(KNN)法是一種新的降維方法。利用矢量聚合物理論和特征提取方法,減少了空間的維數。由于web中的文檔分布不均勻,為了解決不均勻的問題,有些學者提出了基于密度的最近鄰居法,該方法對大量非結構化分布式文檔具有更好的效果。也可以采用加權法進行文本分類,以分類的速度、準確性和質量作為評價的依據,基于用戶的行為,通過點擊流數據而形成的自動實時推薦系統,而在實施過程中,他們還訓練識別并匹配數據集市中類似類的點擊流數據,并引入了一個叫做粗糙集的新概念,將數據集劃分為兩個文本向量空間,即特定的和不確定的區域。對于某些部分,他們直接判斷其類別,對于不確定的區域,它們通過基于關聯分析的KNN來確定向量的類型,通過該方法的驗證,表明該算法提高了文本分類的效率。
樸素貝葉斯(NB)方法解決了系統問題以及與多項式模型相關的問題。通過對樸素貝葉斯方法的研究,提出了一些改建意見,如文本轉換,解決不均勻訓練數據的問題,規范分類權重等。這種方法以機器學習為基礎,采用樸素貝葉斯分類器來預測基因。該模型使用樸素貝葉斯分類器對每個讀取進行分類,并為每個讀取提供完整的分類,有助于用戶檢查數據集的分類組合,并在合理的時間內使用和運行整個數據集得到了良好的預測效果。
通過對分類算法和主題建模方法的分析,對潛在語義分析、概率潛在語義分析、向量機、最近鄰居法和樸素貝葉斯等文本分類算法的分析,可以幫助人們了解和得到最合適的算法和方法。