基于多尺度特征和元學習的智能預測找礦靶區實驗研究

收稿日期：2021-10-22；修回日期：2021-12-14

基金項目：廣東省教育廳教學改革項目五邑大學2021年研究生暑期學校項目（2022SQXX040）；五邑大學青年科研基金資助項目（2019td10）

作者簡介：黃勇杰（1995-），男，廣東廣州人，碩士研究生，主要研究方向為圖像處理、機器學習；高樂（1985-），男（通信作者），黑龍江哈爾濱人，特聘教授，碩導，博士，主要研究方向為大數據技術與應用研究（le.gao@nscc-gz.cn）；楊田（1986-），女，甘肅蘭州人，特聘教授，碩導，博士，主要研究方向為社會科學大數據研究；張鑫（1998-），女，陜西渭南人，碩士研究生，主要研究方向為機器學習.

摘 要：當前智能找礦靶區預測方法大多依賴于人工采樣和專家的知識經驗，然而，對于現實世界中區域小、數量少的礦區區域，這些方法將面臨巨大的挑戰。為了迎接這個挑戰，提出一種新穎的深度智能找礦靶區預測框架——多尺度特征交互框架。具體地，首先定義兩個網絡，即多尺度特征映射網絡和多尺度特征分類網絡；在此基礎上，通過膨脹卷積捕獲多尺度特征映射網絡中不同地球化學元素的特征，并且利用多尺度分類網絡處理這些特征；其次，使用元網絡為多尺度分類網絡生成卷積權重；最后使用自蒸餾挖掘多尺度分類網絡中的隱知識用于預測。整個模型采用端到端的訓練方式，大量的實驗結果表明，多尺度特征交互框架與當前最先進的方法比較具有顯著的競爭力。

關鍵詞：元學習； 多尺度特征學習； 知識蒸餾； 找礦靶區預測

中圖分類號：TP391.41"" 文獻標志碼：A

文章編號：1001-3695（2022）06-029-1772-07

doi：10.19734/j.issn.1001-3695.2021.10.0625

Experimental research on intelligent prospecting prediction based on

multi-scale feature and meta-learning

Huang Yongjie， Gao Le， Yang Tian， Zhang Xin

（Faculty of Intelligent Manufacturing， Wuyi University， Jiangmen Guangdong 529020， China）

Abstract：At present， most prediction methods of prospecting prediction rely on manual sampling and experts’ knowledge and experience. However， these methods face great challenges in the real world with small areas and less numbers of mines. In order to meet this challenge， this paper proposed a novel depth prospecting prediction framework： multi-scale feature interaction framework. Firstly， this paper defined two networks， the multi-scale feature mapping net and the multi-scale feature classification net. On this basis， it captured the features of different geochemical elements in the multi-scale feature mapping net by dilated convolution， and used the multi-scale feature classification net to process these features. Secondly， it used meta network to generate convolutional weights for multi-scale classification networks. Finally， it used self-distillation to exploit implicit knowledge in multi-scale classification networks for prediction. The whole model adopted end-to-end training mode. A large number of experimental results show that multi-scale feature interaction framework is significantly competitive with the most advanced methods.

Key words：meta learning; multi-scale feature learning; knowledge distillation; prospecting prediction

0 引言

隨著我國經濟建設飛速發展，各種基礎設施建設對礦產原料的需求日益增大［1］;同時，國家對戰略性礦產資源（如稀土、鈷、鋰等）的需求也在快速增長［2］，加快礦產資源開發已刻不容緩。當前大部分學者使用物理化學方法進行找礦靶區預測研究，如杜斌等人［3］使用近紅外光譜測量巖石中礦物成分并結合專家意見圈定出三個找礦靶區；陳志東等人［4］使用激電法繪制出激電綜合剖面異常圖用于圈定找礦靶區；陳炳錦等 人［5］通過分析土壤中化學元素的特征信息圈定三個找礦靶區。然而，這些方法需要進行大量的物理或化學實驗，花費昂貴。

近些年，隨著計算機技術的飛速發展，人工智能走進地球科學領域，找礦靶區預測也從物理化學方法逐漸向智能找礦靶區預測轉變。隨著人工智能的發展，研究人員提出智能找礦靶區預測，即借助機器學習相關理論處理地學數據（如地球化學數據、遙感數據、地質數據）中的地學變量和成礦特征之間的關系來確定找礦靶區。如基于傳統機器學習方法進行研究［6，7］，Wang等人［8］使用半監督隨機森林繪制找礦圖；王語等人［9］使用支持向量機對研究區域進行成礦預測；Daviran等人［10］提出使用遺傳算法優化隨機森林的超參數以減少其對預測找礦靶區的影響。如基于深度學習方法進行研究［11，12］，李詩等人［13］使用AlexNet提取多個成礦要素圖的特征圈定四個找礦靶區；Li等人［14］使用遷移學習從源任務中遷移特征輔助學習找礦靶區任務。

盡管以上方法取得一定成功，但對于礦區數量少和區域小的問題仍然沒有妥善解決。礦區數量少的問題會導致過擬合，影響模型分類效果。針對該問題，Li等人［15］通過對地學數據加入隨機噪聲用于深度神經網絡預測找礦靶區；Li等人［16］先對礦區樣本進行過采樣，再通過隨機森林預測找礦靶區。礦區區域小的問題會導致礦區特征隨著卷積層數的增加而逐漸消失，影響模型的分類能力。針對該問題，Yang等人［17］通過組合使用尺寸不同的卷積或池化操作提取不同尺度特征并且融合以預測找礦靶區。

綜上所述，為了解決礦區數量少和區域小給找礦靶區預測帶來的難題，本文提出一種新穎的深度智能礦靶區預測框架—多尺度特征交互框架（multi-scale feature interaction framework，MFI framework）。即使用膨脹卷積生成不同尺度的特征圖以增加樣本的多樣性，有助解決礦區數量少的問題；使用共享的元網絡、共享的全連接層和自蒸餾技術實現不同尺度特征的交互，有助于解決礦區區域小的問題。如圖1所示，MFI framework包含多尺度特征映射網絡（multi-scale feature mapping net，MFMNet）和多尺度特征分類網絡（multi-scale feature classification net，MFCNet）。MFMNet通過不同膨脹系數的卷積操作生成尺度不同的特征圖，作為MFCNet的輸入。MFCNet包含多個結構相同的多尺度分類網絡，首先通過共享的元網絡生成多尺度分類網絡卷積權重用于進一步提取多尺度特征圖特征；然后使用共享的全連接層得到輸出；最后使用基于不同網絡預測結果的自蒸餾技術。本文實驗使用反距離權重插值法將地球化學數據制成圖像數據，實驗結果證明該方法有巨大的潛力，基于ResNet18優化的模型準確率提升5.83%，基于ShuffleNetV2優化的模型準確率提升3.89%。

1 相關工作

1.1 多尺度特征學習

多尺度特征學習先通過不同的預處理方法或者尺寸不同的卷積核產生不同尺度的圖像，再結合不同尺度的圖像特征進行分析，最后通過分類算法完成圖像識別任務。目前已有許多學者在多尺度特征對圖像識別的影響中展開大量的研究，并獲得較好的成果［18～20］。FPN［21］使用特征金字塔，小尺度特征圖像通過上采樣的方法獲得與大尺度特征圖像一樣的尺寸，多種尺度結合在一起進行預測，在目標檢測和語義分割中取得很好效果。DeeplLab［22］使用不同的膨脹系數的卷積操作進行并行化計算得到不同尺度的特征圖像，然后再結合在一起。王新華［23］借鑒ResNet結構提出GeoNet，GeoNet通過多尺度注意力模塊對地質數據的全局特征和局部特征進行提取和融合，充分利用地質的特征形狀和紋理信息，提高預測目標在復雜地質環境的區分度。葉飛強等人［24］使用UNet對高爐爐料礦石進行圖像分割，針對礦石不規則且粗糙的特點，UNet的多層特征融合結構大大提升了分割效果。

1.2 元學習

元學習也稱為學習如何去學習。在人工智能技術迅速發展的今天，元學習的重要性逐漸被凸顯出來。人工智能應該像人類大腦一樣具備高效的學習能力，通過以往學到的知識主動學習未知的知識，學習如何去學習，學會思考怎樣學習可以達到最好效果。不同領域的科研工作者在元學習方法上進行了不斷地探索和深入研究［25～27］。matching networks［28］利用注意力機制的方法，利用以往的任務經驗來訓練一個attention模型；meta networks［29］使用基學習器和帶memory模塊的元學習器來完成小樣本學習任務。Andrychowicz等人［30］用LSTM替代傳統優化器，使用梯度下降法來優化優化器。

1.3 知識蒸餾

知識蒸餾通過一個教師網絡一步步指導另外一個學生網絡如何學習，最終得到一個與教師網絡性能相近的學生網絡。具體實現方法是將知識從教師網絡提取到學生網絡，教師網絡對于學生網絡有著指導意義，可以幫助學生網絡更好地提高性能，引導學生網絡的優化。知識蒸餾分為離線蒸餾、在線蒸餾和自蒸餾。離線蒸餾利用一個訓練好的教師網絡在學生網絡訓練時輔助其訓練從而達到蒸餾目的，如Huang等人［31］提出神經元選擇性遷移方法，通過最小化教師和學生網絡分布的最大平均差異（MMD）損失選擇性地將知識從教師網絡遷移至學生網絡；在線蒸餾在教師網絡仍未訓練好的情況下指導學生網絡進行訓練，如文獻［32］使用多個相同的網絡并行訓練，相互間進行知識蒸餾，證明網絡的內容不同，即使模型未收斂，進行知識蒸餾也有一定收益；自蒸餾無須提前預訓練一個網絡，神經網絡在自身訓練中完成蒸餾過程，如Zhang等人［33］將初始網絡分成幾個淺層網絡，其中初始網絡為教師網絡，其他淺層網絡為學生網絡。通過網絡間結果對齊和特征對齊進行知識的蒸餾。

2 MFI framework

如圖1所示，MFI framework由兩個網絡組成。MFMNet定義一個膨脹系數集合r={r1，r2，r3，…，rK}。包含兩個步驟：a）使用mask模塊賦予每個地球化學元素含量圖不同權重以解決不同地球化學元素對成礦影響的差異；b）使用膨脹系數集合r進行卷積得到不同尺度特征圖以解決礦區數量少的問題。MFCNet定義一個多尺度分類網絡集合Nets={Net1，Net2，Net3，…，NetK}和與之對應的尺度標量集合η={η1，η2，η3，…，ηK}。包含三個步驟：a）使用元網絡為多尺度分類網絡Nets生成卷積權重，元網絡由多個感知機（perceptron，Pt）組成Φ={Φ1，Φ2，Φ3，…，ΦL}，根據尺度標量集合η生成所有網絡Nets的卷積權重{W1：L1，W1：L2，…，W1：LK}；b）使用多尺度分類網絡進一步提取多尺度特征圖特征并使用共享的全連接層得到輸出；c）根據每個網絡softmax運算后的結果進行自蒸餾，挖掘多尺度分類網絡中隱藏的知識。其中，K為多尺度分類網絡數量；L為卷積層數量。為了解決礦區區域小的問題，MFCNet中結合不同尺度特征進行預測，結合方式如下：所有多尺度分類網絡進行聯合訓練，使用自蒸餾方法通過額外的損失函數實現不同網絡間尺度特征的交互；通過共享的元網絡和全連接層，實現不同網絡間尺度特征隱式的交互。

2.1 問題定義

本文先對地球化學數據使用反距離權重插值法生成元素含量圖，然后定義一個窗口在元素含量圖上滑動生成實驗所需的地球化學數據集。地球化學訓練集D={（xj，yj）}Nj=1包含N個樣本，其中xj∈Euclid Math TwoRApC和其對應的真實標簽yj∈{0，1};C為地球化學元素個數（通道數），0、1表示類別分別為“無礦”數據和“礦”數據。為解決礦區數量少和區域小的問題，再結合不同地球化學元素對成礦影響的差異，模型設計如下。

2.2 Multiscale feature mapping net（MFMNet）

MFMNet的作用如下：a）使用mask模塊為每個地球化學元素賦值，解決不同地球化學元素對成礦影響的差異；b）使用不同膨脹系數的卷積操作生成多尺度特征圖，增加樣本多樣性，解決礦區數量少的問題。

2.2.1 mask模塊

地球化學元素對礦靶區形成的影響存在著差異，不可以將它們平等對待。mask模塊由一個可學習的軟mask組成，即一個權重系數矩陣，是可微的，因此可以通過不斷地迭代學習每個化學元素對應的權重，更準確地說，輸入x={xj}Nj=1。通過mask模塊后輸出為x′={x′j}Nj=1，其中x′j∈Euclid Math TwoRApC，軟mask為mask=［m1，m2，…，mC］∈Euclid Math TwoRApC×1。xj中第i個元素（通道）通過mask模塊后的輸出如下：

xij′ = xij×mi（1）

其中：mi是與第i個元素（通道）對應的標量。

2.2.2 多尺度特征圖生成

膨脹系數越大，感受野越大，生成的特征圖越小。針對礦區數量少的問題，使用膨脹卷積生成尺寸不同的特征圖，增加樣本的多樣性。本文使用不同膨脹系數r={r1，r2，r3，…，rK}對地球化學數據進行卷積操作，得到不同尺度特征圖。具體地，輸入x′={x′j}Nj=1使用卷積核Wd={W1d，W2d，W3d，…，WKd}和膨脹系數集合r進行卷積操作得到多尺度特征圖f={f1，f2，f3，…，fK}，其中第i尺度特征圖fi={fij}Nj=1。根據x′j生成fij的公式如下：

fij=γ（x′j，ri，Wid）（2）

其中：ri為生成第i尺度特征圖對應的膨脹系數;Wid為生成第i尺度特征圖對應的卷積權重;γ（·）表示膨脹卷積操作。

2.3 Multiscale feature classification net（MFCNet）

MFCNet的作用如下：a）通過共享的元網絡為每個多尺度分類網絡生成卷積權重；b）多尺度分類網絡對多尺度特征圖進一步提取特征和預測；c）基于多尺度分類網絡的預測結果進行自蒸餾。

2.3.1 網絡權重生成

元學習任務是將尺度標量作為各個網絡關于特征圖尺度信息的先驗知識輸入元網絡，通過元網絡生成各個網絡的卷積權重。元網絡由多個感知機Φ={Φ1，Φ2，Φ3，…，ΦL}組成，根據每個網絡Net1，Net2，…，NetK對應的尺度標量η1，η2，η3，…，ηK為卷積層生成卷積權重。例如，生成第k個網絡第l層卷積權重，輸入第k個網絡對應的尺度標量ηk，輸出卷積權重Wlk∈Euclid Math TwoRApCout×Cin×S×S。其中Cout是輸出通道數，Cin是輸入通道數，S是卷積核尺寸。全連接操作是可微的，反向傳播時可以不斷調整參數權重。感知機相當于一個全連接層，生成卷積權重如式（3）所示。

Wlk=ηkWl+bl（3）

其中：Wl是Φl的權重;bl是Φl的偏量。

為了避免不同尺度間數據的影響，歸一化層應該進行精細處理，在各個網絡中私有化。通常情況下，歸一化層的參數只占整個網絡參數中很小的一部分，為各個網絡設定獨立的歸一化層是可行的。與此相比，全連接層參數所占的參數量太大，各個網絡應共享全連接層。

2.3.2 預測

每個多尺度分類網絡對不同尺度的特征圖進行進一步特征提取并通過共享的全連接層得到輸出。具體地，x={xj}Nj=1通過mask模塊和不同膨脹系數的卷積操作可得到多尺度特征圖f={f1，f2，f3，…，fK}，其中fi={fij}Nj=1。多尺度分類網絡首先對f進行特征提取，然后通過全局池化操作，最后通過共享的全連接層得到輸出。通過最小化交叉損失熵優化網絡，如式（4）所示。另外，使用投票選舉整合每個網絡的輸出，得到最終預測結果。

Lce=∑Ki=1∑Nj=1celoss（θi;fij，yj）（4）

其中：θi是多尺度分類網絡的權重參數;yj是第xj個地球化學數據對應的真實標簽;celoss（·）是softmax后再計算交叉損失熵。

2.3.3 基于尺度特征的自蒸餾

尺寸大的特征圖比尺寸小的特征圖包含更多語義描述和信息［34］。本文將輸入特征圖比較大的神經網絡定義為大尺度網絡，將輸入特征圖相對小的神經網絡定義為小尺度網絡，因此大尺度網絡可以輔導小尺度網絡進行學習。具體地，本研究通過計算所有多尺度分類網絡每對輸出概率分布之間的Kullback-Leibler散度（KL散度）來得到一個輔助損失函數，計算公式如下：

Lkd=∑Ki∑KjKL（pi‖pj） igt;j（5）

其中：KL（·‖·）是KL散度函數;p是多尺度分類網絡softmax后輸出的概率分布;K是多尺度分類網絡數量。

2.4 目標函數

結合多尺度分類網絡的損失函數和自蒸餾產生的輔助損失函數。通過最小化目標函數L優化模型，公式如下：

L=Lce+βLkd（6）

其中：β是輔助損失函數系數。

3 實驗及分析

3.1 關鍵地球化學元素的選取

實驗數據來源于從廣東龐西垌實驗區1∶5萬水系沉積物資料中提取的地球化學元素，水系沉積物采樣面積為1 694 km2，平均采樣密度為4.27個/km2。從水系沉積物測量樣品分析AU、B、SN、CU、AG、BA、MN、PB、ZN、AS、SB、BI、Hg、MO、W、F等16種化學元素。圖2為廣東龐西垌實驗區的地質簡圖，紅點為礦區（見電子版）。表1為部分原始數據，X、Y為采樣點坐標為地球化學元素含量。從16種地球化學元素中選取影響礦區形成的關鍵化學元素。

參考文獻［35］，使用支持向量模型得到每一種元素的AUC值，再通過公式計算ZAUC值，計算公式如下：

Q1=AUC2-AUC，Q2=2AUC21+AUC（7）

SAUC=

AUC（1-AUC）+（Cp－1）（Q1－AUC2）+（Cn－1）（Q2－AUC2）Cp×Cn（8）

ZAUC=AUC-0.5SAUC（9）

其中：Cp和Cn分別為礦區和非礦區的樣本數量;Q1、Q2為臨時變量。隨機變量ZAUC滿足標準正態分布，通過對比標準正態分布表得到臨界值，用于檢測AUC與0.5之間是否存在顯著性差異。結果如表2所示，選擇ZAUC值大于顯著性水平為0.01時的臨界值2.58，即選擇AU、SN、CU、AG、BA、SB、HG、MO共8種元素作為找礦靶區預測指示元素。

3.2 數據預處理

實驗參考文獻［36］對水系沉積物數據的處理方法，關鍵地球化學元素按反距離權重插值法生成W×H個的網格點（即該化學元素的元素含量圖），其中W是寬度，H是高度。因此，最后得到W×H×C個網格，其中C是關鍵地球化學元素個數。反距離權重插值法計算公式如下：

Di=（x0－xi）2+（y0－yi）2（10）

Z（x0，y0）=∑Ni=11（Di）2Zi/∑Ni=11（Di）2（11）

其中：Di為離散點（xi，yi）到網格（x0，y0）的距離;Z（x0，y0）為網格點（x0，y0）上的估算值;Zi為離散點i上的觀測值;N為參與計算離散點個數。

根據采樣點的經緯度坐標和該采樣點中AU、SN、CU、AG、BA、SB、HG、MO元素濃度生成實驗所需的數據集。每種元素都通過反距離權重插值法生成3 072×3 072的元素含量圖，共八個元素含量圖。圖3所示就是其中四種元素生成的網格圖（元素含量圖）。生成的元素含量圖進行歸一化處理，使數據的均值為0、方差為1，公式如下：

X′=X－Xσ（12）

其中：X′是歸一化后的值;X表示元素數據均值;σ是該元素數據的方差。

設定一個256×256的窗口，并以128像素大小在元素含量圖上進行滑動［37］，以此生成數據集。訓練集共437個數據，其中78個為“礦”數據，359個為“無礦”數據；測試集含69個數據，其中17個為“礦”數據，“無礦”數據為52個。由于數據集存在數量較少以及類別不平衡的問題，實驗加入均值為0、方差為0.01的高斯噪聲對數據進行增廣。最后，生成的訓練集有1 420個數據，“礦”數據為702個，“無礦”數據為718個；生成的測試集有206個數據，“礦”數據為102個，“無礦”數據為104個。將八種元素生成的網格圖整合在一起，即實驗數據集由1 626個256×256×8的數據組成，并且在每一次迭代前都會對數據進行隨機裁剪成224×224大小，作為MFI framework的輸入。

3.3 基于MFI framework實驗

本文實驗平臺為Tesla v100 32GB GPU，使用深度學習框架為PyTorch。針對從廣東龐西垌實驗區1：5萬水系沉積物資料中提取地球化學元素制成的數據集嘗試不同結構進行實驗，采用準確率、AUC、召回率和F1值作為評價模型性能的指標。

實驗選擇ResNet-18［38］和輕量級神經網絡ShuffleNetV2［39］進行優化，以證明MFI framework的有效性和良好泛化能力，并且與多種當前流行算法進行對比。實驗使用SGD優化器進行訓練，其動量為0.1，權重衰減為1E-4，循環迭代180次，初始學習率為0.01，每30次衰減50%，批量大小為64。MFI framework參考DeepLab神經網絡，膨脹系數設置為r={r1，r2，r3，r4，r5}={1，6，12，18，24}。輔助損失函數系數β設置為0.3。在消融實驗中，針對mask模塊、輔助損失函數系數β、膨脹系數進行深入探究。

表3是實驗結果，從表3中可以看出，基于ResNet-18優化的方法比ResNet-18性能更優異，準確率提升5.83%，AUC提升5.93%，召回率提升9.81%，F1提升8.3%;基于ShuffleNetV2優化的方法也得到很大提升，準確率提升3.89%，AUC提升3.97%，召回率提升12.75%，F1提升7.58%。MFI framework遠比其他流行算法效果好，其中ResNet-18*效果最好，四個評價指標都明顯優異于其他算法。不難看出，召回率和F1值提升最為明顯，這說明，MFI framework對“礦”區數據預測的準確度有很大提高，這也證明該方法更具有可靠性。

3.4 消融實驗

3.4.1

基于共享的全連接層，共享的元網絡，自蒸餾和膨脹卷積實驗

MFI framework通過不同膨脹系數的卷積操作生成不同尺度的特征圖，增加樣本多樣性，解決礦區樣本少的問題。通過共享的元網絡、共享的全連接層和自蒸餾實現不同尺度特征的交互，解決礦區區域小的問題。為了驗證MFI framework對解決礦區樣本少和區域小問題的有效性，針對共享的全連接層、共享的元網絡、自蒸餾和膨脹卷積進行實驗，并基于ResNet-18結構進行優化。

實驗結果如表4所示，共享的全連接層、共享的元網絡、自蒸餾和膨脹卷積可以有效解決礦區樣本少和區域小問題。其中膨脹卷積的作用最為明顯，因為共享的元網絡、共享的全連接層和自蒸餾實現不同尺度特征的交互，而不使用膨脹卷積操作是對同一尺度特征的交互，效果不明顯。

3.4.2 基于mask模塊實驗

基于mask模塊進行實驗，MFI framework使用mask模塊。為了探究mask模塊對MFI framework的影響，增加不使用mask模塊的實驗并基于ResNet-18和ShuffleNetV2結構進行優化。實驗結果如表5所示，ResNet-18*與不使用mask模型相比，準確率提升了1.46%，AUC提升了1.61%，召回率提升了4.9%，F1提升了4.79%。ShuffleNetV2*與不使用mask模型相比，準確率提升了1.46%，AUC提升了1.45%，召回率提升了0.98%，F1提升了1.45%。由此可知，使用mask模塊賦予地球化學元素不同的權重對模型性能有一定提升。

3.4.3 基于輔助損失函數系數實驗

基于輔助損失函數系數進行實驗，實驗設置的輔助損失函數系數為0.3。為了探究輔助損失函數系數對MFI framework的影響，另外設置四組實驗，輔助損失函數系數分別為{0.9，0.7，0.5，0.1}，并基于ResNet-18結構進行優化。

表6是基于輔助損失函數系數進行實驗的結果，從表6中可以看出，使用不同輔助損失函數的實驗效果都優于ResNet-18。輔助函數系數為0.3，0.5，0.7，0.9時，隨著系數的增加，準確率和AUC逐漸降低。而輔助系數為0.3的實驗效果遠比系數為0.1的好。

3.4.4 基于膨脹系數實驗

基于膨脹系數進行實驗，膨脹系數參考DeepLab神經網絡，設置為{1，6，12，18，24}。為了探究膨脹系數對MFI framework的影響，以6為基準每間隔2設置一組實驗，共設置四組實驗，膨脹系數分為：rate1={1，2，4，8，10}，rate2={1，4，8，12，16}，rate3={1，6，12，18，24}，rate4={1，8，16，24，32}，并基于ResNet-18結構進行優化。

表7是基于膨脹系數進行實驗的結果，從表7中可以看出，rate1的實驗效果與ResNet-18相差不大，因為膨脹系數太小，各個網絡之間的數據信息差異性不大，通過知識蒸餾得到的提升有限。而rate4的實驗效果與ResNet-18也是相差不大，這說明膨脹系數太大，也會影響神經網絡的性能，從而導致最終結果提升不大。

4 結束語

針對找礦靶區預測中礦區區域小、數量少的問題，提出一種新穎的深度智能礦靶區預測框架——多尺度特征交互框架?？蚣苡啥喑叨忍卣饔成渚W絡和多尺度特征分類網絡組成。其中，多尺度特征映射網絡負責生成多尺度特征圖，先通過軟mask賦予每個地球化學元素不同權重，再利用不同膨脹系數的卷積操作得到不同尺度的特征圖，增加數據的多樣性，解決了數量少的問題;多尺度特征分類網絡負責對多尺度特征圖進行進一步特征提取和預測，其包含多個多尺度分類網絡，每個網絡中定義一個與輸入特征圖大小相對應的尺度標量，利用元網絡根據尺度標量為每個網絡生成卷積權重。另外，使用自蒸餾技術，通過計算各個網絡softmax運算后之間的KL散度挖掘多尺度分類網絡中的隱知識，提高網絡性能。針對區域小的問題，通過共享的元網絡、全連接層和自蒸餾技術，結合多個尺度特征進行礦靶區預測。

實驗基于ResNet-18和ShufflenetV2結構進行優化，優化后的網絡各個評價指標都有明顯的提升，尤其是對“礦”數據準確率的提升尤為顯著，效果也明顯優于當前流行的神經網絡。它兼容大部分神經網絡架構，可以基于現在流行的神經網絡模型進行優化。該方法的有效性和泛化能力具有較大潛力，有望在其他領域中發揮作用。

參考文獻：

[1]趙鉞.金屬礦深部開采現狀與發展戰略［J］.中國金屬通報，2020（17）：3-4.（Zhao Yue. Present situation and development strategy of deep mining of metal ore［J］.China Metal Bulletin，2020，（17）：3-4）

［2]陸三明，阮林森，張贊贊，等.安徽省三稀礦產資源現狀、成因類型及找礦潛力［J］.安徽地質，2020，30（1）：14-17.（Lu Sanming， Ruan Linsen， Zhang Zanzan， et al. Present situation， genetic type and prospecting potential of three rare mineral resources in Anhui province［J］.Geology of Anhui，2020，30（1）：14-17.）

［3]杜斌，董濤，董紅國，等.蝕變礦物填圖技術在斑巖型銅礦找礦勘查中的應用——以滇西北香格里拉松諾礦床為例［J］.地質與勘探，2021，57（4）：879-894.（Du Bin， Dong Tao， Dong Hongguo， et al. Application of alternation mineral mapping in porphyry copper deposits： a case study of the Songnuo deposit in the Shangrila region， northwest Yunnan［J］.Geology and Exploration，2021，57（4）：879-894.）

［4]陳志東，王子豪，劉升.激電法在巢湖市山里許矽卡巖型銅金礦靶區評價中的應用［J］.中國地質調查，2021，8（3）：12-20.（Chen Zhidong， Wang Zihao， Liu Sheng. Application of IP method in the evaluation of the target area of Shanlixu Skarn type copper-gold deposit in Chaohu city［J］.Geological Survey of China，2021，8（3）：12-20.）

［5]陳炳錦，鄭崔勇，趙亮亮，等.土壤地球化學測量在陜西勉縣瓦子坪鉛鋅多金屬礦勘查中的應用［J］.現代地質，2021，35（2）：455-465.（Chen Bingjin， Zheng Cuiyong， Zhao Liangliang， et al. Application of soil geochemical survey in the exploration of lead-zinc polymetallic ore in Waziping， Mianxian county，Shaanxi province［J］.Geoscience，2021，35（2）：455-465.）

［6]高樂，周永章，王琨，等.偏最小二乘降維法在粵西層控型鉛鋅礦床發育區水系沉積物地球化學測量數據分析中的應用［J］.大地構造與成礦學，2020，44（2）：258-266.（Gao Le， Zhou Yongzhang， Wang Kun， et al. Application of partial least square modeling in stream sediment geochemical survey of stratabound lead-zinc mineralization in western Guangdong province［J］.Geotectonica et Metallogenia，2020，44（2）：258-266.）

［7]張振杰，成秋明，楊玠，等.機器學習與成礦預測：以閩西南鐵多金屬礦預測為例［J］.地學前緣，2021，28（3）：221-235.（Zhang Zhenjie， Cheng Qiuming， Yang Jie， et al. A case study of iron poly metallic mineral prospectivity in south western Fujian［J］.Earth Science Frontiers，2021，28（3）：221-235.）

［8]Wang Jian， Zuo Renguang， Xiong Yihui. Mapping mineral prospectivity via semi-supervised random forest［J］.Natural Resources Research，2020，29（1）：189-202.

［9]王語，周永章，肖凡，等.基于成礦條件數值模擬和支持向量機算法的深部成礦預測：以粵北凡口鉛鋅礦為例［J］.大地構造與成礦學，2020，44（2）：222-230.（Wang Yu， Zhou Yongzhang， Xiao Fan， et al. Numerical metallogenic modelling and support vector machine methods applied to predict deep mineralization： a case study from the Fankou Pb-Zn ore deposit in northern Guangdong［J］.Geotectoni-ca et Metallogenia，2020，44（2）：222-230.）

［10]Daviran M， Maghsoudi A， Ghezelbash R， et al. A new strategy for spatial predictive mapping of mineral prospectivity： automated hyperparameter tuning of random forest approach［J］.Computers amp; Geosciences，2021，148（3）：104688.

［11]劉艷鵬，朱立新，周永章.大數據挖掘與智能預測找礦靶區實驗研究——卷積神經網絡模型的應用［J］.大地構造與成礦學，2020，44（2）：192-202.（Liu Yanpeng， Zhu Lixin， Zhou Yongzhang. Experimental research on big data mining and intelligent prediction of prospecting target area： application of convolutional neural network model［J］.Geotectonica et Metallogenia，2020，44（2）：192-202.）

［12]郝慧珍，顧慶，胡修棉.基于機器學習的礦物智能識別方法研究進展與展望［J］.地球科學，2021，46（9）：3091-3106.（Hao Huizhen， Gu Qing， Hu Xiumian. Research advances and prospective in mineral intelligent identification based on machine learning［J］.Earth Science，2021，46（9）：3091-3106.）

［13]李詩，陳建平，向杰，等.基于AlexNet網絡的二維找礦預測——以松桃—花垣地區沉積型錳礦為例［J］.地質通報，2019，38（12）：2022-2032.（Li Shi， Chen Jianping， Xiang Jie， et al. Two-dimensional prospecting prediction based on AlexNet network： a case study of sedimentary Mn deposits in Songtao-Huayuan area［J］.Geological Bulletin of China，2019，38（12）：2022-2032.）

［14]Li He， Li Xiaohui， Yuan Feng， et al. Convolutional neural network and transfer learning based mineral prospectivity modeling for geochemical exploration of Au mineralization within the Guandian-Zhangbaling area， Anhui Province，China［J］.Applied Geochemistry，2020，122（11）：104747.

［15]Li Tong， Zuo Renguang， Xiong Yihui， et al. Random-drop data augmentation of deep convolutional neural network for mineral prospectivity mapping［J］.Natural Resources Research，2021，30（2）：27-38.

［16]Li Tongfei， Xia Qinglin， Zhao Mengyang， et al. Prospectivity mapping for tungsten polymetallic mineral resources， Nanling Metallogenic belt， south China： use of random forest algorithm from a perspective of data imbalance［J］.Natural Resources Research，2020，29（2）：203-227.

［17]Yang Na， Zhang Zhenkai， Yang Jianhua， et al. A convolutional neural network of GoogLeNet applied in mineral prospectivity prediction based on multi-source geoinformation［J］.Natural Resources Research，2021，30（12）：3905-3923.

［18]Li Duo， Yao Anbang， Chen Qifeng. Learning to learn parameterized classifification networks for scalable input images［C］//Proc of European Conference on Computer Vision.Cham：Springer，2020.

［19]Yang Taojiannan， Zhu Sijie， Chen Chen， et al. MutualNet： adaptive convNet via mutual learning from network width and resolution［C］//Proc of European Conference on Computer Vision.Cham：Springer，2020.

［20]Zhang Dong， Zhang Hanwang， Tang Jinhui， et al. Feature pyramid transformer［C］//Proc of European Conference on Computer Vision.Cham：Springer，2020.

［21]Lin T Y， Dollar P， Girshick R， et al. Feature pyramid networks for object detection［C］//Proc of International Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer So-ciety，2017：936-944.

［22]Chen L C， Papandreou G， Kokkinos I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution，and fully connected CRFs［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

［23]王新華.大水金礦集區成礦規律與成礦預測數值模型研究［D］.北京：中國地質大學（北京），2020.（Wang Xinhua. Metallogenic pattern and mineral prospectivity modeling of the Dashui gold concentration districk［D］.Beijing：China University of Geosciences，2020.）

［24]葉飛強，蔣朝輝，周昊桂，等.基于多層特征融合Unet高爐爐料礦石圖像分割［C］//中國自動化大會論文集.2020：789-794.（Ye Feiqiang， Jiang Zhaohui， Zhou Haogui， et al. Unet blast furnace burden ore image segmentation based on multi-layer feature fusion［C］//Proc of the China Automation Congress.2020：789-794.）

［25]Lee K， Maji S， Ravichandran A， et al. Meta-learning with differen-tiable convex optimization［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019.

［26]Yao Huaxiu， Liu Yiding， Wei Ying， et al. Learning from multiple cities： a meta-learning approach for spatial-temporal prediction［C］//Proc of World Wide Web Conference. New York：ACM Press，2019：2181-2191.

［27]Behl H S， Naja M， Arnab A， et al. Meta learning deep visual words for fast video object segmentation［EB/OL］.（2020-08-17）.https：//arxiv.org/abs/1812.013971.

［28]Vinyals O， Blundell C， Lillicrap T， et al. Matching networks for one shot learning［C］//Proc of the 30th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2016：3637-3645.

［29]Munkhdalai T， Yu Hong. Meta networks［C］//Proc of the 34th International Conference on Machine Learning.Red Hook，NY：Curran Associates Inc.，2017：2554-2563.

［30]Andrychowicz M， Denil M， Gomez S， et al. Learning to learn by gradient descent by gradient descent［C］//Proc of the 30th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2016：3988-3996.

［31]Huang Zehao， Wang Naiyan. Like what you like： knowledge distill via neuron selectivity transfer［EB/OL］.（2017-12-18）.https：//arxiv.org/abs/1707.01219v2.

［32]Anil R， Pereyra G， Passos A， et al. Large scale distributed neural network training through online distillation［C］//Proc of International Conference on Learning Representations.2018.

［33]Zhang Linfeng， Song Jiebo， Gao Anni， et al. Be your own teacher： improve the performance of convolutional neural networks via self distillation［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019.

［34]Sun Ke， Xiao Bin， Liu Dong， et al. Deep high-resolution representation learning for human pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019.

［35]張士紅.基于深度學習的四川會理“拉拉式”銅礦找礦預測研究［D］.北京：中國地質大學（北京），2020.（Zhang Shihong. Research on prospecting prediction of Lala style copper deposit of Sichuan Huili based on deep learning［D］.Beijing：China University of Geosciences，2020.）

［36]鄭澤宇，趙慶英，李湜先，等.地球化學異常識別的兩種機器學習算法之比較［J］.世界地質，2018，37（4）：1288-1294.（Zheng Zeyu， Zhao Qingying， Li Shixian， et al. Comparison of two machine learning algorithms for geochemical anomaly detection［J］.Global Geology，2018，37（4）：1288-1294.）

［37]左仁廣，彭勇，李童，等.基于深度學習的地質找礦大數據挖掘與集成的挑戰［J］.地球科學，2021，46（1）：350-358.（Zuo Renguang， Peng Yong， Li Tong， et al.Challenges of geological prospecting big data mining and integration using deep learning algorithms［J］.Earth Science，2021，46（1）：350-358.）

［38]He Kaiming， Zhang Xiangyu， Ren Shaoqing， et al. Deep residual learning for image recognition［C］//Proc of International Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：770-778.

［39]Ma Ningning， Zhang Xiangyu， Zheng Haitao， et al. ShuffleNet V2：practical guidelines for efficient CNN architecture design［C］//Proc of European Conference on Computer Vision.Cham：Springer，2018：122-138.

［40]Szegedy C， Liu Wei， Jia Yangqing， et al. Going deeper with convolutions［C］//Proc of International Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2015：1-9.

［41]Sandler M， Howard A， Zhu Menglong， et al. MobileNetV2：inverted residuals and linear bottlenecks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：4510-4520.

［42] Tan Mingxing， Chen Bo， Pang Ruoming， et al. MnasNet： platform-aware neural architecture search for mobile［C］//Proc of International Confe-rence on Computer Vision and Pattern Recognition.2019：2815-2823.