用集中不等式證明精度矩陣的收斂速率

摘要：在神經連接模式和社會網絡分析等環(huán)境中，估計精度矩陣是一個很重要問題. 在高維條件下，基于固定維數(shù)的經典方法和結果不再適用，穩(wěn)定準確地估計精度矩陣問題變得尤為重要. 為了估計高維精度矩陣，采用了自適應約束l1范數(shù)最小化的精度矩陣估計方法，給出了精度矩陣在一類矩陣范數(shù)損失下的收斂速率，并用集中不等式進行詳細的證明.

關鍵詞：精度矩陣；集中不等式；收斂速率

中圖分類號：O212"" 文獻標志碼：A

Proving Convergence Rateof Precision Matrix with Centralized Inequality

Abstract：In the context of neural connection patterns and social network analysis， estimating precision matrix is an important issue. Under high-dimensional conditions， the classical methods and results based on fixed dimensions are no longer applicable， and the problem of stable and accurate estimation precision matrix becomes particularly important. In order to estimate the high-dimensional precision matrix， this paper adopts the precision matrix estimation method with adaptive constraint l1 norm minimization， and gives the convergence rate of the precision matrix under the norm loss of a class of matrices， and uses concentration inequalities to prove it in detail.

Key words：precision matrix; centralized inequality; convergence rate

0 引言

精度矩陣是協(xié)方差矩陣的逆矩陣. 在統(tǒng)計學和機器學習中，精度矩陣用于描述變量之間的相關性和因果關系. 近年來，精度矩陣在社交網絡[1]、在線營銷[2]、醫(yī)療數(shù)據(jù)等領域中應用廣泛，學者們提出了許多估計精度矩陣的方法. 文獻[3]提出了估計精度矩陣的懲罰似然方法，對精度矩陣進行了正定的稀疏和收縮估計. 文獻[4]通過對樣本協(xié)方差矩陣進行條帶化或逐漸減小，證明出估計量在算子范數(shù)中是一致的，并具有明確的收斂速率. CAI T等[5]在2011年提出了一種估計稀疏逆協(xié)方差矩陣的約束l1最小化方法，稱為CLIME， 并給出了不同范數(shù)下的收斂速率.

其中0≤qlt;1，Mn，p和cn，p都是正值，且隨著n和p的增大而增大，M1是一個給定的常數(shù).特別的，當q=0時，矩陣[WTHX]Ω是強稀疏的，即矩陣Ω的每一行和每一列上最多有cn，p個非零元素.

在給定的參數(shù)空間Uqcn，p，Mn，p下，研究了自適應約束l1范數(shù)最小化的精度矩陣估計方法（Adaptive Constrained l1- minimization for Inverse Matrix Estimation），簡稱為ACLIME[6].該估計量能適應單個條目的可變性，具有良好的性能.

定理1[7]（Bernstein不等式） 設X1，X2，…，Xn為獨立零均值的次指數(shù)隨機變量，則存在絕對常數(shù)c，使得對任意的t≥0，有

推論1[7] 設X1，X2，…，Xn為獨立零均值的次指數(shù)隨機變量，則存在絕對常數(shù)c，使得對任意的t≥0，有

1 方法

2011年，CAI[5]通過CLIME方法解決以下優(yōu)化問題：

當log p=On時，存在絕對常數(shù)C，有

與第三步的證明類似，分兩種情況進行討論.

當logp≤（n－1）/［（ln2）2δ2］時，有

通過引理1看到，式（1）和（2）中的約束條件自適應于單個條目的可變性，而不是對所有條目都使用同一個上界λn. 使用ACLIME方法需要估計出Σ和Ω的對角線元素σii和ωjj，其中σii可以通過樣本方差σ*ii進行估計，但是估計ωjj是困難的. 故使用ACLIME估計精度矩陣需要有兩個步驟.

步驟一 估計ωjj. 已知σiiωjj≤（σii∨σjj）ωjj和σii∨σjjωjj≥1. 故引理1中不等式的左邊可以松弛為

2 收斂速率

本節(jié)研究ACLIME估計量的理論性質，并在稀疏精度矩陣Uqcn，p，Mn，p上進行討論. 在一定概率下，ACLIME估計量自適應達到了一定的收斂速率.

證明 定義

其中使用了下面的不等式：對于任意的a，b，c∈R，有

引理4 設矩陣A是一個對稱矩陣，那么對于所有的1≤w≤∞，有

由引理3，能夠得到下式成立的概率大于An，

證明 要討論對于所有的1≤w≤SymboleB@，矩陣范數(shù)期望的上確界，由引理4可知，相當于只需要討論w=1時的情況. 因為從定理2的證明中可以得到

成立的概率大于An，故

成立的概率大于An. 由引理1可知，矩陣Ω滿足式（3）的概率大于An，通過與定理2同樣的討論得到

3 結語

精度矩陣能夠用來衡量變量之間的相關性，以及一個變量對另一個變量的預測能力. 本文是在高維空間中進行討論的，首先研究了估計精度矩陣的自適應約束l1范數(shù)最小化方法."該方法自適應于單個條目的可變性，并且可以通過逐列的方法進行求解. 其次，本文通過集中不等式證明了ACLIME估計量在一類矩陣范數(shù)損失下的收斂速率.

參考文獻：

[1] 王新棟，于華，江成.社交網絡關鍵節(jié)點檢測的積極效應問題[J].中國科學院大學學報，2019，36（3）：425-432.

[2] FAN J Q，LIAO Y，LIU H.An overview of the estimation of large covariance and precision matrices[J].The Econometrics Journal，2016，19 （1）：1-32.

[3] YUAN M，LIN Y.Model selection and estimation in the Gaussian graphical model[J].Biometrika，2007，94（1）：19-35.

[4] PETER B，ELIZAVETA L.Regularized estimation of large covariance matrices[J].The Annals of Statistics，2008，36（1）：199-227.

[5] CAI T，LIU W D，LUO X.A Constrained l1 Minimization Approach to Sparse Precision Matrix Estimation[J].Journal of the American Statistical Association，2011，106（494）：594-607.

[6] CAI T，LIU W D，ZHOU H.Estimating Sparse Precision Matrix：Optimal Rates of Convergence and Adaptive Estimation[J].The Annals of Statistics，2016，44（2）：455-488.

[7] VERSHYNIN R.High-Dimensional Probability.An Introduction with Applications in Data Science[M].Cambridge：Cambridge University Press，2010.

[8] LIU W D，LUO X.Fast and adaptive sparse precision matrix estimation in high dimensions[J].Journal of Multivariate Analysis，2015，135：153-162.

[9] HUANG X D，LI M M.Confidence intervals for sparse precision matrix estimation via Lasso penalized D-trace loss[J].Communications in Statistics - Theory and Methods，2017，46（24）：12299-12316.[ZK）]

[10] WU Z Y，WANG CH，LIU W D.A unified precision matrix estimation framework via sparse column-wise inverse operator under weak sparsity[J].Annals of the Institute of Statistical Mathematics，2022，75（4）：619-648.

[11] HADDOUCHE A M，F(xiàn)OURDRINIER D.Truncated Estimators for a Precision Matrix[J].Mathematical Methods of Statistics，2024，33（1）：12-25.

[12] DONG W，LIU H Z.Distributed Sparse Precision Matrix Estimation via Alternating Block-Based Gradient Descent [J].Mathematics，2024，12（5）：646.

[13] ZHU M M，JIANG J W，GAO W F.A fast ADMM algorithm for sparse precision matrix estimation using lasso penalized D-trace loss[J].Egyptian Informatics Journal，2024，25：100425.