基于視覺強化學習的數字芯片全局布局方法

摘 要：在數字芯片后端設計中，全局布局需要同時兼顧線長與合法化，是一個組合優化問題。傳統的退火算法或者遺傳算法耗時且容易陷入局部最優，目前強化學習的解決方案也很少利用布局的整體視覺信息。為此，提出一種融合視覺信息的強化學習方法實現端到端的全局布局。在全局布局中，將電路網表信息映射為多個圖像級特征，采用卷積神經網絡（convolutional neural network，CNN）和圖卷積網絡（graph convolutional network，GCN）將圖像特征和網表信息相融合，設計了一整套策略網絡和價值網絡，實現對全局布局的全面分析和優化。在ISPD2005基準電路上進行實驗，結果證明設計的網絡收斂速度加快7倍左右，布局線長減少10%～32%，重疊率為0%，可為數字芯片全局布局任務提供高效合理的方案。

關鍵詞：全局布局； 深度強化學習； 計算機視覺； 圖卷積神經網絡； 數字芯片

中圖分類號：TP391.7文獻標志碼： A文章編號：1001－3695（2024）04－046－1270－05

doi：10.19734/j.issn.1001－3695.2023.08.0385

Visual－based reinforcement learning for digital chip global placement

Xu Fanfeng， Tong Minglei

Abstract： In the back－end design of digital chips， it needs to consider both wire length and legalisation during global placement. Global placement represents a combinatorial optimization problem. Traditional annealing algorithms or genetic algorithms consume a significant amount of time and are susceptible to entering local optima. Current reinforcement learning solutions seldom leverage the overall visual information of the placement. Therefore， this paper proposed a reinforcement learning method that incorporated visual information to attain end－to－end global placement. During the global placement， it mapped the circuit netlist information into multiple image－level features， and utilized CNN and GCN to merge the image features with the netlist information. It employed a complete set of strategy networks and value networks to conduct comprehensive analysis and optimization of the global placement. Experiments on the ISPD2005 benchmark circuit demonstrate that the designed networks accelerate the convergence speed by approximately 7 times， reduce the placement wire length by 10% to 32%， and achieve a 0% overlap rate. This approach offers an efficient and rational solution for the global placement task of digital chips.

Key words：global placement; deep reinforcement learning; computer vision; graph convolutional neural network; digital chip

0 引言

近幾十年來， 隨著超大規模集成電路（VLSI）技術的發展［1］， 數字芯片的集成度不斷提高， 芯片中使用大量的知識產權核心（IP）來實現模塊化［2］。因此在后端設計中，全局布局需要考慮的宏塊（如SRAM）數量逐漸增加，其尺寸和復雜性也隨之增加。在后端設計流程中，全局布局至關重要［3］，其中涉及如何在硅片水平方向上放置宏塊，且在有限的芯片面積內合理布局，極大數量的宏塊［4］。在過去的幾十年中，人們在芯片自動全局布局領域［5］取得了很大進展，但實現完全自動化的設計規劃仍然非常困難［6］。目前，即使最先進的EDA工具也需要物理設計工程師的手動干預和優化［7］，以便產生可制造的全局布局。全局布局的可制造性［8］通常包括芯片尺寸、器件密度、布線長度等方面。

全局布局可以視為帶有幾何約束的2D裝箱問題的復雜變種［9］，其目標是實現宏塊零重疊并減少線長。近年來，國內外學者針對此問題的研究可以概述為兩類［9］，分別是基于優化的方法和基于學習的方法。

基于優化的方法包括：a）基于模擬退火算法采用了一種隨機游走的優化策略，優勢在于在短時間內能夠尋找到較優解，然而劣勢在于可能陷入局部最優解；b）基于遺傳算法采用進化計算技術，優勢在于能夠搜索解空間中的多個最佳解，并可自動調整搜索策略，但需投入大量的計算時間和資源，因此在大規模芯片設計場景下并不十分適用；c）基于貪心算法采用貪心策略，從初始布局出發，逐步優化布局，其優勢在于速度快，適用于中小規模芯片設計，但缺陷在于難以找到全局最優解；d）基于力導向布局算法運用物理學中的力學原理，通過在芯片元件間構建彈性力學模型，使其在不同的布局空間內運動，最終生成最優布局，這一方法的優勢在于規避局部最優解，且能有效處理布局約束，但同樣需要大量的計算時間和資源。需要注意的是，這些基于優化的方法都需要對目標函數進行定義和優化，這個過程本身可能存在一定的主觀性，因此結果可能并不是絕對準確的。此外，這些方法在應對復雜的約束條件和大規模芯片設計時也存在一定的挑戰。

基于學習的方法現在仍處于起步階段，隨著GPU性能越來越強大和機器學習應用越來越廣泛，在很多領域都能發揮極大的作用，甚至在某些方面可以超越人類專家。深度強化學習有自適應性和搜索能力，被認為是一種有潛力解決這類NP－hard問題［10］的方法。通過學習最佳策略，可以在給定的約束條件下找到近似最優的解決方案，比如現在的AlphaZero［11］、ChatGPT［12］等。對宏塊的放置可以類似看作一個下圍棋的過程，每次執行一步都會對未來產生影響，如DeepPR［13］中采用PPO算法搭建網絡，智能體把每一個宏塊看作像素點，依次在畫布上擺放。

然而，現有的基于學習方法的全局布局在優化線長時沒有充分利用電路原始信息，只利用了宏塊位置，將單一信息作為狀態空間的輸入，導致線長的下降達到瓶頸，也沒有對合法化進行硬約束。針對上述問題，本文提出了一種基于A2C算法［14］的強化學習網絡框架，實現了端到端的全局布局，采用計算機視覺分別把宏塊的位置、尺寸和連接關系映射為四張像素圖，并結合圖論方法［15］， 實現多模態輸入狀態空間，充分利用了圖像和電路結構的信息。在考慮真實宏塊大小的情況下，以最小化線長和零重疊為目標，優化了密集內在獎勵和外在獎勵。以精妙的策略網絡和價值網絡提取整體和局部信息，設計了合適的環境，可以實現自動讀取電路網表信息的功能，包括芯片面積、宏塊大小、引腳偏移、連接關系，并將這些信息等比縮放映射到一個128×128的平面上，便于智能體進行交互，在硅片上自動分配宏塊位置，最終得出網表優化結果。

實驗結果表明，在ISPD2005基準電路［16］中，本設計的全局布局重疊率可以達到0%，線長比目前的先進方法降低10%～32%，網絡收斂速度比同樣是強化學習方法的DeepPR快7倍左右。綜上所述，本文為數字芯片全局布局任務提供了快速合理的解決方案。

1 相關工作

1.1 全局布局

目前主流的EDA公司都把布局布線算法嵌入到本公司的EDA軟件中。在數字電路后端設計中，布局布線流程如圖1所示。全局布局是芯片設計過程中最關鍵且最耗時的步驟之一，直接影響了芯片的性能、功耗、可靠性、成本和未來的可維護性。全局布局的輸入是網表，其中包括每個網絡內宏塊的互連關系。此環節中主要考慮的是如何以最小化布線長度在有限的芯片面積內精確分配宏塊位置，并輸出供詳細布局使用的優化網表。良好的全局布局會帶來更好的芯片面積利用率和時序性能，而較差的全局布局會影響芯片的性能，甚至使其無法制造。

1.2 基于優化的全局布局方法

ePlace ［17］和RePlAce ［18］采用力導向法和非線性優化器，這兩種方法將網表的每個節點（宏塊）表示為帶正電的粒子。通過排斥力的調節，模擬節點之間的相互作用，密度函數D（x， y）對應系統勢能。該分析方法基于梯度的優化方案更新宏塊的位置，引入了基于靜電的全局平滑密度代價函數和內斯特羅夫方法，非線性優化器能更平滑地逼近代價函數，但是計算成本高，推理速度慢，需要大量計算資源且不能達到最優解。

DREAMPlace［19］基于最先進的分析放置算法RePlAce，通過深度學習工具包PyTorch實現手動優化的關鍵操作符，與基于CPU的工具相比，實現了超過30倍的加速。該方法以最小化線長函數WL（x，y）和密度函數D（x，y）為目標，放松了密度約束，不能直接生成有效的可制造布局，還需后續的手動調整，使布局達到合法化。

1.3 基于學習的全局布局方法

graph placement［20］是一種基于學習的端到端宏塊放置方法的創新，采用強化學習智能體擺放15%的宏塊以減少計算量，其余宏塊采用優化的方法放置。價值網絡采用GCN對網表信息進行編碼，該方法的代價是要舍棄宏塊的引腳偏移，因為宏塊上可能存在成百上千個引腳，如果把帶有豐富引腳信息的網表輸入GCN，會導致網絡難以學到復雜的連接關系。不同的網絡中宏塊之間是通過不同引腳連接的，粗略放置會導致線長的增加。同時此方法存在獎勵稀疏問題，不利于智能體的學習。

DeepPR同樣也采用了GCN，也存在和graph placement同樣的問題。其采用了隨機蒸餾作為內在密集獎勵，此方法能使智能體增加探索，但是和最終布局完成的外在獎勵關系不緊密，會影響智能體的優化方向。同時DeepPR把宏塊均映射為32×32平面上的1個像素點，沒有考慮宏塊真實尺寸，導致重疊率大大增加，即使后期修正也有可能無解，任何重疊在實際中都是不可行的。

2 問題描述與注釋

全局布局的主要任務是將尺寸不同的宏塊放到有限面積的硅片上，其有兩大優化目標。首先，合法化是確保宏塊之間的擺放互不重疊且不超出硅片邊界，重疊率的計算公式如下：

其中：m表示宏塊數量；si表示每個宏塊實際大小；Sreal表示放置完成后宏塊占據硅片的總面積。圖2中的情況是不可制造的無效布局。

其次，另一個目標是盡量將同一網絡的宏塊放置在靠近的位置，將連線的長度最小化。在布局優化中，對于線長的優化通常采用半周長線長（half－perimeter wirelength，HPWL）進行衡量。HPWL的定義為

其中：xi、yi表示網絡內引腳的坐標，通過此方法可以找到容納網絡內所有引腳的最小矩形，并取矩形周長的一半作為網絡線長。結果與實際線長成正比，因此該方法較為準確且計算復雜度低。

本文引入了引腳偏移的概念，采用了五角星點計算HPWL，相比于不引入引腳偏移時統一采用左下角圓點計算HPWL，引入引腳偏移可以更精準地評估線長，如圖3所示。

3 數字芯片全局布局方法設計

3.1 馬爾可夫決策過程

利用強化學習方法解決此問題，需要構建包括狀態、動作、獎勵在內的馬爾可夫決策過程［21］，如圖4所示。

模型應用流程如下：

a）輸入待優化電路的網表信息到預處理模塊，提取需要的宏塊和芯片信息給環境。

b）環境中生成初始狀態s0和初始內在獎勵ri0。

c）智能體讀取狀態s0并生成動作a0。

d）動作a0返回環境生成下一狀態s1和內在獎勵ri1。

e）重復流程c）d）。

f）擺放最后一個宏塊后，環境給出外在獎勵re。

g）輸出優化之后的電路網表信息。

3.2 網絡結構

本文設計的強化學習端到端網絡結構如圖5所示。

策略網絡中將一張宏塊位置圖、一張位置遮罩圖、一張線長熱力圖和一張引腳熱力圖，四張圖拼接作為分支卷積網絡的輸入，得到兩個輸出特征F1、F2。再將位置遮罩圖、線長熱力圖和引腳熱力圖拼接，并通過重提取神經網絡整合原始信息到更高級別的特征表示中，使得網絡更容易學習到細粒度的特征和局部信息。得到的特征F3與F2拼接后經過一個1×1的卷積層，再與位置遮罩圖、線長熱力圖和引腳熱力圖點乘，此過程本質上是通過一種加權融合的方式得到動作at。價值網絡中將網表信息和宏塊坐標輸入圖神經網絡，再與分支神經網絡輸出的特征F1拼接，最后通過全連接層輸出價值vt。

3.3 狀態空間

本設計采用計算機視覺的方法從四個角度提取硅片當前的狀態信息，并表示為四張128×128的像素圖，這樣可以更好地捕捉狀態的多樣性和復雜性，讓智能體精準地學習最佳策略。

3.3.1 宏塊位置圖

如圖6所示，宏塊位置圖表示當前硅片上宏塊的擺放情況，強化學習算法選擇的動作是宏塊的左下角坐標，原點坐標為左下角。下文將以該坐標作為宏塊位置的參考點。

3.3.2 位置掩碼圖

為了貼合實際情況引入宏塊尺寸，在宏塊放置時要避免重疊問題。如圖7所示，當放置第t個宏塊M3時，將前t-1個宏塊按照M3的尺寸（2，4）向左下方膨脹。宏塊M1尺寸為 （u，v），宏塊M2尺寸為（m，n），膨脹后M1的左下角坐標從（x y1）平移到（x2- y2-3），尺寸膨脹為（u+ v+3），M2左下角坐標從（x2，y2）平移到（x2- y2-3），尺寸膨脹為（m+ n+3），同時為了防止宏塊超出全局布局邊界，將上邊界膨脹（4-1）個單位大小，右邊界膨脹（2-1）個單位大小，每個模塊放置之前都會進行同樣的膨脹操作，圖7中白色區域為宏塊M3可用位置。此方法相較于傳統方法中驗證每個像素點是否重疊，大大降低了計算復雜度。

3.3.3 線長熱力圖

放置第t個宏塊時，首先篩選出與其相連的所有宏塊，然后取這n個宏塊的中心點，最后通過高斯核生成線長熱力圖用于指導第t個宏塊的最佳擺放位置，以使得線長最短。如圖8所示，M1、M2是互連的宏塊，以它們的中心點生成高斯核熱力圖，顏色越淺表示下一個宏塊加入后，增加的線長越短。

3.3.4 引腳熱力圖

生成線長熱力圖的這些宏塊，互相之間不一定存在連接關系。因此，還需要第t個宏塊引腳所在網絡的精確信息，進一步細化連接關系，保證每個網絡的引腳盡量靠近，降低線長。

放置第t個宏塊時，需要確定其所在的網絡，該網絡包含宏塊的引腳相連信息。首先通過已擺放宏塊的引腳偏移計算出網絡的形狀，然后計算每個點到該網絡的曼哈頓距離并生成引腳熱力圖。如圖9所示，如果第t個模塊在此網絡中的引腳放置在矩形框區域內，則線長增加為0。如果第t個宏塊有n個引腳，則會計算n個網絡的熱力圖并將其疊加，生成此宏塊的引腳熱力圖。

3.4 動作空間

將芯片等比例縮放映射為128×128的平面作為動作空間，像素圖上的點表示可選動作，即宏塊可放置位置。

3.5 放置順序

為了使線長熱力圖和引腳熱力圖發揮最大的作用，不同于其他設計按宏塊的序號或尺寸擺放，本設計考慮到引腳偏移和連接關系的復雜度，因此設定了一個特殊的宏塊擺放順序，即按宏塊的引腳數量從大到小排序。此方法可以保證在前期宏塊放置的過程中，能盡快把網絡的形狀確定下來。反之，如果后期放置時存在某個大量引腳的宏塊，該宏塊可能引起十幾個甚至上百個網絡的變動，從而導致線長波動增大，使模型不穩定。

3.6 內在獎勵和外在獎勵

內在獎勵為宏塊擺放前后半周長線長（HPWL）變化值的相反數，公式如下：

其中：rit表示放置第t個宏塊的內在獎勵；ni表示第i個網絡。相比于DeepPR，使用隨機蒸餾作為內在獎勵，本設計同樣保證了獎勵的密集度，也保證了每個時間步的獎勵都和最終的獎勵、最終的獎勵總線長相關，使智能體以減少每個網絡的HPWLm為明確目標。

外在獎勵計算公式如下，其中HPWLc（N）是采用DREAMPlace工具對最終的全局布局結果進行詳細布局的結果，超參λ根據給定的電路情況進行調節。

3.7 強化學習

本文采用A2C算法，一種基于策略梯度和價值函數的強化學習方法。策略網絡的策略梯度更新公式如下：

其中：J（θ）表示目標策略的性能;θJ（θ）表示策略梯度；π（at|st）表示在宏塊擺放狀態st下選擇位置at的概率；Aπ（st，at）表示相對于基準函數B（st）的優勢函數。

對于價值網絡的值函數更新，則需要先計算出每一次的獎勵，然后使用TD誤差計算當前狀態值和下一時刻狀態值之間的誤差，進而更新價值網絡的參數，公式如下：

其中：r是當前時刻的獎勵；γ是折扣因子；V（s′）是下一時刻的狀態值；V（s）是當前時刻的狀態值，使用每個狀態s的TD誤差δ的平方來衡量當前值函數V（s）的誤差，并用該誤差更新價值網絡的參數。

A2C算法流程如下：

a）初始化策略網絡和價值網絡的參數。

b）128×128的空白圖像作為初始化狀態s0的輸入，使用策略網絡生成第一塊宏塊位置，即動作a0。

c）環境中生成下一時刻的狀態s1和對應的內在獎勵r1。

d）使用價值網絡估計當前的狀態值，并計算TD誤差δ。

e）更新價值網絡的參數以減少TD誤差。

f）使用TD誤差δ計算優勢函數Aπ（st，at）。

g）使用策略梯度公式更新策略網絡參數。

h）將狀態更新為下一狀態s 并返回步驟b）。

經過大約50輪的迭代，策略和價值網絡的參數將會逐漸趨于最優狀態。

4 實驗結果與分析

4.1 實驗配置

本文的實驗基于64位Linux操作系統，以Python 3.7為語言環境，PyTorch 1.12為深度學習框架。實驗在12核20線程的i7－12700KF CPU和32 GB內存上運行，并由10 GB的NVIDIA GeForce RTX3080 GPU加速。CUDA版本為11.7。訓練本文模型時，Adam優化器［22］學習率設置為6×10E-3。

4.2 基準電路

表1中的6個電路均是ISPD2005基準電路，來源于現代工業專用集成電路設計。這些基準電路包括相當獨特的功能特征，以代表現代物理設計的挑戰，其中提供了待布局的原始網表數據和電路信息。首先對每個基準電路進行處理，篩選出和其他宏塊不連接的獨立宏塊，接著把處理好的電路文件輸入到本文的端到端模型，智能體負責對可移動宏塊進行放置，最后得出優化之后的網表結果。

4.3 全局布局結果與主流算法效果對比

目前，最先進的全局布局器包括基于優化方法的DREAMPlace、基于強化學習方法的DeepPR，以及將強化學習和優化方法融合的graph placement。本文參考之前的研究［20］，計算放置完標準單元之后的HPWL（×107），并采用式（3）來計算全局布局中的重疊率，其中DREAMPlace是參照文獻［20］的實驗設置。

如表2所示，本文提出的全局布局模型與其他算法布局結果相比，線長減少了10%～32%且能達到零重疊。這意味著在設計中能夠有效地減少電路元件之間的沖突，從而提高電路的可靠性和性能。圖10（a）和（b）為DeepPR及本文模型分別在電路adaptec3上全局布局的實際結果圖，很明顯本文結果更符合實際應用。

4.4 算法復雜度對比

表3對比了同樣是強化學習方法的DeepPR和本文模型布局網絡的收斂速度，結果表明，本文模型收斂速度可以比DeepPR更快收斂到最優解。

傳統組合優化方法的DREAMPlace中雖然部分采用了深度學習工具包PyTorch以及GPU加速，但本質上是在連續的空間上搜索宏塊位置，仍需要經過多次迭代、局部搜索、參數調整等優化過程，這些過程需要很多計算時間來達到最優解或接近最優解。表4所示，本文模型和DeepPR是在離散空間上搜索動作，均比DREAMPlace的推理速度快兩倍左右。

4.5 消融實驗

為了驗證策略網絡中各個模塊對網絡有積極影響，在adaptec3電路圖上設計消融實驗，結果如表5所示。

進一步分析實驗結果，得到以下結論：

a）在狀態空間中，宏塊位置圖可以讓智能體獲取宏塊的精準位置和整體擺放情況，位置掩碼圖提取可用位置信息，線長熱力圖提供宏塊間粗略的連接關系，引腳熱力圖提供網絡引腳的詳細連接關系。因此，它們相結合才能保證線長最短和零重疊。在方案1～3中，線長增加2.70%～32.32%；在方案4中，雖然線長減少60.35%，但是重疊率上升到了79.85%，這種全局布局是無意義的。

b）圖卷積神經網絡通過探索網表的物理意義，用低維向量表示節點的類型和連接性信息。方案5中，如不嵌入詳細的網表信息，則線長增加24.94%，重疊率上升為2.45%。

c）重提取神經網絡可以將較淺層的特征直接傳遞到較深層，提高模型對細節的捕捉能力和表示能力。在缺乏該網絡提供的特征融合機制的情況下（方案6），線長增加13.74%。

4.6 算法對比

圖11展示了本文嘗試使用A2C、PPO、ACKTR和Rainbow DQN算法對本文模型進行訓練的對比結果。結果表明，A2C算法更適合本文設計的模型。

5 結束語

針對數字芯片全局布局這一組合優化問題，提出了基于視覺和強化學習的混合方法，設計了一套完整的策略網絡和價值網絡，通過視覺多角度獲取宏塊擺放過程中的狀態信息，豐富輸入特征，從而提高智能體對動作決策的準確性；設計了重提取神經網絡，此特征融合機制有助于綜合利用不同層級的信息，提升整體全局布局質量；引入了圖神經網絡，通過學習網表的拓撲結構和節點間的關系，使模型能夠更好地理解電路全局布局的特征和相互作用，從而更準確地進行全局布局決策。實驗證明，本文算法各項指標高于目前最先進的全局布局算法，為數字芯片后端設計流程中的全局布局提供了高效合理的實際解決方案。

參考文獻：

［1］Markov I L， Hu Jin， Kim M C. Progress and challenges in VLSI placement research［C］//Proc of IEEE/ACM International Confe－rence on Computer－Aided Design. Piscataway， NJ： IEEE Press， 2012： 275－282.

［2］Rabaey J M. Digital integrated circuits a design perspective［M］.［S.l.］： Prentice－Hall Inc.， 1999.

［3］Zaruba D， Zaporozhets D， Kureichik V. Artificial bee colony algorithm—a novel tool for VLSI placement［C］//Proc of the 1st International Scientific Conference on “Intelligent Information Technologies for Industry”. Cham：Springer， 2016： 433－442.

［4］Cheng Ruoyu， Lyu Xianglong， Li Yang， et al. The policy－gradient placement and generative routing neural networks for chip design［J］.Advances in Neural Information Processing Systems ， 2022，35 ： 26350－26362.

［5］Wang L T， Chang Yaowen， Cheng K T T，et al.Electronic design automation： synthesis， verification， and test［M］. San Francisco，CA：Morgan Kaufmann Publishers， 2009.

［6］Tang Maolin， Yao Xin. A memetic algorithm for VLSI floor planning［J］.IEEE Trans on Systems Man and Cybernetics， Part B（Cybernetics） ， 2007， 37 （1）： 62－69.

［7］Lienig J， Scheible J， Lienig J，et al.Steps in physical design： from netlist generation to layout post processing［M］//Fundamentals of Layout Design for Electronic Circuits. Cham： Springer， 2020： 165－211.

［8］Kahng A B， Lienig J， Markov I L，et al.VLSI physical design： from graph partitioning to timing closure［M］. Berlin： Springer， 2011.

［9］Yan Junchi， Lyu Xianglong， Cheng Ruoyu，et al.Towards machine learning for placement and routing in chip design： a methodological overview［EB/OL］. （2022－02－28）. https：//arxiv.org/abs/2202.13564.

［10］Hochba D S. Approximation algorithms for NP－hard problems［J］.ACM SIGACT News，1997，28 （2）： 40－52.

［11］Zhang Hongming， Yu Tianyang. AlphaZero［M］//Deep Reinforcement Learning： Fundamentals， Research and Applications. Berlin： Springer， 2020： 391－415.

［12］Brown T， Mann B， Ryder N，et al.Language models are few－shot learners［J］.Advances in Neural Information Processing Systems ， 2020， 33 ：1877－1901.

［13］Cheng Ruoyu， Yan Junchi. On joint learning for solving placement and routing in chip design［J］.Advances in Neural Information Processing Systems ， 202 34 ： 16508－16519.

［14］Mnih V， Badia A P， Mirza M，et al.Asynchronous methods for deep reinforcement learning［C］//Proc of International Conference on Machine Learning.［S.l.］：PMLR， 2016： 1928－1937.

［15］Kipf T N， Welling M. Semi－supervised classification with graph con－volutional networks［EB/OL］. （2017－02－22）. https：//arxiv.org/abs/1609.02907.

［16］Nam G J， Alpert C J， Villarrubia P，et al.The ISPD2005 placement contest and benchmark suite［C］//Proc of International Symposium on Physical Design. New York：ACM Press， 2005： 216－220.

［17］Lu Jingwei， Chen Pengwen， Chang C C，et al.ePlace： electrostatics－based placement using fast Fourier transform and Nesterov’s method［J］.ACM Trans on Design Automation of Electronic Systems，2015， 20 （2）： 1－34.

［18］Cheng C K， Kahng A B， Kang I，et al.RePlAce： advancing solution quality and routability validation in global placement［J］.IEEE Trans on Computer－Aided Design of Integrated Circuits and Systems ， 2018， 38 （9）： 1717－1730.

［19］Lin Yibo， Dhar S， Li Wuxi，et al.DREAMPlace： deep learning toolkit－enabled GPU acceleration for modern VLSI placement［C］//Proc of the 56th Annual Design Automation Conference. Piscataway， NJ： IEEE Press， 2019： 1－6.

［20］Mirhoseini A，Goldie A，Yazgan M， et al.A graph placement metho－dology for fast chip design［J］.Nature ， 202 594 （7862）： 207－212.

［21］Zhao Hang， Zhu Chenyang， Xu Xin，et al.Learning practically feasible policies for online 3D bin packing［J］.Science China Information Sciences ， 2022， 65 （1）： 112105.

［22］Kingma D P， Ba J. Adam： a method for stochastic optimization［EB/OL］. （2017－01－30）. https：//arxiv.org/abs/1412.6980.

收稿日期：2023－08－16；修回日期：2023－10－01基金項目：國家自然科學基金資助項目（62105196）

作者簡介：徐樊豐（1999—），男，上海人，碩士研究生，CCF會員，主要研究方向為數字芯片全局布局布線、深度強化學習；仝明磊（1976—），男（通信作者），山東菏澤人，副教授，碩導，博士，主要研究方向為EDA智能化、深度學習、計算機視覺（tongminglei@shiep.edu.cn）．