結合Winner-Take-All的足球機器人控制策略研究

廖列法，李浩瀚，李 帥，朱合隆，李志軍

1.江西理工大學 信息工程學院，江西 贛州 341000

2.斯旺西大學 工程學院，英國 威爾士 斯旺西SA1 8EN

隨著工業和互聯網等高新技術的發展，逐漸出現一種可以靈活運動的機器，該機器能夠應對實時對抗的復雜環境[1]，這種近似于人類那樣的活動方式和基本職能的產物逐漸出現——機器人[2]。隨后又出現人工智能，好似給機械化的機器安裝上一顆靈活的大腦，使其逐漸在各個領域都能大展宏圖，更甚者比人類還出色。足球機器人[3]系統的研究涉及非常廣泛的領域[4]，包括機械電子學、機器人學、傳感器信息融合、智能控制、通訊、計算機視覺、計算機圖形學、人工智能[5]等，吸引了世界各國的廣大科學研究人員和工程技術人員的積極參與。

足球機器人是一個多智能體，本身就是多種科技的集合體，對多個學科來說都有很高的研究價值[6]，這是針對于個體本身來說。但是，它們又是同樣的復刻體，是有許多相似的“活動”，又可以組成一個團隊。不單單局限于個體本身的各個智能模塊的研究，還可以上升到整個團隊之間的研究。例如：競爭與協作等復雜的關系研究。足球機器人可以運用人工智能等先進科技技術，模擬現實中的運動員比賽模式，演繹一場非常精彩的機器人足球比賽。足球機器人比賽中涉及多領域研究方法，通過機器人比賽，可以很好的促進思想的交流，引進新的技術.相關專家學者也以足球機器人的控制為研究對象，對其進行深入研究，產生了一些較為成熟的理論和應用。

足球機器人在運動過程中會受到障礙物的干擾和足球態勢的隨機性等因素的影響，導致足球機器人的避障性能不好，需要對其進行智能控制設計，同時也要考慮它們的能耗問題。為了提高足球機器人的智能控制能力，研究足球機器人的優化控制方法，在足球機器人的設計和比賽優化中具有重要意義。

競爭在自然界和社會中廣泛存在[7]。在不同類型的競爭中，“贏者通吃”是指個體在群體中相互競爭[8]的現象，只有輸入最高的個體保持激活狀態，其余個體均被抑制。這種類型的競爭的例子包括中央主干的主導增長，視覺系統中通過神經元之間的贏者通吃競爭的對比增益[9]，皮層決策競爭[10]，基于競爭的多機器人協調控制[11]等。

盡管上面所舉例說明的許多現象都表現出相同的贏家通吃比賽，但是它們可能有不同的基本原則負責動態進化。除了分布式存儲和高速并行處理的特點之外，神經網絡可以很容易地通過硬件來實現，并且已經被廣泛應用于各個領域，包括競爭現象[12]。例如，文獻[13]中介紹的N種類Lotka-Volterra 模型，交互式地插入Fitzhugh-Nagumo模型。

APF[14]方法是由Khatib 率先提出的，剛開始只是為了解決機械手臂在移動抓取物體的時候，能夠不碰到工作臺。但是后來人們發現，這個方法在移動機器人上也有很好的效果。能產生出非常平滑的運行軌跡。人工勢場法就是在已知起點、終點和障礙物位置的情況下，構建一個人工勢場來模仿這種作用機制。人工勢場法的優點在于，它其實是一種反饋控制策略，對控制和傳感誤差有一定的魯棒性。

人工勢場法簡單實用，有良好的實時性結構，在實時避障和平滑的軌跡控制方面得到廣泛的應用。它的基本思想是將機器人在周圍環境中的運動，設計成一種抽象的人造引力場中的運動，目標點對移動機器人產生“引力”，障礙物對移動機器人產生“斥力”，最后通過求合力來控制移動機器人的運動。目標機器人受力分析如圖1所示。

圖1 機器人受力分析圖

這個算法里面最主要的就是引力勢場和斥力勢場的設計。傳統方式的設計。利用勢函數U來建立人工勢場。勢（場）函數是一種可微函數，空間中某點處勢函數值的大小，代表了該點的勢場強度。最簡單的勢函數是引力/斥力勢函數。

某點p處的勢函數U(p) 表達為引力勢和斥力勢之和：

最常見的引力勢函數表達如下：

其中，ζ為代表增益，d(p,pgoal)為當前點p到目標點pgoal之間的距離。

常見的斥力勢函數表示如下：

其中，D(p)為點p與其最近障礙物之間的距離，η為斥力增益，Q*為障礙物的作用距離閾值，大于此距離的障礙物不會產生斥力影響。

WTA 模型中的輸入值就是兩坐標點之間的坐標，輸出值是機器人的速度矢量，包括速度標量和速度方向。這些正是機器人進行路徑規劃的基本條件和必要條件。而APF路徑規劃法簡單實用，有良好的實時性結構，操作簡單，實際操作性強。最重要的是，勢場法里最多的必要值也是兩點間的距離。這就有良好的互通性，操作步驟和數據也類似。通過改進的算法，也大大提高了效率，避免了大多的弊端，使路徑更平滑，也使運動過程更加完整。

按照上述的思想，總體過程分兩步，分別采用對應的策略來進行問題的求解，總體流程圖如圖2所示。

圖2 運動過程流程圖

1 問題的提出

在足球機器人系統中，其運行環境是部分己知、部分未知，含有靜態和動態障礙物的環境，且是個時刻變化的競爭性動態環境。足球機器人運動場地圖3所示。

圖3 足球場場景圖

如圖3，描述的是足球機器人的比賽場地。雙方各派出11 個足球機器人，在規定的場地上進行足球比賽。所有的比賽環境都是在理想的狀態下進行的，不考慮過多的人為和其他自然力量的影響。這里說明一下比賽過程，大致分為兩個關鍵部分：第一個部分，比賽開始時，雙方都靜止在各自的場地中。等待比賽指令的傳達，雙方運動員去搶足球。當某一方成功搶到足球時，就控制足球向對方球門運動[15]。過程中會遇到對方球員的阻撓，成功越過障礙，到達對方球門，贏得比賽。否則，球會到達對方的隊員，再重復上述過程，直至某一方獲得勝利，比賽結束。

整個比賽過程，其實是由許多小分部組成，每個過程都不可或缺，共同構成足球機器人智能控制體系。足球機器人和足球都屬于不確定性障礙物，它們的形狀確定，但位置不確定，而且可能是靜態的或者是動態的，對這些障礙物的避障[16]是研究的重點和難點。

踢球是機器人足球比賽中一個最基本的動作，它是指機器人快速運動到球的位置，從而將球推出去。避障是機器人足球比賽中一個重要的動作，它是指機器人控球運動過程中，躲避出現的障礙，使其成功到達目標點。

本文研究的是單個足球機器人的運動，多個機器人間的競爭關系。比賽通常來說是一個動態的過程，在一個動態的系統中，如果每個組成部分都是無序的，不按照一定的規則來有序地進行，那么就會出現相應的一些問題。道路上車輛不遵守交通規則，就會出現交通事故；自然萬物如果不遵守達爾文進化論，就會出現畸形，給人們帶來難以估量的后果。所以要遵守規則，在足球機器人中這個規則就是控制策略。

足球機器人運動過程中路徑的規劃也是智能機器人的一個重要的課題，是機器人智能性的一個重要體現。在靜態環境和動態環境下進行路徑規劃與實時避障是解決機器人應用的一個非常重要的問題，而動態不確定環境下的機器人路徑規劃則是實際研究與應用的一個重點和難點。在足球機器人中，路徑規劃[17-18]的目的主要有兩個：一是為了完成制定的動作；二是為了躲避障礙并且實現安全平穩的運行。

足球機器人的路徑規劃有些顯著的特點。

（1）復雜性：機器人足球系統是一個實時的、動態的復雜多機器人系統[19]。在這種動態時變環境中，機器人路徑規劃非常復雜，且需要很大的計算量。

（2）隨機性：機器人足球是一個充滿對抗的復雜環境，對方機器人的運動是難以預測的，動態障礙物的出現也帶有隨機性。

（3）多約束：機器人的運動存在幾何約束和物理約束。幾何約束是指機器人的形狀制約，而物理約束是指機器人的速度和加速度。

（4）多目標：機器人運動過程中路徑性能[20]要求存在多種目標，如路徑最短，時間最優，安全性能最好，能源消耗最小。但它們之間往往存在沖突。實現起來比較困難了。

2 基于贏者通吃的控制方案

2.1 多機器人搶球競爭

足球機器人的比賽是一個多人參與的競技體育運動，比賽過程中，機器人處于不斷運動，不時的變化著運動狀態，是一個在連續時間內不斷變化的過程。這樣時間和運動狀態之間就不是單純的線形關系，時間和運動狀態之間就沒有了必要的聯系，屬于非線性關系。機器人畢竟不能像人類那樣擁有發達的大腦，可以自由機敏的控制自己的行為。如果繼續按照原先設定的程序，那么很可能就事倍功半。不僅阻礙自己的隊友，還會無形的幫助對方。所以，需要有一個相對可靠的策略來控制機器人的行為。

傳統方法是需要所有隊員都去追趕足球，最終只有一個機器人搶到足球，這樣，其他沒有搶到足球的機器人的能量就浪費掉。按上述方法，只允許離得最近的機器人去追趕足球，節省了許多不必要的能量開支。紅色部分就是采用新的策略來進行搶球的，其余藍色的機器人就不會去搶奪足球。搶球示意圖如圖4所示。

圖4 機器人搶球過程圖

本文中將采用WTA（Winner-Take-All）輔助競爭模型，來描述這種在連續時間非線性的競爭關系。足球運動時，離每一個機器人的距離都不一樣，且為了更方便快捷的控制足球運動，需要找到一個離足球最有優勢（距離最近）的隊員來控制足球[21]。并且，足球是一個運動的物體，可以看成一個動態的系統，而且距離足球最有優勢的運動員也在無時無刻的變化。這就需要找出最具有優勢的隊員來進行控制，從而達到更具有效率。

下面將介紹WTA競爭模型的建立以及針對模型本身的基本分析。

一組中有n個機器人，那么它的第m個機器人有以下的動態過程。v和s表示的都是向量。下述式子是一個常微分方程模型。

其中vm∈? 表示第m個機器人的速度狀態，sm∈? 代表的是機器人所處的位置與足球之間距離的倒數，并且sm≥0。對于m≠q時，有sm≠sq。表示狀態向量的歐幾里得范數，而v=[v1,v2,…,vn]T。c0∈? ，c0≥0 是一個比例因子。

通過疊加所有足球機器人的狀態，動態方程可以寫成如下緊湊形式：

其中v=[v1,v2,…,vn]T，而s=[s1,s2,…,sn]T，操作符°代表分量乘法，s°v=[s1v1,s2v2,…,snvn]T。

對于這個模型可以直觀地解釋了正反饋與負反饋的結果。請注意方程（2）中的項c0smvm提供了狀態變量vm的正反饋，當sm≥0 時，項-c0‖v‖2vm提供負反饋。對于第m個機器人，如果sm=‖v‖2，保持該值。如果sm ＜‖v‖2，則正反饋小于負反饋，狀態值衰減為零。相反，如果sm ＞‖v‖2，則正反饋大于負反饋，并且狀態值傾向于盡可能地增大直到‖v‖2的增加超過了sm。特別是對于獲勝者來說，即第k?個機器人，對于所有m≠k?保持sk?＞sm。在這種情況下，當sm ＜‖v‖2時所有機器人都有負面的反饋，并且保持減少值直到‖v‖2減少到值sk，否則，當sk稍微大于‖v‖2（對于稍微大于，意思是sk＞‖v‖2＞sm其中l表示具有第二大狀態值的機器人），只有贏家有一個正反饋并且狀態值在增加，而其他所有機器人都是負反饋并且保持減少直到‖v‖2等于sk。在這種選擇性的正負反饋機制下，贏家最終保持活躍在值sk?=‖v‖2而失敗者被抑制為零。

2.2 單機器人控制

足球機器人搶到足球之后，控制足球朝對方的球門運動，最終使球到達對方的球門。基于比賽的機制，對方一定會去阻攔控球方的行動。對于控球方而言，對方就成為了障礙物，想要贏得比賽就得想方設法越過障礙物。前提肯定不能破壞對方機器人，這樣就不能體現“體育精神”，因此要找到合適的路徑規避這些障礙物。為了快捷的解決這些問題，本文將采用APF路徑規劃方法來解決機器人間的避障問題[22]。

傳統的APF算法簡單、快捷，有良好的實時性，在路徑規劃這一方面應用廣泛，但也存在一些問題，為了解決這些已有的問題，進行了如下的改進。

（1）對于碰到障礙物的問題，可以通過修正引力函數來解決，避免距離過大導致引力過大。經過修改的引力函數如下：

上式增加了范圍限定。d*goal給定了一個閾值限定了目標和物體之間的距離，本文中取半個機器人大小。對應的梯度也就是引力相應變成：

（2）斥力勢函數的改進：現有斥力勢函數的取值，取決于當前點與最近障礙物的距離。在這樣的設計中，如果當前點與兩個障礙物等距，可能會造成機器人在障礙物間的中線上來回跳動。對此，可以重新定義斥力勢函數為當前點與最近的障礙物點之間的距離，即不考慮障礙物本身的坐標位置，只要障礙物上的某點離當前點最近，就以此距離定義斥力勢函數。目標點附近有障礙物導致目標不可達的問題，引入一種新的斥力函數。

這里在原有斥力場的基礎上，加上了目標和物體距離的影響，（n是正整數，本文中取值為2）物體靠近目標時，雖然斥力場要增大，但是距離在減少，所以在一定程度上可以起到對斥力場的拖拽作用，相應斥力變成：

（3）局部極小值問題：人工勢場法有時候會遇到局部極小值問題。在局部極小值點，雖然梯度為零，但并沒有真正到達終點。對這樣的情況，一般引入抽樣規劃的思想，在局部最小值處加入一個擾動或回溯，以跳出局部極小值，也可以通過引入時間參數來消除局部最小值的問題。

通過改進斥力函數和引力函數的方法，提高了算法的可實用性和效率。給定相應的限制條件，使機器人不會因為引力過大斥力較小的情況下撞到障礙物；也不會因為斥力非常大引力非常小的情況下，機器人無法到達目標點。引入隨機擾動，減少機器人會由于斥力、引力相近而引起的震蕩。

3 數值仿真驗證

3.1 實驗方法

3.1.1 贏者通吃實驗

在本小節中，將通過仿真實驗來說明機器人動態產生的贏者通吃現象。考慮兩個方面：一個是靜態競爭，即輸入值s是不變的；一個是動態競爭，即輸入s是隨時間變化的。

（1）靜態競爭

對于靜態競爭問題，即剛開始比賽過程，雙方都處于靜止狀態。輸入值s不隨著時間變化。在實驗中，規定有11 個機器人，即n=11。輸入值s在0 和1 之間隨機生成，而狀態值v在?1 和1 之間變化。在仿真中，為了使過程更方便、簡單，選取c0=1。然后在MATLAB中進行仿真。

（2）動態競爭

在這一部分，需要考慮具有時變輸入的情景，即輸入值隨著時間變化。為了使結果加速收斂，考慮一個比較大的比例因子c0=1 000，分別考慮對于m=1,2,3,4，sm(t)=1+sin( 2π(t+0.25m))的4 個值。初始狀態值v0是在?1和1之間隨機產生。4個輸入值和狀態變量的絕對值繪制在結果圖中。

3.1.2 避障過程場景模擬實驗

將整個比賽場地虛擬成一個有力存在的場地，把力分為引力和斥力，根據比賽的進行，場上隊員會發生變化，因而整個力場中各部分的受力情況也會發生變化。在足球機器人的周圍，分布著環狀的虛擬力場，各環用環帶顏色深度和環的斥力系數來表示，各個足球機器人之間表現為排斥力。

下面將介紹APF 算法的執行流程。如前文介紹，足球機器人的動力來自于各個主要作用力的合力。遠方的球門作為機器人的目標點，提供巨大的引力，而機器人控球過程中遇到敵方機器人的阻礙就是斥力，兩種力通過矢量結合成合力，提供動力使機器人運動到距離目標點更近的下一步位置，然后重復此操作，最終達到目標點即可。目標點條件就是合力為零的時候，如果不做此限制，機器人會一直運動。APF 算法流程圖如圖5所示。

圖5 APF算法流程圖

這一部分實驗將用Python 編程語言來驗證。首先設置實驗區域窗口的大小，確保每次實驗都在固定的范圍內進行，也起到了實驗的嚴謹性。然后設置機器人初始位置和目標點位置坐標，定義中心點的大小，即運動過程中的動態足球機器人；包括中心點的顏色、大小等等。接下來設置障礙物，也同樣包括坐標點、大小、顏色等等；為了使虛擬更加現實，需要在障礙物周圍設置均勻變化的環繞。再然后畫出中心點引力、斥力和合成力，最后，中心點根據理論公式方法做出軌跡路線。

為了使實驗更具科學性，本文將采用多組實驗數據進行驗證。設置多組障礙物點的坐標位置，模擬球場上出現的多種陣型，也使實驗更加的貼近于實際應用。實驗依次準備三組數據，這三組數據都是在目標點坐標不變的情況，在應用場景中就是指對方球門的位置不變，始終是個定植，也能更好地對應現實場景，只考慮單一變量，即障礙物位置（見表1）。

表1 障礙物坐標表

3.2 實驗結果分析和評估

（1）按照上一節的WTA 模型實驗步驟，得到如圖6所示運行結果。

圖6 靜態競爭結果圖

圖中橫坐標代表迭代時間，縱軸是輸出值，代表機器人隨時間變化的狀態。線條是平滑的曲線，不同顏色的曲線代表不同的機器人，其狀態在同一坐標系中隨著時間變化而變化。

如圖6 運行結果顯示多次迭代之后第5 個機器人（即輸入值最大的）達到最大值，最接近1，屬于勝利者。其他的都收斂到0，屬于失敗者，它們的活動將受到限制，不會與勝利者再產生競爭。

實驗結果顯示，輸入值s 的初始值s_5=0.722 9 是最大值，通過前面介紹的模型計算出的結果才能最接近1，達到最大值。初始值最大，則其倒數最小，對應足球機器人比賽中，就是機器人和足球的距離最近。離球最近的機器人先去踢球，其他的就原地待命，不會影響控球機器人的運動，使整個團隊看起來井然有序。這樣做符合前期的預想，可以節省足球機器人的能量，也減少了因為搶球過程中碰撞造成機器人本身的損傷。

（2）按照動態競爭實驗步驟執行，得到如圖7 的運行結果。

圖中橫坐標表示的是時間，縱坐標從上到下依次為輸入值s、機器人1 的狀態值、機器人2 的狀態值、機器人3的狀態值、機器人4的狀態值。最上面第一幅圖是4個機器人輸入值s 隨時間變化的曲線圖，下面4 幅圖是以第一幅圖為基礎，利用第一幅圖得到的某一時刻的輸入值來計算出輸出值。從圖中可以清晰看出，能夠實時找出最大的獲勝者，也達到了預期的猜想。足球機器人在運動過程中，只要知道機器人與足球之間的距離，就能隨時找到勝利者，更容易的去搶足球。雙方也不會造成比賽過程中的混亂場景，加快搶到球的幾率。

圖7 動態競爭結果圖

（3）根據上述實驗方法，進行了實驗，為了使實驗過程的變化更加的清晰，從動態場景中選取具有代表性的幾張動態圖進行展示.實驗結果如圖8所示。

圖8中，漸變色的紅色區域是障礙物所在位置以及周圍存在的“力場”，顏色的深淺代表力大的強弱。右上角的藍色圓點代表最終的目標位置，中間帶有許多不同顏色的箭頭的藍色實心點是目標點，即控球的足球機器人，帶箭頭的線代表不同的受力。

這6張圖都是選在同一障礙物坐標位置的6個不同關鍵過程的圖形，可以更加直接地了解目標點的運動過程，也能可以更加清楚地看到目標點運動過程的受力變化，真正實現一個動態時變的過程。

分別對障礙物坐標進行不同的設置，根據目標點運動軌跡的坐標點畫出散點圖，并與經典算法進行對比實驗，結果如圖9～11所示。

圖中藍色曲線代表的是足球機器人的最終路徑，紅色的漸變圓是障礙物的影響力，顏色深淺代表障礙物力的大小；紅色線代表是經典算法得到的路徑，綠色線代表改進后的算法得到的路徑。圖9 是針對能否碰到障礙物做的對比仿真圖，通過改進之后機器人能夠繞開障礙物，不會因為引力太大直接撞到障礙物停止運動。圖10描述的是目標機器人能否到達最終球門，通過改進之后機器人可以到達最終球門，不會造成路徑的不完整。圖11 描述的是兩種算法的震蕩程度的對比，通過改進之后，震蕩程度減小了很多，也使路徑更加平滑。

圖8 運動過程分解圖

圖9 能否碰到障礙物結果對比圖

圖10 能否到達目標位置結果對比圖

圖11 振蕩幅度結果對比圖

這幾張圖的結果是由于障礙物坐標的不同而形成的，因為障礙物形成的區域不同，障礙物對機器人的斥力也就不同，即使目標點對機器人產生的引力相同，也會由于合力的不同從而產生不同的路線。從圖中可以看出，機器人針對不同的障礙物布局，可以智能地采取合適的路線進行有效躲避，成功到達目標點位置，避免了與對方的“摩擦”，從而也減少了機器人昂貴的維修費用，其簡單實用，能更便捷地達到目的。

4 結束語

本文描述的是足球機器人運動的運動過程，較傳統方式更加完整。通過WTA連續時間非線性輔助競爭模型來解決多機器人爭奪足球的過程，相比傳統的方式，能夠實時找出離足球最有優勢的機器人，搶先控制球，也能節省非必要的機器人的能耗。然后在躲避其他機器人的過程中，采用改進的APF 路徑規劃算法，成功有效地躲避障礙，找出合適的路線，成功到達目標球門。實驗結果也驗證了猜想，使理論更加嚴謹，也為將來更智能化的足球機器人運動過程研究提供了基礎。