人群跳躍荷載時變協同性因子研究于

摘要

協同性因子是跳躍人群中各單人間動作一致程度的度量指標，是人致結構振動分析中人群跳躍荷載建模的關鍵參數。現有協同性因子大都是定義在較長時段內的均值參數，其計算依據也是實驗室條件下才能獲取的地反力或特征點軌跡等，不能準確反映跳躍者個體差異的時變特性，也難以直接應用于實際場景下結構的振動監測。對此，提出了人群跳躍荷載的時變協同性因子，采用計算機視覺中的多目標跟蹤技術對跳躍人群進行實時監測，并計算協同性因子。開展了佩戴無線測力鞋墊的多人跳躍實驗，通過與實驗結果的對比，驗證了時變協同性因子的合理性以及多目標跟蹤技術的有效性，可用于工程結構的安全運維、人致結構振動分析和人群跳躍時變荷載的模擬。

關鍵詞

人群跳躍荷載; 時變協同性因子; 多目標跟蹤; 智能運維

1 概 述

隨著材料科學的不斷創新和工程結構設計、施工技術的持續進步，工程結構向輕質化、大跨化發展，大跨樓蓋、懸臂看臺、連廊等結構呈現出頻率低、質量輕和阻尼小等特征，容易因人致動力荷載（步行、跳躍等）而產生振動，引發結構振動的適用性甚至安全性問題［1］。例如，2015年4月，中國臺北“小巨蛋”體育館的一場演唱會，歌迷隨著音樂跳動導致附近民宅振動，引起居民投訴［2］；2018年11月，南京奧體中心的一場演唱會在4首歌曲后，因結構振動顯著而被緊急叫停［3］。2021年10月，荷蘭奈梅亨體育場的一處看臺在球迷集體跳躍慶祝下發生大幅振動并最終坍塌，所幸并未造成人員傷亡［4］。此類問題屢見報端引起了廣泛的社會關注，也對人致結構振動，特別是人群荷載的研究提出了新的挑戰。

合理、準確的荷載模型是人致結構振動分析的前提。在步行、跳躍、屈伸律動等常見的人致荷載類型中，跳躍荷載的動力效應最為顯著［5］。尤其在體育比賽、音樂會等場景中，人群的跳躍運動易受到集體口號、音樂節拍等外部指令的引導，形成節奏性協同運動而導致更大的結構振動幅度。目前，國內外學者對單人跳躍荷載已開展了深入、系統的研究，先后提出了確定性［6?8］和隨機性［6， 9?10］兩大類荷載模型。相比之下，人群跳躍荷載的研究仍然較少。由于不同跳躍者的動作不可能完全一致，因此人群荷載并非單人荷載的簡單疊加，需要解決不同跳躍者之間協同性量化表達這一建模難點。已有研究提出了一些協同性指標［7， 11］，但大都是定義在較長時段內的、平均意義上的指標。實際情況下，每個跳躍者往往會隨著節拍、周圍人的動作和自身疲勞等情況隨時調整自己的動作，即人群跳躍協同性具有典型的時變特征，相關指標研究中應充分考慮其時變特性。

缺少合適的實驗手段是人群跳躍荷載時變協同性研究的技術難題。目前人群跳躍荷載的實驗測試主要有直接法、間接法和反算法三種，各自的原理和優缺點如表1所示。顯然，現有測試方法或需要依托特殊實驗設備且在實驗室環境中實現；或需要實時測量結構的動力響應，因而難以部署到體育場館看臺等實際場景中，監測其服役期承受人群荷載的協同性。近年來，Krizhevsky等［12］基于深度學習的計算機視覺技術取得了飛速發展，在不同領域已有成熟的應用。考慮到體育場館看臺等公共空間往往布設有大量監控攝像頭，可作為監測其服役期人群跳躍協同性的硬件基礎。

綜上，本研究提出了人群跳躍時變協同性因子，并給出其計算公式，發展出一套基于計算機視覺中多目標跟蹤技術的監測方案，可作為一種工程結構智能運維手段，部署到體育場館等場所中提供預警。最后，通過大量不同頻率的人群跳躍實驗，檢驗了時變協同性的合理性和監測方案的可行性。

2 跳躍人群的時變協同性

2.1 既有跳躍協同性因子

人群荷載具有一定的隨機性，并非單人荷載的線性疊加，體現為個體內變異性（intra?variability）和個體間變異性（inter?variability）［13］。前者表示跳躍過程中單個測試者個體運動狀態的不一致性，即個體會不斷調整自己的跳躍動作；后者則表示跳躍過程中多個測試者個體運動狀態之間的不一致性，即個體單獨跳躍時的運動狀態與個體在人群中隨周圍人一起跳躍時的運動狀態不同。

在體育賽事、音樂演唱會等場景中，觀眾跟隨音樂節拍、口號等一起跳躍，形成人群跳躍荷載。Kasperski等［6］的研究表明，人群的協同性來源于對外部引導節奏把控的個人能力和受周圍人群影響表現出的從眾特性。因而，對協同性的量化是人群跳躍荷載建模的基礎，國內外學者主要有兩種研究思路。一是，從協同性的本質出發，將不同跳躍者荷載時程的時間差或相位差定義為協同性因子，并統計分析其概率分布。如Sim等［7］將協同性因子定義為單次跳躍脈沖與外部節拍器節拍的時間差；Parkhouse等［14］則將跳躍荷載的一階諧波初相位作為協同性因子；二是，從荷載的角度出發，用人群荷載折減系數來定義協同性因子，如譚寰［13］的研究。

兩種協同性因子定義雖然出發點不同，但都是基于測試者在較長時段內的連續跳躍時程來計算，忽略了個體內變異性，僅考慮了較長時段內平均意義上的個體間變異性。然而，在實際跳躍過程中，每個跳躍者會不斷根據自身能力和周圍人的影響調整姿態，因此最后呈現的人群協同性因子應該是一個時變指標。

2.2 時變跳躍協同性因子

針對上一節所述問題，本文在前期工作［13］基礎上，提出了一種新的、隨時間變化的跳躍協同性因子，由下式在長度ΔtΔt的移動時間窗口內計算（如圖1所示）：

上式定義的時變跳躍協同性因子的取值范圍為［0，1］。ρΔt（τ）ρΔt（τ）越接近1，則人群在ττ時刻的跳躍動作越一致，即人群協同性越好，人群荷載效應越顯著；ρΔt（τ）ρΔt（τ）接近0（如跳躍者恰好兩兩反向），則人群跳躍協同性最弱。

3 YOLOv5+DeepSORT多目標跟蹤方案

多目標跟蹤（Multiple Object Tracking，MOT）是在單個圖像序列（如視頻）中跟蹤多個目標（如車輛、人物）的位置，進而獲取它們運動軌跡的技術。本研究利用MOT從人群跳躍的視頻中獲取每個人的軌跡，進而計算人群的時變協同性。根據目標初始化方法的不同，當前的MOT算法主要有無檢測跟蹤（Detection Free Tracking， DFT）和檢測跟蹤（Detection Based Tracking， DBT）兩種［15］。

DFT不依靠目標檢測，直接在視頻的初始幀中手動框選目標，然后在后續幀中持續定位這些目標。大部分早期MOT算法如光流法［16?17］即屬于此類，由于需要較多的手動干預，方法通常魯棒性較差，且無法跟蹤序列中出現的新目標。近年來，隨著大量數據的累積及計算硬件性能的提升，深度學習方法已經在計算機視覺［12， 18?19］、自然語言處理［20?21］等領域取得重大發展。YOLO［19］，Faster R?CNN［22］等深度學習類的DBT算法逐步成為主流MOT解決方案。DBT方法先由檢測器逐幀檢測出目標，再由目標跟蹤算法對多個目標實現幀間數據關聯，從而獲得它們的軌跡。圖2對比了DFT和DBT兩種解決方案。本研究采用DBT方案由YOLOv5目標檢測和DeepSORT跟蹤算法兩個模塊構成。

3.1 YOLOv5目標檢測算法

現有目標檢測算法包括以YOLO［19， 23?25］系列為代表的一階段算法，以R?CNN［18， 22， 26?27］系列為代表的兩階段算法。一階段方法沒有單獨的初步定位階段，直接得到分類和目標定位結果，具有較快的計算速度，適合作為DBT方案中的目標檢測任務部分以實現實時在線跟蹤。其中，YOLOv5是繼承了YOLOv4優點、更輕量級的最新網絡結構［23］。圖3展示了本文采用的YOLOv5?m網絡的整體架構，圖例中提供了每個模塊的細觀結構描述。

3.2 DeepSORT目標跟蹤算法

DeepSORT［28］ （Simple Online and Realtime Tracking with a Deep Association Metric）是在SORT［29］基礎上發展來的，可以實現對多目標軌跡的動態更新、創建和終結，圖4是算法流程圖。

考慮到實際場景中可能存在的身體遮擋問題等，本研究將人頭作為跟蹤目標。對每個目標，DeepSORT使用8維向量（u，v，γ，h，x˙，y˙，γ˙，h˙）（u，v，γ，h，x˙，y˙，γ˙，h˙）表征其在當前幀的狀態。其中，（u，v）（u，v）表示目標檢測框中心位置坐標，γ表示檢測框長寬比，h表示檢測框高度，（x˙，y˙，γ˙，h˙）（x˙，y˙，γ˙，h˙）則表示前面四個參數的速度信息。DeepSORT基于匈牙利算法，將卡爾曼濾波預測的目標狀態與檢測器在當前幀的檢測結果進行級聯匹配和IOU匹配，并用匹配結果完成軌跡的卡爾曼濾波更新。相比SORT，DeepSORT的最大改進是引入了一個預訓練的卷積神經網絡（其主要目的是解決目標的重識別問題），提取檢測結果的表觀特征向量。對第i條軌跡的卡爾曼濾波預測結果和第j個檢測結果，DeepSORT分別計算運動特征指標d（1）（i，j）和表觀特征指標d（2）（i，j），以線性加權的方式得出關聯指標ci，j，以布爾型變量相乘的方式構造表示是否允許匹配發生的指標bi，j，如下式所示：

ci，j=λd（1）（i，j）+（1?λ）d（2）（i，j）

ci，j=λd（1）（i，j）+（1-λ）d（2）（i，j）

（2）

式中 λλ為控制運動特征指標和表現特征指標影響的超參數，取為0.5。

bi，j=∏m=12b（m）i，j

bi，j=∏m=12bi，j（m）

（3）

進而構造匈牙利算法的成本矩陣C和閾值矩陣B，從而實現對目標的表觀特征和運動特征的綜合考量。

4 跳躍實驗

4.1 實驗設備與步驟

為驗證本研究提出的時變協同性計算與監測方案的有效性，安排三位測試者穿著LoadSol測力鞋墊進行了驗證實驗，如圖5所示。測力鞋墊裝有內嵌的壓力傳感器，可通過藍牙信號將測試者的足底豎向跳躍荷載時程數據傳輸至智能手機。三位測試者的信息如表2所示。

實驗中，三位測試者在節拍器的指引下完成5個工況共10組的固定頻率跳躍。參考人體生理條件及國內外已有實驗，5個工況的跳躍頻率分別為1.5，2.0，2.5，3.0和3.5 Hz，每個工況進行2組實驗。測試者在每組實驗中需完成持續30 s以上的連續跳躍，并休息至無疲憊感后再進行下一組跳躍。每組實驗過程中用固定機位的iPhone12 Pro后置攝像頭進行視頻拍攝，攝制幀率30 FPS，分辨率為1920×1080。

4.2 實驗記錄

圖6展示了1.5 Hz固定頻率跳躍工況下一位測試者的原始實驗數據，包括鞋墊獲得的豎向跳躍荷載時程，以及YOLOv5+DeepSORT跟蹤測試者頭部得到的像素加速度時程。需要說明，由于記錄設備不同，上述兩條曲線不是嚴格時間同步的。

5 實驗驗證與應用

5.1 目標跟蹤算法驗證

將YOLOv5+DeepSORT方法用于實驗視頻，可獲得三位測試者在10組實驗中共30條頭部像素運動加速度時程數據。對應地，測力鞋墊記錄了30條跳躍荷載時程曲線。通過對30組數據時域和頻域特征的對比，可以檢驗本文建議算法的性能。

圖7比較了測試者A在2.5 Hz的固定頻率下跳躍時，經過峰值歸一化的視頻目標跟蹤結果和測力鞋墊記錄。從時域特征（圖7（a））看，測試者在10 s中總共有25次跳躍，目標跟蹤算法成功捕捉了每次跳躍荷載脈沖對應的加速度脈沖；從頻域特征（圖7（b））看，目標跟蹤結果和測力鞋墊記錄的頻譜特征較為一致，頻譜峰值均集中在主頻2.5 Hz附近。可見，本文建議的目標跟蹤算法可以很好地捕捉跳躍者的運動信息。

5.2 時變協同性因子性能：階段差異

圖8對比了5個工況共10組三人跳躍實驗的1 s時變協同性因子曲線（即Δt=1 s）與譚寰［13］提出的、針對跳躍全過程的時不變協同性因子，每組實驗按“跳躍頻率?實驗次數”來編號。表3則展示了各實驗中跳躍過程的10～30 s時段（稱為穩定時段）內協同性因子的統計結果。

結果顯示，當跳躍引導頻率為1.5 Hz（過慢）或3.5 Hz（過快）時，由于測試者難以長時間維持該頻率的穩定跳躍，因此圖8（a），（b），（i）和（j）展現出波動劇烈且較低水平的協同性，其穩定時段的協同性因子均值也較小，方差較大。當跳躍引導頻率適中（2.0～3.0 Hz），時變協同性曲線表現相似的變化模式（圖8（c）～（h））。以最常見，也是一般人最適應的跳躍頻率2.0 Hz為例（圖8（c），（d）），曲線可分為三個階段：

（1）跳躍初始階段（0～5 s）。所有測試者從靜止狀態開始跳躍，并逐漸自我調整以適應節拍頻率，此階段內時變協同性因子曲線前期波動顯著，后期逐步變大；

（2）穩定跳躍階段（5～35 s）。所有測試者逐漸適應節拍頻率，時變協同性穩定且維持在很高水平（0.85～1.0）；

（3）跳躍結束階段（gt;35 s）。由于測試者出現疲憊、預期跳躍即將結束等影響，出現跟不上節拍的情況，協同性因子曲線出現明顯波動乃至下降。

顯然，對于多人協同跳躍的全過程，本研究提出的時變協同性因子能較好地解釋測試者在不同頻率的節拍引導下的表現差異。與本文提出的時變協同性因子相比，現有的時不變協同性因子是定義在整個跳躍過程上、平均意義上的參數。在如圖8（a），（b），（i）和（j）所示人群協同性波動較為劇烈（表現為時變協同性因子ρ1s方差較大）的情況下，現有的協同性因子忽略了跳躍過程中人群協同性實際較大的危險時段（例如圖8（a）中的5～30 s）。而在概述中提到的荷蘭奈梅亨體育場看臺坍塌的工程事故案例中，人群從開始起跳到協同跳躍引發事故所經歷的時間僅10 s左右。可見，相較現有時不變的協同性因子，本文提出的時變協同性因子可更為全面地考慮人群跳躍協同性的變化及由此而來的結構危險狀態。

5.3 時變協同性因子性能：特定事件

圖9展示了2.5 Hz時的一次協同跳躍實驗時變協同性的計算結果。在視頻第4.34 s，圖9左圖表明三位測試者還在適應節拍，從測試者們的膝蓋狀態可見他們的動作不同步，測試者A和C正屈膝起跳，而測試者B膝蓋伸直已接近離地，此時的1 s協同性因子僅為0.3226；在視頻第29.42 s，三位測試者已適應了2.5 Hz的節拍引導，跳躍動作協同一致，對應的1 s協同性因子為0.8726。這一結果表明，本研究提出的時變協同性因子可以準確、定量地描述跳躍過程中各跳躍者間的協同性情況。

5.4 應用場景

時變協同性因子反映人群跳躍過程中動作一致性的實時變化，可應用于服役期結構的智能運維和人群荷載模擬兩大場景。

以體育場館的看臺結構運維為例，在比賽或其他群體活動時，利用多目標跟蹤技術由實時監控視頻可獲取人群跳躍的運動軌跡，并計算人群跳躍的時變協同性，即可構建基于協同性監測的預警系統。具體應用時，先設定協同性因子閾值（如0.8， 0.9等），若監測到當前的協同性超限，則結構可能處于“危險時段”，需向管理者發出預警，提醒其引入人工干預，從而防止不利振動地持續擴大。上述協同性監測系統的工作機制如圖10所示，由于無需額外安裝和維護新的設備，只需利用場地既有的視頻監控系統即可搭建，是一種低成本、輕量級的監測方案，也可作為傳統的基于結構響應的安全性監測系統的補充。當然，應用時對于密集人群的目標跟蹤，還需要進一步解決相互遮擋對軌跡獲取帶來的問題。

人群荷載模擬方面，協同性因子是單人荷載到人群荷載的橋梁，本文提出的協同性因子將協同性的時變特性納入考量，可為人群荷載建模提供工具和思路。

6 結 論

既有的跳躍協同性因子既無法體現人群跳躍過程中個體差異的時變特性，也不具備工程結構實時安全運維價值。針對此問題，本文提出了人群跳躍的時變協同性因子，并引入計算機視覺中的多目標跟蹤技術作為監測手段，通過5個頻率工況共10組的3人跳躍實驗，驗證了時變協同性因子的合理性以及多目標跟蹤技術的有效性，主要結論如下：

（1）提出的時變協同性因子可以準確、定量地反映人群跳躍的協同性水平及其變化規律。

（2）YOLOv5+DeepSORT的多目標跟蹤算法可以很好地捕捉測試者跳躍運動的時頻特征，進而指示人群協同性的變化。

參考文獻

1

陳雋. 人致荷載研究綜述［J］. 振動與沖擊， 2017， 36（23）： 1-9. [百度學術]

Chen Jun. A review of human-induced loads study［J］. Journal of Vibration and Shock， 2017， 36（23）： 1-9. [百度學術]

2

人民網. 張惠妹演唱會萬人High跳，民眾投訴住家嚴重振動［EB/OL］. （2015-04-12）.［2022-04-15］. http：//tw.people.com.cn/n/2015/0412/c104510-26831002.html. [百度學術]

3

海峽網. 謝天笑演唱會被叫停怎么回事？謝天笑演唱會被叫停始末詳情曝光［EB/OL］. （2018-11-05）［2022-04-15］. http：//www.hxnews.com/news/yule/201811/05/1644541.shtml. [百度學術]

4

新華社. 荷蘭一體育場看臺下部垮塌，無人員受傷 ［EB/OL］. （2021-10-18）.［2022-04-15］. https：//www.thecover.cn/news/8235030. [百度學術]

5

Racic V， Pavic A. Mathematical model to generate near-periodic human jumping force signals［J］. Mechanical Systems and Signal Processing， 2010， 24（1）： 138-152. [百度學術]

6

Kasperski M， Agu E. Prediction of crowd-induced vibrations via simulation［C］. Proceedings of 2005 Conference and Exposition on Structural Dynamics（IMAC XXIII）. Orlando， Florida， USA， 2005. [百度學術]

7

Sim J， Blakeborough A， Williams M S， et al. Statistical model of crowd jumping loads［J］. Journal of Structural Engineering， 2008， 134（12）： 1852-1861. [百度學術]

8

陳雋， 王玲， 王浩祺. 單人跳躍荷載模型及其參數取值［J］. 同濟大學學報（自然科學版）， 2014， 42（6）： 859-866. [百度學術]

Chen Jun， Wang Ling， Wang Haoqi. Experimental investigation on single person's jumping load model and its parameters［J］. Journal of Tongji University（Natural Science）， 2014， 42（6）： 859-866. [百度學術]

9

Ellis B R， Ji T J. Loads generated by jumping crowds： numerical modelling［J］. Structural Engineer， 2004， 82（17）： 35-40. [百度學術]

10

陳雋， 熊杰程. 跳躍荷載的功率譜模型研究［J］. 土木工程學報， 2018， 51（9）： 56-65. [百度學術]

Chen Jun， Xiong Jiecheng. Power spectral density model for human jumping load［J］. China Civil Engineering Journal， 2018， 51（9）： 56-65. [百度學術]

11

Ebrahimpour A， Fitts L L. Measuring coherency of human-induced rhythmic loads using force plates［J］. Journal of Structural Engineering，1996， 122（7）： 829-831. [百度學術]

12

Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks［J］. Advances in Neural Information Processing Systems， 2012， 25（2）：84-90. [百度學術]

13

譚寰. 人群屈伸律動荷載實驗研究及隨機場建模［D］. 上海：同濟大學， 2018. [百度學術]

Tan Huan. Experimental study and random field modeling on crowd bouncing load［D］. Shanghai： Tongji University， 2018. [百度學術]

14

Parkhouse J G， Ewins D J. Vertical dynamic loading produced by people moving to a beat［J］. The Shock and Vibration Digest， 2006， 38（3）： 231-232. [百度學術]

15

Luo W H， Xing J L， Milan A， et al. Multiple object tracking： a literature review［J］. Artificial Intelligence， 2021， 293： 103448. [百度學術]

16

Horn B K P， Schunck B G. Determining optical flow［J］. Artificial intelligence， 1981， 17（1-3）： 185-203. [百度學術]

17

Lucas B D， Kanade T. An iterative image registration technique with an application to stereo vision［C］. Proceedings of the 7th International Joint Conference on Artificial Intelligence， Canada， 1981. [百度學術]

18

Girshick R， Donahue J， Darrell T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA， 2014： 580-587. [百度學術]

19

Redmon J， Divvala S， Girshick R， et al. You only look once： unified， real-time object detection［C］. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2016： 779-788. [百度學術]

20

Hinton G， Deng L， Yu D， et al. Deep neural networks for acoustic modeling in speech recognition： the shared views of four research groups［J］. IEEE Signal Processing Magzine， 2012， 29（6）： 82-97. [百度學術]

21

Devlin J， Chang M W， Lee K， et al. Bert： pre-training of deep bidirectional transformers for language understanding［J/OL］. arXiv preprint ， 2018. https：//arxiv.org/abs/1810.04805. [百度學術]

22

Ren S， He K， Girshick R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137?1149. [百度學術]

23

Bochkovskiy A， Wang C Y， Liao H Y. YOLOv4： optimal speed and accuracy of object detection［J/OL］. arXiv preprint， 2020. https：//arxiv.org/abs/2004. 10934. [百度學術]

24

Redmon J， Farhadi A. YOLOv3： an incremental improvement［J/OL］. arXiv preprint， 2018. https：//arxiv.org/abs/1804.02767. [百度學術]

25

Redmon J， Farhadi A. YOLO9000： better， faster， stronger［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， Honolulu， HI， USA， 2017： 7263-7271. [百度學術]

26

He K， Gkioxari G， Dollár P， et al. Mask R-CNN［C］. Proceedings of the IEEE International Conference on Computer Vision. Venice， Italy， 2017： 2961-2969. [百度學術]

27

Girshick R. Fast R-CNN［C］. Proceedings of the IEEE International Conference on Computer Vision. Santiago， Chile， 2015： 1440-1448. [百度學術]

28

Wojke N， Bewley A， Paulus D. Simple online and realtime tracking with a deep association metric［C］. Proceedings of the 2017 IEEE International Conference on Image Processing （ICIP）. Beijing， 2017： 3645-3649. [百度學術]

29

Bewley A， Ge Z， Ott L， et al. Simple online and realtime tracking［C］. Proceedings of the 2016 IEEE International Conference on Image Processing （ICIP）. Phoenix， AZ， USA， 2016： 3464-3468. [百度學術]