基于用戶行為和上下文語義的分層ST-LSTM位置預(yù)測

彭 薇，江 昊，劉卉芳，彭詩雅，廖 娟

(1.武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072；2.中國聯(lián)合網(wǎng)絡(luò)通信有限公司廣東省分公司，廣東 廣州 510627)

0 引言

隨著城市中大量人口流動數(shù)據(jù)的產(chǎn)生,人口流動的時空數(shù)據(jù)引起了越來越多的關(guān)注,其中一個重要關(guān)注點是用戶位置預(yù)測及推薦,即根據(jù)用戶過去的移動軌跡信息,預(yù)測其即將訪問的地點。用戶位置預(yù)測對于人流量預(yù)測、位置服務(wù)推薦和人群檢測等都有重要意義。

近年來,國內(nèi)外學(xué)者對用戶軌跡相關(guān)問題進行了大量研究,大多數(shù)位置預(yù)測問題需要用潛在的嵌入向量來表示位置。最直接的方法是為位置的隨機初始化向量加上全連接層,通過特定任務(wù)對其進行訓(xùn)練[1],然而該方法存在過擬合問題,且無法融合位置的其他相關(guān)信息。也有基于收集到的軌跡數(shù)據(jù)以及興趣點(Point of Interest,POI)類別信息構(gòu)建時空廣義知識庫,學(xué)習(xí)實體表征向量,將軌跡預(yù)測問題轉(zhuǎn)化為知識圖譜補全問題[2]。由于軌跡數(shù)據(jù)存在先后順序,許多位置嵌入模型來源于自然語言處理中的詞嵌入模型。模型POI2Vec將用戶社交媒體登陸數(shù)據(jù)的POI序列視為句子[3],TALE基于CBOW[4]模型,融合用戶訪問地點的時間信息以提高預(yù)測的準確率[5]。HIER模型利用地理位置數(shù)據(jù)中的層次結(jié)構(gòu),學(xué)習(xí)細粒度位置嵌入向量,減小了數(shù)據(jù)稀疏造成的影響[6]。CTLE模型基于位置的上下文鄰居動態(tài)計算位置的潛在嵌入向量[7]。另外,CAPE模型使用Instagram數(shù)據(jù)作為輸入,利用位置和文本信息得到POI嵌入向量[8],Geo-Teaser[9]和Place2Vec[10]結(jié)合用戶的登錄信息和附近區(qū)域信息生成嵌入向量。DRAN利用圖卷積網(wǎng)絡(luò)(Graph Convolutional Network,GCN)進行特征提取,采用多頭注意力對POI的各個維度進行處理,得到位置的精確表示[11]。然而,大多數(shù)位置嵌入方法沒有充分考慮用戶行為,僅僅局限于位置本身的屬性或類別信息,而沒有進一步挖掘用戶當前行為與其所處位置、前后移動軌跡有關(guān)的信息。

位置信息嵌入可以用于解決各種任務(wù),例如下一位置預(yù)測[12]、興趣位置推薦[8]和位置分類[13]等。在用戶未來移動軌跡的預(yù)測問題中,馬爾可夫模型被廣泛使用,例如利用多個相互關(guān)聯(lián)的馬爾可夫鏈對用戶在不同時間段的不同移動行為進行建模[14],采用由用戶個人頻繁模式自適應(yīng)確定動態(tài)順序的變階馬爾可夫模型,預(yù)測用戶的移動性[15]。除了馬爾可夫模型,還有基于貝葉斯概率模型的用戶移動性建模方法。Feng等[16]利用遞歸神經(jīng)網(wǎng)絡(luò)結(jié)合注意機制對用戶移動性進行建模,DeepMove結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)中的注意機制,模擬未來軌跡與歷史軌跡的長期相關(guān)性[17],ST-RNN用特定時間和特定距離的過渡矩陣對每一層的局部時空上下文進行建模,構(gòu)成時空遞歸神經(jīng)網(wǎng)絡(luò)模型用于位置預(yù)測[12]。ERPP將對某個地點的訪問視為一個事件,將到達時間視為它的時間戳從而進行預(yù)測[18],門控循環(huán)單元(Gate Recurrent Unit,GRU)可以用來模擬用戶的順序移動模式,將輸出隱藏向量輸入到一個完全連接層中以預(yù)測用戶下次訪問的位置[19]。ST-LSTM通過將時間和距離值嵌入到潛在向量中,擴展了長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)的輸入[1]。另外,ARNN從知識圖譜中提取語義和空間信息,結(jié)合LSTM網(wǎng)絡(luò)和注意力機制進行位置預(yù)測,對下一地點進行個性化推薦[20]。HMT-GRN 模型提出了緩解數(shù)據(jù)稀疏性的方法,并進行了多任務(wù)學(xué)習(xí)[21]。GETNext用GCN計算POI嵌入后,通過Transformer進行預(yù)測[22]。然而,若軌跡序列較長,在處理序列信息時更容易聚焦于短期的依賴關(guān)系,長距離依賴則難以捕獲。

用戶的移動一般存在具體目的,因此用戶行為信息、地點語義信息等均有利于理解用戶的移動軌跡,從而更好地進行預(yù)測。然而大量研究在預(yù)測位置時對于用戶行為的考慮有所欠缺,且對于長期依賴關(guān)系的學(xué)習(xí)程度有限。本文提出基于用戶行為和上下文語義的時空長短期記憶網(wǎng)絡(luò)分層(Hierarchical Spatiotemporal Long Short-Term Memory Based on User Behavior and Contextual Semantics,CHST-LSTM)模型,將用戶行為考慮在內(nèi),將軌跡中的位置信息與用戶行為信息、時間信息相結(jié)合,通過預(yù)訓(xùn)練融合上下文語義信息,得到位置的表征向量,并將其用于ST-LSTM分層模型,根據(jù)用戶的行為狀態(tài)動態(tài)分割軌跡段,加上BiLSTM模塊,以編碼解碼的形式,對軌跡上下文信息進行建模,分別對長短期特征進行處理,從而更好地學(xué)習(xí)長距離依賴關(guān)系,提升軌跡預(yù)測的準確率。

1 CHST-LSTM預(yù)測模型

1.1 信息編碼

由于用戶的行為、所處時段與其活動范圍、移動軌跡息息相關(guān),其行為某種程度上反映了所處位置的功能,可以從用戶的行為中提取出所處位置的特征,因此將行為信息融入時空軌跡數(shù)據(jù)有利于得到更高質(zhì)量的位置嵌入。為了融合到訪時間、行為模式等行為信息,提出了相關(guān)信息編碼模塊,用位置編碼融合時間編碼和行為模式編碼,將用戶行為相關(guān)信息融入位置嵌入模型中。

對于位置編碼Pli,對位置li的獨熱向量采用簡單的全連接層得到:

Pli=Ω(li)。

(1)

考慮到用戶在特定時間訪問特定位置時,其訪問時間信息與位置特征有著強相關(guān)性,因此加入時間編碼模塊。時間信息與序列順序信息類似,參考Transformer中對序列位置的編碼方式,將時間編碼設(shè)為:

Tli=[cos(ω1tli),sin(ω1tli),cos(ω2tli),sin(ω2tli),…,

cos(ωdtli),sin(ωdtli)],

(2)

式中:Tli表示用戶到達位置li時的時間編碼,維度為二維;ωk=1/10 0002k/d,tli表示用戶到達位置li的時間。

對用戶的行為模式進行編碼,Ali表示用戶行為模式的信息編碼,維度與位置編碼、時間編碼相同,ali表示用戶行為模式,對ali的獨熱向量采用全連接層:

Ali=Ω(ali)。

(3)

具體來說,根據(jù)用戶到達位置li的前后各半小時(共1 h)的通話次數(shù)、訪問工作軟件時長和移動距離數(shù)據(jù),找到與之距離最近的模式類型即為ali。

融合位置編碼模塊、時間編碼模塊與行為模式編碼模塊,得到記錄(u,l,t,a)中位置l經(jīng)過信息編碼之后的向量z′(l),其中u表示該用戶,l表示途經(jīng)位置,t表示到達對應(yīng)位置的時間,a表示用戶行為模式:

z′(l)=Pl+Tl+Al。

(4)

將用戶行為融入位置嵌入向量,可以為位置的特征表達提供更多的有效信息,讓所有用戶共享和學(xué)習(xí)類似的規(guī)律。

1.2 基于上下文感知的位置嵌入

一般來說,用戶訪問特定位置均有其明確目的,其途經(jīng)位置也取決于所處城區(qū)本身的固有路線,具有較強的規(guī)律性,因此可以使用自然語言處理的相關(guān)算法。用戶的軌跡類似于句子,途經(jīng)的位置相當于單詞,不同位置之間的不同組合方式表達了特定的含義,每個位置的特征很大程度上取決于前后位置即上下文環(huán)境,可以采用上下文感知嵌入模型計算位置的潛在表征向量。受到BERT[23]的啟發(fā),本文采用雙向Transformer編碼器[24],基于位置l的上下文內(nèi)容C(l),通過掩碼語言模型(Masked Language Model,MLM)預(yù)訓(xùn)練得到位置l的嵌入向量,如圖1所示。

圖1 位置嵌入預(yù)訓(xùn)練模型Fig.1 Pre-trained model for location embedding

在時空軌跡數(shù)據(jù)中,某用戶的軌跡s可表示為s={(u,l1,t1,a1),(u,l2,t2,a2),…,(u,ln,tn,an)},即時空點序列。每個時空點都是用戶到達某一位置時所涉及到的相關(guān)信息的元組,通過Transformer編碼器可以得到位置li的嵌入向量z′(li):

(5)

(6)

式中:Θ表示模型中涉及的參數(shù),通過最大化位置lm與其所在軌跡前后位置的關(guān)聯(lián)關(guān)系計算得到,繼而可以得到各個位置的嵌入向量。

(7)

(8)

最終整個預(yù)訓(xùn)練模型的目標為:

Θ=ΘML+ΘMT+ΘMA。

(9)

由于用戶行為模式與所處位置相關(guān)性較強,因此將位置信息、到訪時間信息和行為模式信息均作為預(yù)訓(xùn)練的目標,有利于得到更高質(zhì)量的位置表征向量。有著相似上下文環(huán)境的位置由于涉及信息相似,其嵌入向量也會更加接近,高質(zhì)量的嵌入向量有利于提升對用戶下一位置預(yù)測的準確率。

1.3 分層ST-LSTM位置預(yù)測

在預(yù)測人類行為時,僅僅考慮軌跡序列顯然是不夠的,考慮到用戶的行為信息對于位置預(yù)測的意義,采用上文中融合了用戶行為的位置嵌入作為特征向量,在此基礎(chǔ)上提出CHST-LSTM模型。

為了處理時空關(guān)系,采用ST-LSTM作為基本單元,該算法在原本的LSTM模塊中引入時空因素進行學(xué)習(xí)。為了更好地計算長距離依賴,以編解碼器的形式基于ST-LSTM進行分層擴展,將用戶在其所在地的行為考慮在內(nèi),根據(jù)行為語義動態(tài)劃分訪問階段,對訪問記錄按照停留時間進行靈活切割,以學(xué)習(xí)用戶移動行為的內(nèi)在含義。ST-LSTM作為編碼器對序列的短期特征進行建模,BiLSTM對序列的長期特征進行雙向融合,如圖2所示。

圖2 CHST-LSTM預(yù)測模型Fig.2 CHST-LSTM prediction model

用戶移動軌跡具有一定的周期性及規(guī)律性,當軌跡序列粒度較細時,用戶的訪問序列很長。如果按固定時長劃分階段,范圍較大則序列過長,范圍較小則難以對用戶行為階段進行完整分析。考慮到用戶在每個地點的停留時間可以在某種程度上反映該地點對于該用戶的意義,本文基于停留時長對用戶軌跡序列進行劃分,將用戶的訪問長序列分為若干訪問階段。考慮到用戶特性,選擇將停留時長大于1 h的地點作為序列切割點。訪問階段劃分如圖3所示,將用戶u的軌跡劃分為一系列的訪問階段{S1,S2,…,Sn},其中Si={l1,l2,…,lm},表示階段Si內(nèi)的途經(jīng)位置軌跡,用戶在訪問階段Si內(nèi)的最后一個停留位置lm的停留時長大于1 h。

圖3 訪問階段劃分Fig.3 Sessions of access stage

接著通過解碼器幫助預(yù)測用戶接下來的訪問位置,利用ST-LSTM模塊進行解碼。假定解碼器輸出的隱藏層包含了過去途經(jīng)位置和用戶行為的相關(guān)信息,能夠表達用戶未來的移動意圖,通過softmax函數(shù)計算用戶接下來到達不同位置的概率,得到最有可能被訪問的下一位置。

2 用戶行為分析

2.1 數(shù)據(jù)集介紹

伴隨移動互聯(lián)網(wǎng)的發(fā)展以及城市化帶來的人群聚集現(xiàn)象,下單外賣逐漸成為一種流行的新點餐方式,外賣配送服務(wù)大大便利了人們的生活。在送餐過程中,外賣員可以自行選擇送餐順序和路線,根據(jù)外賣員的行為特征對其進行下一位置預(yù)測,有利于互聯(lián)網(wǎng)平臺優(yōu)化派單情況、規(guī)劃推薦路徑。本文將提出的算法應(yīng)用于外賣員群體。

軌跡數(shù)據(jù)是通過對用戶移動過程進行采樣而獲取的數(shù)據(jù)信息,用于反映用戶在采樣時間點的位置。現(xiàn)有的用戶位置預(yù)測研究大都基于社交媒體簽到數(shù)據(jù),而該數(shù)據(jù)的個體時空軌跡往往比較稀疏。本文使用的數(shù)據(jù)集為我國南方某運營商的用戶上網(wǎng)和通話數(shù)據(jù),時長一共兩周,時間為2021-06-01—2021-06-14。上網(wǎng)日志中包含用戶ID、訪問時間、訪問時長、統(tǒng)一資源定位符(Uniform Resource Locator,URL)和接入基站等信息,關(guān)鍵字段如表1所示,經(jīng)緯度為接入基站的位置。通話數(shù)據(jù)中包含用戶ID、聯(lián)系人ID、通話時間和通話時長等信息,如表2所示。用戶通話或上網(wǎng)時,數(shù)據(jù)流向城市中密布的基站,基站的位置即可作為用戶所在地的近似位置。不同于POI簽到數(shù)據(jù),蜂窩移動通信數(shù)據(jù)中的軌跡序列粒度較小。

表1 用戶上網(wǎng)詳單數(shù)據(jù)關(guān)鍵字段Tab.1 Key fields of dataset about Internet log

表2 用戶通話數(shù)據(jù)關(guān)鍵字段Tab.2 Key fields of dataset about user’s calling

由于外賣員接單需要訪問特定的應(yīng)用軟件,根據(jù)用戶上網(wǎng)日志中的URL信息,利用關(guān)鍵字篩選出訪問了外賣配送App的用戶,考慮到外賣員工作需要撥打電話、訪問外賣配送相關(guān)App和移動送貨,根據(jù)通話次數(shù)、訪問外賣配送相關(guān)App時長和移動距離等信息對其進一步篩選,共計3 163人,篩選后的外賣員軌跡數(shù)據(jù)集如表3所示。被篩選出的外賣員群體兩周內(nèi)共有5 497個位置點和4 953 858條記錄,位置信息包含在上網(wǎng)記錄中,相當于4 953 858個不規(guī)則(非定時采樣)的軌跡采樣點,平均每個用戶的軌跡點數(shù)為1 566,用戶軌跡序列較長。

表3 外賣員群體軌跡數(shù)據(jù)集Tab.3 Trajectory dataset of deliverymen

為了直觀展示用戶軌跡數(shù)據(jù),繪制了用戶A某天內(nèi)途經(jīng)的基站(上網(wǎng)過程中接入的基站),如圖4所示,根據(jù)用戶接入的不同基站可以大致還原用戶A在這一天內(nèi)的位置路線。

圖4 用戶A軌跡Fig.4 Trajectory of user A

2.2 外賣員工作行為分析

外賣員群體在送餐過程中,需要先通過手機訪問外賣類App進行接單以及查看商家位置、訂單內(nèi)容和客戶位置等信息,到達商家后進行取餐,取餐后需要前往客戶所在地進行配送,到達后需要通過撥打電話聯(lián)系客戶進行告知。因此外賣員的工作狀態(tài)與其通話行為、移動行為和訪問App行為等密切相關(guān),下面對外賣員的行為進行分析。

外賣員的通話次數(shù)可以反映工作狀態(tài),對外賣員群體1 d內(nèi)每小時的通話次數(shù)進行聚類,類中心如圖5所示,圖例表示不同類型。可以看出,外賣員群體于中餐時段、下午茶時段、晚餐時段和宵夜時段均有較多通話記錄,不同外賣員的工作模式稍有不同,有些外賣員傾向于中午工作,有些則傾向于晚上工作。

圖5 通話次數(shù)類中心Fig.5 Cluster centers of the number of calls

假設(shè)用戶上網(wǎng)時手機接入的基站位置近似為用戶所在位置,在已知用戶接入基站經(jīng)緯度信息的前提下,用戶移動軌跡的距離信息可由其接入基站的位置變化進行計算。同樣,對外賣員群體1 d內(nèi)每小時的移動距離進行聚類,類中心如圖6所示,可以看出,外賣員群體遠距離移動行為同樣集中于中午、下午和晚間的用餐時段,正是其送單行為的體現(xiàn)。

圖6 移動距離類中心Fig.6 Cluster centers of moving distance

觀察數(shù)據(jù)發(fā)現(xiàn),大多數(shù)外賣員的工作有著較強的時間規(guī)律性,另外,由于外賣員移動路線取決于各個位置本身的功能,固定的商家和客戶位置分布情況以及固有的城市路徑?jīng)Q定了整個外賣員群體的工作路線會較為穩(wěn)定。一般來說,該群體工作區(qū)域較為固定,這些因素均為外賣員軌跡預(yù)測問題提供了良好的基礎(chǔ)條件。

不同的位置在外賣員送餐過程中有著不同的角色,外賣員自身的工作狀態(tài)往往與所處位置息息相關(guān),例如,處于商圈、辦公區(qū)和住宅區(qū)的外賣員工作行為一般也不同。因此,外賣員群體的移動行為和工作行為能夠反映出位置的功能,分析外賣員的歷史軌跡和行為模式有利于得到詳盡的位置功能信息,從而能夠更好地實現(xiàn)下一位置的預(yù)測。

3 實驗結(jié)果與分析

基于前述用戶行為分析,認為外賣員工作行為主要可以由通話行為、工作時長和移動距離進行描述。對用戶統(tǒng)計每小時通話次數(shù)、訪問外賣類App的時長(s)、移動距離(km)數(shù)據(jù)以及兩周內(nèi)所有用戶的三元數(shù)據(jù)進行聚類,當聚類數(shù)為8時,聚類輪廓系數(shù)超過0.6,可以得到8組小時制工作模式,中心點如表4所示。

表4 小時制工作模式(k=8)

由表4可以看出,外賣員在不同時間、不同地點的工作狀態(tài)可能處于不同模式下,例如夜間大部分外賣員處于模式1狀態(tài),而用餐時間工作于不同區(qū)域的外賣員工作模式存在差異,在商家及客戶密集區(qū),外賣員工作效率(單位時間送單量/通話次數(shù))一般更高。為了使用更精細的用戶工作模式信息,本文設(shè)置k=50,將用戶的工作行為模式分為50類,這里不詳細列出具體數(shù)據(jù)。

在實驗過程中,選擇前8 d的軌跡進行訓(xùn)練,最后3 d進行測試,中間3 d進行評估。位置嵌入向量維度為128,Transformer編碼器為4層,含8個注意力頭。

為了評估模型的預(yù)測效果,對比CHST-LSTM模型與其他常見的5種預(yù)測算法在本數(shù)據(jù)集上的表現(xiàn),實驗?zāi)Ｐ腿缦?

① ST-RNN[12]:時空循環(huán)神經(jīng)網(wǎng)絡(luò)模型,在遞歸傳播中通過特定的時間和距離轉(zhuǎn)換矩陣融合了空間和時間的相關(guān)性。

② ST-LSTM[1]:時空長短期記憶網(wǎng)絡(luò)模型,將時間和距離信息嵌入潛在向量。

③ GRU[19]:門控循環(huán)單元,構(gòu)成網(wǎng)絡(luò)用于模擬用戶的歷史軌跡。

④ DeepMove[16]:多模塊注意力循環(huán)網(wǎng)絡(luò),利用注意力機制模擬移動的多層次周期性。

⑤ HST-LSTM[1]:分層時空長短期記憶網(wǎng)絡(luò), ST-LSTM作為編解碼器。

比較結(jié)果如表5所示,用top-N準確率(N取1,5,10)對位置預(yù)測的性能進行評估,本文提出的基于用戶行為的分層模型CHST-LSTM取得了最好的預(yù)測效果。

表5 預(yù)測模型效果比較Tab.5 Comparison among different prediction models

為了驗證ST-LSTM分層架構(gòu)的作用,本文設(shè)計了幾組由ST-LSTM作為基本單元構(gòu)成的預(yù)測模型變體,位置的嵌入向量均采用融合了用戶行為信息的上下文感知向量,通過對比實驗進行分析,模型如下:

① ST-LSTM:時空長短期記憶網(wǎng)絡(luò)模型;

② 分層ST-LSTM:分層時空長短期記憶網(wǎng)絡(luò),ST-LSTM作為編解碼器,軌跡按固定時長劃分階段;

③ 分層ST-LSTM+LSTM:分層時空長短期記憶網(wǎng)絡(luò),ST-LSTM作為編解碼器,用LSTM處理長周期變化,軌跡按固定時長劃分階段,HST-LSTM方法;

④ 分層ST-LSTM+BiLSTM:分層時空長短期記憶網(wǎng)絡(luò),ST-LSTM作為編解碼器,用BiLSTM處理長周期變化,軌跡按固定時長劃分階段;

⑤ 動態(tài)分層ST-LSTM+BiLSTM:分層時空長短期記憶網(wǎng)絡(luò),ST-LSTM作為編解碼器,用BiLSTM處理長周期變化,軌跡按用戶狀態(tài)劃分階段,本文方法。

相比于ST-LSTM,以編解碼器的形式進行序列信息處理能夠更好地捕獲長短期變化特征,如圖7所示;在此基礎(chǔ)之上通過LSTM、BiLSTM處理全局上下文信息,對于位置預(yù)測能起到更好的效果;根據(jù)用戶停留時長進行動態(tài)劃分后,又進一步提升了預(yù)測性能。另外,分層ST-LSTM+LSTM方法相當于在表5的HST-LSTM模型的基礎(chǔ)上使用位置的上下文感知向量,對比二者結(jié)果可以證明位置的上下文語義對于位置預(yù)測的意義。可見基于用戶狀態(tài)動態(tài)分層、考慮上下文信息等處理對于捕獲序列長距離依賴的意義,這些方法能夠提升下一位置預(yù)測的準確率。

圖7 CHST-LSTM成分分析Fig.7 Component analysis of CHST-LSTM

對于嵌入方法,本文選取了5種嵌入模型,對得到的位置嵌入向量利用本文的動態(tài)分層ST-LSTM預(yù)測,進行對比實驗,嵌入方法包括Skip-gram[4]、POI2Vec[3]、TALE[5]、HIER[6]和CTLE[7]。表6顯示了本文嵌入模型與5種對比嵌入方法的性能評估結(jié)果。

表6 嵌入模型效果比較Tab.6 Comparison among different embedding methods

表6結(jié)果顯示融合了用戶行為的位置嵌入向量質(zhì)量更高,模型在下一位置預(yù)測中表現(xiàn)更佳。在這些方法中,Skip-gram沒有考慮到訪問時間、位置的地理信息,僅僅從上下文中提取信息,POI2Vec引入了空間信息,但位置屬性與實際地理位置未必強相關(guān),TALE和HIER雖然考慮了訪問時間,但無法學(xué)習(xí)相對時間差,CTLE考慮了訪問時間差,也可以區(qū)分特定上下文環(huán)境中位置的不同功能,但是僅有此信息無法關(guān)聯(lián)上用戶行為。用戶處于不同位置的不同行為可以反映出所處地的特征,外賣員作為各個位置之間的穿梭者,其工作行為很大程度上反映了所處的位置,本文模型在考慮上下文信息的同時,將外賣員工作模式、訪問時間納入其中,能夠進一步提升位置的嵌入質(zhì)量,從而對用戶下一位置預(yù)測帶來性能提升。

為了進一步研究用戶行為相關(guān)信息的有效性,設(shè)計了CHST-LSTM模型的變體進行比較,實驗?zāi)Ｐ腿缦?

①Trans:該模型使用Transformer的位置編碼,并且僅使用MLM目標進行預(yù)訓(xùn)練;

②Trans+Time:該模型用時間編碼取代基本模型Trans中的位置編碼;

③Trans+Time+Mode:該模型在使用時間編碼的基礎(chǔ)上加上了用戶行為模式編碼;

④Trans+MT:該模型使用Transformer位置編碼,但在預(yù)訓(xùn)練期間加入時間掩碼訓(xùn)練目標,與MLM目標結(jié)合;

⑤Trans+MT+MA:該模型使用Transformer位置編碼,在預(yù)訓(xùn)練期間同時加入時間掩碼和模式掩碼訓(xùn)練目標;

⑥Trans+Time+Mode+MT+MA:本文方法。

在外賣員群體的數(shù)據(jù)集上,將這幾種變體模型與CHST-LSTM模型預(yù)測位置的準確率進行比較,如圖8所示。

圖8 嵌入方法分析Fig.8 Analysis of the embedding methods

與其他位置嵌入方法相比,利用Transformer編碼器進行訓(xùn)練已經(jīng)具有一定的性能優(yōu)勢,這表明更好地學(xué)習(xí)上下文語義能夠得到更高質(zhì)量的位置特征表達,應(yīng)用于位置預(yù)測任務(wù)能夠達到更好的效果。加入時間編碼模塊、預(yù)測掩碼時間等方法都能將時間信息融合到模型中,能夠提高基本模型的預(yù)測性能。在此基礎(chǔ)之上,加入用戶行為模式編碼模塊、預(yù)訓(xùn)練時加入掩碼行為模式的預(yù)測都能進一步提升預(yù)測效果。由此可見,用戶到達某位置的時間、在某位置的行為模式都能為位置的嵌入表征提供有效信息,因此將其加入模型中以提升預(yù)測性能。

4 結(jié)束語

針對位置預(yù)測問題,本文將用戶行為納入考慮,設(shè)計了CHST-LSTM模型。為了處理用戶行為信息,將用戶訪問時間、行為模式與訪問地點共同編碼,經(jīng)上下文感知嵌入模型,通過掩碼預(yù)訓(xùn)練得到位置的嵌入向量。為了更好地處理序列的長短期依賴問題,將位置嵌入向量用于基于用戶狀態(tài)劃分的動態(tài)ST-LSTM分層模型,通過編解碼器和BiLSTM提取長短期移動特征,共同構(gòu)成CHST-LSTM預(yù)測模型。在對外賣員群體進行實驗時,融合了訪問時間、工作模式信息,得到了更高質(zhì)量的位置嵌入表示,通過動態(tài)ST-LSTM分層模型使得外賣員下一位置預(yù)測更加準確,驗證了CHST-LSTM模型對于軌跡預(yù)測的性能提升。在后續(xù)的工作中將考慮處理更復(fù)雜的用戶行為信息,并將之應(yīng)用于位置預(yù)測。