基于工作者多屬性特征模型的任務分配方法

原博洋，王麗清

(云南大學 信息學院，云南 昆明 650091)

0 引 言

眾包(crowdsourcing)作為一種依托互聯網受眾實現任務分配和協同工作的方法，隨著任務需求的復雜和深化，已逐漸向多學科、多領域技術融合的方向發展。依托信息技術強大的計算和分析能力，在眾包的任務分配、過程控制、激勵和結果評價反饋等多個方面實現了技術融合和突破。對于眾包的任務分配來說，任務得以有效完成并取得高質量任務結果的關鍵是如何從眾包工作者中篩選出最合適的參與者。

為此，一方面可以從定義一個更完整和精準的工作者特征的角度，來達到提升眾包任務和工作者之間匹配度的目的。包括基于Argo+框架技術按工作者特征和任務屬性匹配，再利用機器學習技術輔助的方法[1]，以及基于工作者信譽值進行模型構建或分配的方法[2，3]；還有學者采用基于滑動窗口的方法，提出專業準確率的定義，衡量工作者的專業水平[4]；建立擴展模型評估工作者能力，對工作者屬性進行深層次的描述[5]；或者通過對工作者歷史信息的分析，從興趣、專長、活躍度等方面構建不同的任務分配方法[6-8]。

另一方面是分析任務需求，給出更詳細的任務描述的方法。例如定義任務的成本邊界值，增加任務質量要求的方法[9]；針對不同的任務分配環境，結合人工智能或基于歷史數據的在線學習進行篩選的方法[10，11]；或者借助數據庫支撐任務匹配和完成[12]；還有從任務內容角度和任務可靠性要求的分配方式[13，14]。

隨著任務需求復雜性、難度的逐漸提高，對工作者特征模型的建立和任務分配，提出了更全面、更靈活、更精準和更高效的要求[15]。不論是單方面從工作者的角度還是從任務定義的角度，都難以完整、準確地描述雙方的特征，從而帶來任務匹配效果不佳的問題。

為此，本文以中泰的眾包協同翻譯作為實例，根據非通用語語言翻譯任務的具體要求，分析對于承擔該任務，并盡可能取得較好任務結果的工作者，應該具備的典型特征。然后，基于層次分析法(analytic hierarchy process，AHP)構建工作者的多屬性特征模型，實現對任務需求和工作者特征的多點匹配，最后據此完成任務分配。這樣，既避免了任務需求和工作者素質脫節的問題，又有效地提高了眾包任務分配的準確性，提高了任務完成的質量和效率。此外，對于在任務分配中由于對新任工作者缺乏歷史數據描述而造成的“冷啟動”問題，也可以在提取少量初始信息的基礎上，得到該工作者的特征描述，進而對其完成初期任務的高質量匹配，取得較好的任務效果。

1 多屬性特征模型構建

針對非通用語言眾包協同翻譯任務，需要工作者在語言的專業翻譯能力、工作者的積極性和工作態度，甚至在當下的工作狀態上具有良好的表現，才能在參與任務中取得滿意的結果，進而提升任務完成效率和質量，降低任務成本。

因此，用評價指標的設計將任務需求和工作者的特征描述緊密結合起來，再進行權重和量化計算，給出每個指標的權重系數，以便篩選出最佳工作者。

根據以上分析，在任務分配中，根據層次分析方法原理和步驟，從評價指標定義、構造多因素判斷矩陣、權重向量計算來構建工作者的多屬性特征模型。

1.1 評價指標定義

在對模型進行指標定義時，本文結合要解決的具體任務和工作者的特征建立自上而下的三層結構模型，將決策目標定義為翻譯能力指標A，并據此篩選出不同翻譯水平的工作者。

準則層包括專業語言能力評價B1，其下包括翻譯結果接受次數、翻譯結果質量加權分、綜合成績排名、語言證書等級、學歷共5個方案層指標[16]；

參與度評價B2，包括任務響應速度、任務主動參與數、任務接受次數、在線時長、近3個月參與次數[16]；

工作態度評價B3，包括任務完成率、完成時間效率、黃金檢測通過次數、責任心參數[16]。完整的模型指標體系結構見表1。

表1 各級評價指標定義

針對相應的指標，研究并定義了其具體的量化計算方法或計算公式。

(1)專業語言能力評價

目的是描述工作者的專業能力和水平。其中：

C1翻譯結果接受次數是該工作者被任務發起者所接受的任務累計數量。

C2翻譯結果質量加權分是任務發起者對工作者完成任務的滿意度(cs)評價，用數值表示，從不滿意(值為0)到很滿意(值為5)，然后通過計算式(1)計算得到加權分AR[16]

(1)

式中：rei表示第i個任務的評測結果，csj表示第j級滿意度。

其它專業能力評價指標也分別根據不同能力和水平用分值進行量化描述。

(2)參與度評價

該指標用于描述工作者參與任務的積極性和活躍度。其中任務響應速度(RS)的計算公式如式(2)所示[16]

RS=(Te-Ta)/(Te-Ts)

(2)

式中：Te為任務執行截止時間，Ta為任務接受時間，Ts為任務發布時間[16]。

C9在線時長(OT)計算公式如式(3)所示

OT=Tl-Te

(3)

Tl和Te分別代表工作者登錄和注銷的時間。

其它參與度指標根據工作者參與任務的實際數據統計得出。

(3)工作態度評價

該指標描述了工作者近期的工作狀態和工作態度。其中任務完成率(TC)的計算公式如式(4)所示[16]

TC=Nc/Na

(4)

式中：Nc為完成的任務數；Na為接受任務數。

完成時間效率(TE)的計算公式如式(5)所示

TE=Tf-Ta/Te-Ts

(5)

式中：Tf為任務的完成時間,Ts和Te分別表示任務的發布時間和截止時間，Ta為任務接受時間。

1.2 構建多因素判斷矩陣

層次指標和模型構建完畢后，構建判斷矩陣。根據運籌學家Satty提出的層次分析法中對于兩兩因素的比較關系量化表(表2)[17]，本文對各個指標的重要性要求使用7分位比率計算量化結果，構造出A、B1、B2、B3判斷矩陣。

表2 關系量化分析

1.3 特征權重計算

(1)一致性檢驗

構建了判斷矩陣后，需要對判斷矩陣進行一致性檢驗。對于一致性檢驗不通過的矩陣，需要重新構造，直至達成矩陣一致性為止。根據參考文獻[17]的定義，一致性檢驗根據判斷矩陣的最大特征值，通過按如下公式計算一致性指標CI和一致性比率CR完成

(6)

CR=CI/RI

(7)

當CR<0.1時，則表示CI在允許范圍內，矩陣滿足一致性。其中RI取值見表3。

表3 RI取值

(2)計算特征權重

根據以上方法，得到判斷矩陣A的最大特征值λ=3.0536，CR=0.0268/0.58= 0.046，CR值小于0.1，因此矩陣A滿足一致性檢驗。

計算A特征向量并歸一化處理后為：δ=[0.6441,0.2706,0.0976]，即為準則層各個評價指標的權重，見表4。權重從高到低，可以看出各個評價指標對A翻譯能力的影響程度。

按照上述方法求出矩陣B1、B2和B3的歸一化特征向量，即得到各級指標的權重值計算結果見表4[16]。

表4 各級指標權重對照

根據表4按式(8)即可計算出各個工作者的翻譯能力評價指標A

(8)

其中，Bi的計算公式為

(9)

式中：Bi、Cj分別表示準則層和方案層指標值，Wbi、Wcj分別表示Bi和Cj的指標權重[16]。

2 任務分配

通過上述方法建立的工作者特征模型，即可在協同翻譯任務的分配中提取出綜合工作能力更優秀的工作者，完成對應的翻譯工作。工作者篩選和任務分配的流程如圖1所示。

首先采集工作者初始數據，并存儲到數據庫，完成模型初始化和對工作者的量化指標計算，對計算結果排序后即篩選出滿足任務需求的能力優異的工作者，對其進行任務分配。

圖1 基于特征模型的任務分配流程

3 實驗與結果分析

3.1 實驗數據

在實驗中，由于需要具備中泰兩種語言的工作者，標準數據難以取得，因此依托高校外語學院相關專業通過征集志愿者，獲取了志愿者包括專業、成績等在內的初始數據，建立了工作者屬性表。其中，對于成績排名、證書等級、學歷等級等難以量化的信息，采用預定義量值的方式解決。數據經處理后存儲到數據庫，作為工作者初始特征數據。

對于任務內容，從經專業翻譯審核完成的中泰標準平行譯文知識庫中抽取固定數量的短譯文作為待翻譯的任務實驗數據。中文提交給工作者作為任務完成翻譯，對應泰文作為標準譯文，用于評測工作者翻譯質量。

3.2 實驗結果與分析

為比較任務分配的執行效果，采用隨機分配工作者和對工作者首先進行翻譯測試，然后根據測試結果分配任務的方法作為對比，對3種不同分配方法最后取得的翻譯結果與標準譯文基于BLEU評估方法進行質量對比，來完成對本文研究結果的分析。

實驗結果見表5～表7。

表5 基于翻譯測試評測分配的實驗結果

表6 基于隨機分配方法的實驗結果

表7 基于工作者特征分配模型的譯文評測

使用散點圖直觀表示如圖2所示。

圖2 3種分配模型BLEU質量對比

從實驗結果可知，采用本文提出的方法取得的譯文平均質量要高于按照隨機分配和基于測試的分配方法所最終得到的譯文。

在翻譯結果中，存在基于翻譯測試評測方式篩選出的某工作者所提交譯文質量比本模型篩選工作者高的情況(例如表6中的工作者5)。分析其原因，一是對于翻譯質量，一方面很大程度依賴于翻譯者的綜合水平，但另一方面也會受到翻譯中是否有外來因素影響，造成翻譯結果波動的問題；二是對于本研究的譯文質量評價，主要基于BLEU評價方法，為更全面、客觀地對譯文質量進行綜合評定，還可以引入其它評價指標，甚至主觀評定來完成一個更準確的評估。

4 結束語

本文所提出的面向具體任務需求的多屬性工作者特征模型分配算法，主要以中泰語言的眾包協同翻譯作為任務需求，基于層次分析法，通過對任務工作者的需求特征分析，建立多因素的評價指標體系，并據此完成基于工作者特征的篩選模型構建和任務分配算法設計。

該方法在研究中依托層次分析法在面對復雜和缺少數據的多因素影響問題中能夠定性和定量結合進行分析的優勢，對語言翻譯工作者進行基于需求特征的評價指標定義，并提出指標量化方法，為快速計算和篩選出最優工作者提供了方法。

根據實驗，采用該模型和方法，可以更精準、更快速地篩選出任務的最佳工作者群體，并取得更好質量的任務結果。對于其它任務需求的模型構建，同樣可以采用該方法進行特征模型的建立，主要區別在于評價指標的設計。該模型的部分指標(包括參與度、工作任務完成率和完成質量等)隨著工作者對于任務的不斷參與，在取得工作者累積歷史數據的情況下，將會獲得更好的任務分配效果。

為進一步提高對結果質量的控制，今后考慮在任務執行過程中增加對工作者的監督，避免不可預見因素影響對工作結果帶來的波動。