基于活躍度的眾包工作者信譽模型

嚴 俊，庫少平，喻 楚

(武漢理工大學 計算機科學與技術學院，武漢 430070) (*通信作者電子郵箱848477275@qq.com)

基于活躍度的眾包工作者信譽模型

嚴 俊*，庫少平，喻 楚

(武漢理工大學 計算機科學與技術學院，武漢 430070) (*通信作者電子郵箱848477275@qq.com)

針對現有眾包系統不能有效地控制眾包交互過程中工作者的活躍積極性和任務完成質量的問題，提出了一種基于活躍度的工作者信譽模型來實現眾包平臺的質量控制。該模型改進了平均信譽模型，從工作者活躍度和歷史信譽值的角度提出了活躍因子和歷史因子的概念。首先根據眾包工作者最近30 d內參與眾包活動的天數計算工作者的活躍因子；然后根據歷史因子計算眾包工作者的歷史信譽值；最后根據計算出來的活躍因子和歷史信譽值計算基于活躍度的工作者信譽值，以衡量眾包工作者的工作能力。理論分析和測試實驗結果表明：與平均信譽模型相比，根據基于活躍度的工作者信譽模型選取的眾包工作者在任務完成質量上提高了4.95%，在任務完成時間上減少了25.33%；與基于證據理論信任模型相比，在任務完成質量上提高了6.63%，在任務完成時間上減少了25.11%。實驗結果表明，基于活躍度的工作者信譽模型在實際眾包項目中能夠有效提高眾包任務的完成質量，減少眾包任務的完成時間。

眾包；活躍因子；歷史因子；工作者信譽模型；平均信譽模型

0 引言

在眾包項目[1-4]中，不同工作者從事相同任務生產效率差距可達10至40倍[5]，同時個體數量的增長帶來了群體多樣性的增加，會使最后眾包任務結果的不確定性增大，導致眾包任務完成質量并沒有隨著工作者數量的增加而提高。為提高眾包服務的工作效率和完成質量，選取優質的眾包工作者來接受眾包任務，成為提高眾包效率的最直接手段。

相比其他的眾包質量控制模型[6-9]，Jurca等[10]提出的平均信譽模型在實際的眾包系統得到了廣泛運用。該模型將工作者所有的歷史任務完成質量累加后取平均值作為該工作者的信譽值，之后根據信譽閾值選擇合適的工作者安排工作任務。其不足之處是：工作者的所有歷史任務完成情況對于工作者當前信譽值的影響力都是等價的，而且忽視了工作者當前的活躍狀況。在實際應用中時間更近的歷史任務的完成情況，對工作者目前的信譽具有更有參考價值。

阮閃閃等[11]也從信譽值的角度提出了基于證據理論的信任評估模型來實現眾包工作者的綜合工作能力評估。該模型主要利用改進的證據理論對證據序列進行融合，計算其直接信譽和間接信譽，最終得到工作者綜合信譽。其優點是很好地區分出了惡意的接包工作者，具有較強的檢測能力。其不足之處是：在眾包交互初期，整體工作者的信譽值不會相差太大，不能很好地區分工作者綜合工作能力；如果工作者偶爾接包失敗，會對整體信譽值造成很大影響，沒有考慮活躍度對工作者整體信譽值的影響。

由此，本文提出了基于工作者活躍度的眾包工作者信譽模型，考慮了工作者的活躍度，提高近期任務結果質量在總體信譽值中所占比例。使用該模型可以更好地選擇優質工作者，激勵工作者參與眾包活動，更高質量地完成眾包任務。

1 基于活躍度的眾包工作者信譽模型設計

1.1 信譽模型設計目標

本文提出的基于活躍度的眾包工作者信譽模型將工作者的信譽值和活躍度作為信譽值參考因素，在保證工作者信譽良好的同時，選擇較好活躍度的工作者來參與眾包服務。基于活躍度的眾包工作者信譽模型的設計目標如下。

1)警示目標。警示工作者不要提交不可靠眾包結果，工作者最近一次的任務結果質量將會對其信譽值產生相對較大影響，因此如果工作者最近一次提交了不合格的結果，將會對以后的信譽值影響較大。

2)激勵目標。鼓勵工作者保持活躍，如果一個工作者每天提交任務，則他的信譽值會高于偶爾提交任務的工作者。

3)公平目標。通過增加活躍因子來調整工作者信譽，因為接包任務較少的工作者不可能有較高活躍度，所以在基于活躍度的眾包工作者信譽模型中不存在歷史任務總量較少卻工作者信譽值很高的情況。

1.2 工作者活躍度

基于活躍度的眾包工作者信譽模型的主要設計目的之一就是選擇更活躍的工作者來接包，為衡量眾包工作者的活躍度，本文定義活躍天數L及活躍因子P。

定義1 活躍天數。在最近30 d內眾包工作者參與眾包活動的天數，其取值范圍為[0，30]。

定義2 活躍因子。根據工作者最近參與眾包活動的活躍天數所得的表示該工作者活躍度的系數。本文選擇使用歸一化的正切函數作為最近活躍天數映射到活躍因子的函數為：

P=(arctan (L-β)+arctanβ)/(π/2+arctanβ)

(1)

其中，參數β起著控制活躍因子增長速度的作用，圖1表示式(1)的曲線。從圖1中得出，當活躍天數L=β時，活躍因子P=0.5，當L值接近β時，活躍因子P變化速率較大；當L值遠離β時，活躍因子P變化速率減??；當L>β時，一側迅速地高于0.9，而在L<β時，活躍因子迅速地低于0.1。由此可知L=β是工作者活躍度高低的一個分界線，活躍工作者和不活躍工作者在活躍因子值上區分明顯，眾包任務發布者可以通過調整β值的大小，控制對眾包活躍天數的平均要求，有效調整整體工作者的活躍因子并激勵工作者保持較高的活躍度。

1.3 改進工作者歷史信譽值

在平均信譽模型中，引入一個歷史信譽值的變量Rik，該變量表示了工作者i在第k次完成眾包任務之前的信譽值。在工作者i第k次完成任務時，其該次得到的信譽獎勵為rik,若任務結果合格，rik=1；否則rik=0工作者進行第k次任務之后的信譽值計算方式如式(2)所示：

(2)

當k→∞時，(k-1)/k→1,1/k→0，這表明在平均信譽模型中，隨著任務總量的增大，工作者的信譽值將越來越接近工作者的歷史平均信譽值，而當前任務對信譽值的影響將越來越小。而調查研究表明，在實際眾包項目中最近一次的眾包任務結果更具參考價值[12]，對整體的眾包結果質量貢獻更具加影響力。

圖1 活躍因子計算函數曲線

所以本節提出歷史因子α的概念和新的計算歷史信譽值的模型，該模型提高了眾包工作者的最近一次任務結果完成質量在總體信譽值中所占的比例。在工作者完成第k次任務之后，其信譽值Ri將根據式(3)進行更新：

Ri=αRik+(1-α)rik;rik=0或1

(3)

其中：參數α稱為歷史因子，α的取值范圍[0,1]，當(1-α)<1/k時，當前任務對總體信譽值影響小于平均信譽模型；當(1-α)>1/k時，當前任務對總體信譽值影響大于平均信譽模型；當(1-α)=1/k時，當前任務對總體信譽值影響等于平均信譽模型。由此可見，歷史因子α控制著工作者最近一次提交任務結果所占信譽值比例的影響力度。

1.4 基于活躍度的工作者信譽值

基于活躍度的工作者信譽值體現了工作者在歷史信譽和活躍度兩方面的因素，相比平均信譽模型：引入的活躍因子，使得活躍度低的工作者無法擁有較高的信譽值，避免了由于任務總量少帶來較高信譽值的可能；引入的歷史因子，提高近一次任務完成結果的影響力，使工作者對完成質量更為重視。

定義3 基于活躍度的工作者信譽值:根據眾包工作者活躍因子和歷史信譽值，所得到的信譽值表示該工作者接包能力的指標，用Ti表示，如式(4)：

Ti=Pi*Ri

(4)

設定好基于活躍度的工作者信譽閾值T，就可以決定是否讓工作者i進行接包任務，如式(5)：

(5)

閾值T的大小決定了眾包任務完成的時間和完成質量，當閾值T較低時，門檻放低，可以讓較多的工作者參與眾包任務，但工作者可能質量較差；當閾值較高時，能獲得較高的眾包質量，但參與的工作者人數不夠多，可能會延長眾包任務完成的時間。由此看出，眾包工作者的數量和質量對最后的眾包結果完成的時間和質量有著直接影響。

1.5 基于活躍度的工作者信譽模型參數分析

基于活躍度的工作者信譽模型，是根據工作者歷史任務的完成情況和近30 d的活躍天數來計算基于活躍度的工作者信譽值，由式(1)、(3)和(4)可知，控制活躍因子的參數β和歷史因子α間接影響著基于活躍度的工作者信譽值。下面分別取活躍天數[1，30]和信譽值[0.1,0.9]計算對應基于活躍度的工作者信譽值。

1)參數β=15時的工作者信譽值曲線如圖2所示。

圖2 β=15時工作者信譽值曲線

2)參數β=10時的工作者信譽值曲線如圖3所示。

圖3 β=10時工作者信譽值曲線

3)參數β=20時的工作者信譽值曲線如圖4所示。

圖4 β=20時工作者信譽值曲線

1.5.1 活躍因子參數β取值分析

式(1)中參數β是控制活躍因子增長速度的參數，根據上面三組曲線得知：當活躍天數L>β時，活躍因子迅速提高到0.9，而L<β時，活躍因子迅速降低到低于0.1，因此L=β是區分工作者的活躍度高低的分隔線，活躍因子參數β反映的是眾包任務發布者對工作者活躍天數的平均要求。為了選擇更活躍的眾包工作者來接包眾包任務，眾包發布者可以根據眾包任務數目的大小，設置β的值來選擇眾包工作者，以達到更好的眾包效益。當任務數量較小時，β值可取20～30，選擇更優質的工作者；當任務數量較大時，β值取10～15，可以得到更多的工作者參與眾包任務；任務量適中時，β=15較為合適。

1.5.2 歷史因子α取值分析

式(3)中歷史因子α控制著工作者最近一次提交的任務結果在總信譽值中所占的比例，強調距離當前時間近的歷史任務完成情況對當前工作者的信譽影響大于距離當前時間遠的。根據圖2～4得知，當活躍天數L<9時，眾包工作者不論歷史信譽值高低，最后得到的基于活躍度的工作者信譽值都小于0.2，并且工作者當前完成任務所得的信譽值對總體的工作者信譽值幾乎沒有影響。為了突出當前任務完成后所得信譽值的占比，需選擇合適的α值。

從圖2知，當β=15時，曲線在L∈[10，20]時，工作者當前完成任務所得的信譽對總體的工作者信譽值影響較大，此時符合基于活躍度的工作者信譽模型完成當前任務對總體信譽值影響大于平均信譽模型的情況，由2.3節可知此時應滿足(1-α)>1/L,所以得出0<α≤0.9；從圖3知，當β=10時，曲線在L∈[5，15]時變化較大，同理可得0<α≤0.8;圖4知當β=20時,曲線在L∈[15，25]時變化較大，同理可得0<α≤14/15，因此可以得出當L∈[L-β，L+β]時，工作者當前完成任務所得的信譽值對總體的工作者信譽值產生較大影響，此時0<α≤(L-β-1)/(L-β)。

1.5.3 基于活躍度的工作者信譽值閾值T分析

在眾包工作者選擇中，可以通過調整基于活躍度的工作者信譽值閾值T來控制優質工作者的數量。當閾值T設置過高時，所選的工作者較為優質，但人數較少，可能導致完成眾包時間延長；而當閾值T設置較低時，雖然提高了參與工作者人數，但所選工作者整體質量偏低。根據圖2～4可以看出，閾值的高低直接決定了所選工作者的歷史信譽值高低和活躍度的高低，當閾值T≥0.5時，任務發布者要求所選工作者的活躍天數L≥β，當閾值T高于0.7時，只有歷史信譽值高于0.7的工作者可能符合基于活躍度的工作者信譽值標準。眾包任務發布者可以根據任務的實際情況，調整閾值的大小來控制所選工作者的質量，獲得較好的眾包效益。

2 實驗結果與分析

為驗證基于活躍度的眾包工作者信譽模型的有效性，在地理信息采集眾包平臺上開展地理圖片核實的眾包實驗，首先將地圖上待驗證的興趣點門臉照片的核實工作設計成眾包任務，展示在移動客戶端任務顯示界面上，然后眾包工作者通過移動客戶端接受眾包任務，到實地去核實地理興趣點信息，并將核實結果提交到服務器，最終統計并分析眾包結果，與使用平均信譽值模型和基于證據理論信任模型在核實結果正確性和核實時間上作對比實驗。

2.1 實驗數據集

從地理信息采集眾包平臺的眾包結果中獲取30 000幅興趣點門臉照片作為核實對象，并從眾包采集工作者中每次選取500個工作者作為實驗工作者。另外，組織50名地理信息采集眾包平臺的專業審核人員作為人工核實工作者，以他們的結果作為標準參考數據。由于本次實驗眾包任務量適中，所以取活躍因子曲線參數β=15，歷史因子α=0.9，信譽閾值T的取值范圍為[0.1,0.9]。

2.2 實驗結果與分析

分別根據平均信譽模型、證據理論信任模型和基于活躍度的工作者信譽模型計算500名眾包工作者的平均信譽值、證據理論信任值和工作者信譽值。不同信譽閾值產生的核實工作者人數如表1所示。

表1 不同閾值下工作者人數分布

分別選擇平均信譽閾值、證據理論信任閾值和基于活躍度的工作者信譽閾值范圍為[0.1,0.9]時的眾包工作者完成30 000幅興趣點信息圖片核實的眾包工作，基于平均信譽模型的眾包工作結果如表2所示。

表2 平均信譽模型的眾包工作結果

基于活躍度的工作者信譽模型的眾包工作結果如表3所示。

表3 基于活躍度的工作者信譽模型的眾包工作結果

基于證據理論信任模型的眾包工作結果如表4所示。

表4 基于證據理論信任模型的眾包工作結果

50名專業審核人員對30 000幅興趣點門臉照片進行了核實，結果為合格數為20 200，不合格數為9 200。

基于平均信譽模型、基于證據理論信任模型與基于活躍度的工作者信譽模型眾包結果對比顯示如圖5。

由圖5可以看出，隨著閾值T的增加，3種信譽模型的核實結果都越來越接近人工核實的標準結果，且基于活躍度的工作者信譽模型的核實結果的誤差率始終低于平均信譽模型。當閾值T<0.5時，基于活躍度的工作者信譽模型的誤差率明顯比平均信譽模型和基于證據理論信任模型的誤差率小得多，其中基于證據理論信任模型的誤差率是三者中最高的。特別地，當閾值T=0.2時，基于活躍度的工作者信譽模型的誤差率與平均信譽模型和基于證據理論信任模型的誤差率相差最大，分別達到4.95%和6.63%。當閾值T超過0.6以后，3種模型選擇的工作者的誤差率非常接近，但基于證據理論信任模型的核實結果更接近于標準結果。

圖5 3種模型核實結果對比

平均信譽模型、基于證據理論信任模型與基于活躍度的工作者信譽模型眾包工作完成時間對比如圖6所示。

通過圖6可知，基于活躍度的工作者信譽模型閾值在0.5時核實時間(即眾包工作完成時間)取得最低，為5.6 d，平均信譽模型閾值在0.6時取得最低，為7.5 d，基于證據理論信任模型閾值在0.5時核實時間取得最低，為7.4 d，最好情況下工作者信譽模型相對于平均信譽模型和基于證據理論信任模型分別提高了25.33%和25.11%。在閾值處于0.1～0.6時，基于活躍度的工作者信譽模型花費的核實時間都比平均信譽模型要少，但在閾值超過0.6以后，基于活躍度的工作者信譽模型的核實時間比平均信譽模型和基于證據理論信譽模型的長。

圖6 3種模型完成時間對比

綜合圖5～6可知：在核實結果誤差率上，當閾值T<0.5時，基于活躍度的工作者信譽模型的誤差率比平均信譽模型和基于證據理論信任模型低，在閾值T>0.6時，三者的誤差率幾乎趨于一致。在花費的核實時間上，當閾值T<0.6時,工作者信譽模型花費的核實時間要比平均信譽模型和基于證據理論信任模型要少，特別的，當T=0.5時，工作者信譽模型花費的核實時間取得最小值，但當T≥0.6時，工作者信譽模型花費的核實時間迅速增加，其增幅要遠大于平均信譽模型和基于證據理論信任模型。其原因在于當閾值T設置較高時，所選的工作者整體質量偏高，完成任務的正確率也高，但在基于活躍度的工作者信譽模型中能夠同時滿足高活躍度和高信譽值的工作者較少，所以完成任務所花費的時間要多。當信譽閾值T設置在中低范圍內，基于活躍度的工作者信譽模型在選擇工作者時，既考慮了工作者的活躍度，又提高了工作者最近提交的任務的結果質量占總體信譽值的比例，激勵工作者重視當前任務的提交質量，達到既快又高質量地完成任務的效果。眾包服務在實際運用場景中門檻較低，基本都將閾值控制在中低范圍下，這時候基于活躍度的工作者信譽模型表現尤為出色，尤其是在閾值T為0.5時，既保證了高正確率又在花費時間上達到了最小值。

3 結語

本文提出的基于活躍度的工作者信譽模型，對眾包工作者重視當前任務的完成質量和維持良好的工作活躍性起著激勵作用。通過實驗，與平均信譽模型和證據理論信任模型在地理信息圖片核實眾包任務的正確性以及任務完成的時間作了對比。在選擇合理的歷史因子α、活躍因子參數β和閾值T的條件下，使用基于活躍度的工作者信譽模型來選取眾包工作者相比通過平均信譽模型和基于證據理論信任模型來選取工作者，其眾包任務完成的質量更高，并且時間花費更少。

References)

[1] DOAN A, RAMAKRISHNAN R, HALEVY A Y. Crowdsourcing systems on the world-wide Web [J]. Communications of the ACM, 2011, 54(4): 86-96.

[2] 朱小寧.支持任務推送的眾包系統的研究與實現[D].北京：北京郵電大學,2015：53-64.(ZHU X N. Research and implementation of crowdsourcing system supporting task push [D]. Beijing: Beijing University of Posts and Telecommunications, 2015: 53-64.)

[3] 王瑩潔,蔡志鵬,童向榮,等.基于聲譽的移動眾包系統的在線激勵機制[J].計算機應用,2016,36(8):2121-2127.(WANG Y J, CAI Z P, TONG X R, et al. Reputation based incentive mechanism for mobile crowdsourcing system [J]. Journal of Computer Applications, 2016, 36(8): 2121-2127.)

[4] HOWE J. The rise of crowdsourcing [J]. Wired Magazine, 2006, 14(6): 1-5.

[5] 馮劍紅,李國良,馮建華.眾包技術研究綜述[J].計算機學報,2015,38(9):1713-1726.(FENG J H, LI G L, FENG J H. Summary of crowdsourcing technology [J]. Chinese Journal of Computers, 2015, 38(9): 1713-1726.)

[6] SAXTON G, OH O, KISHORE R. Rules of crowdsourcing: models, issues, and systems of control [J]. Information Systems Management, 2013, 30(1): 2-20.

[7] 芮蘭蘭,張攀,黃豪球,等.一種面向眾包的基于信譽值的激勵機制[J].電子與信息學報,2016,38(7):1808-1815.(RUI L L, ZHANG P, HUANG H Q, et al. A reputation based incentive mechanism for crowdsourcing [J]. Journal of Electronics & Information Technology, 2016, 38(7): 1808-1815.)

[8] 張曉波.基于工作者錯誤率估計的眾包質量控制[D].杭州：浙江大學,2016：24-36.(ZHANG X B. Quality control of crowdsourcing based on worker error rate estimation [D]. Hangzhou: Zhejiang University, 2016: 24-36.)

[9] 張志強,逄居升,謝曉芹,等.眾包質量控制策略及評估算法研究[J].計算機學報,2013,36(8):1636-1649.(ZHANG Z Q, PANG J S, XIE X Q, et al. Research on quality control strategy and evaluation algorithm of crowdsourcing [J]. Chinese Journal of Computers, 2013, 36(8): 1636-1649.)

[10] JURCA R, FALTINGS B. Towards incentive-compatible reputation management [C]// Proceedings of the 2003 International Conference on Trust, Reputation, and Security: Theories and Practice. Berlin: Springer, 2003: 138-147.

[11] 阮閃閃,王小平,薛小平.基于證據理論信任模型的眾包質量監控[J].計算機應用,2015,35(8):2380-2385.(RUAN S S, WANG X P, XUE X P. Crowdsourcing quality monitoring based on evidence theory trust model [J]. Journal of Computer Applications, 2015, 35(8): 2380-2385.)

[12] 夏恩君,趙軒維,李森.國外眾包研究現狀和趨勢[J].技術經濟,2015,34(1):28-36.(XIA E J, ZHAO X W, LI S. Current situation and trend of crowdsourcing research abroad [J]. Technology Economics, 2015, 34(1): 28-36.)

This work is partially supported by the Natural Science Foundation of Hubei Province (2014CFB836).

YANJun, born in 1991. M. S. candidate. His research interests include embedded system, data mining.

KUShaoping, born in 1969. Ph. D., associate professor. His research interest include MCU and embedded system, network information system.

YUChu, born in 1991. M. S. candidate. Her research interests include embedded system.

Reputationmodelofcrowdsourcingworkersbasedonactivedegree

YAN Jun*, KU Shaoping, YU Chu

(SchoolofComputerScience&Technology,WuhanUniversityofTechnology,WuhanHubei430070,China)

Aiming at the problem that the existing crowd-sourcing system can not effectively control the active enthusiasm of the workers and the quality of task completion in the process of crowd-sourcing interaction, a worker reputation model based on active degree was proposed to realize the quality control of the crowd-sourcing platforms. The model improved the average reputation model, and the concepts of active factor and historical factor were put forward from the point of view of workers’ active degree and historical reputation value. First, the active factor of the worker was calculated according to his participating days in the crowd in the last 30 days, and then the historical reputation value of the crowd-sourcing worker was calculated according to the historical factor. Finally, the reputation value of the crowd-sourcing worker based on active degree was calculated based on the calculated active factor and historical reputation value, which was used to measure the ability of the crowdsourcing worker. The theoretical analysis and test results showed that compared with the average reputation model, the task completion quality of crowdsourcing workers selected by the worker reputation model based on active degree was increased by 4.95% and the completion time was decreased by 25.33%; compared with the trust model based on evidence theory, the task completion quality was increased by 6.63% and the completion time was decreased by 25.11%. The experimental results show that the worker reputation model based on active degree can effectively improve the quality of crowdsourcing tasks and reduce the completion time.

crowdsourcing; active factor; historical factor; worker reputation model; average reputation model

TP311.1; TP391

:A

2017- 02- 10;

:2017- 03- 07。

湖北省自然科學基金資助項目(2014CFB836)。

嚴俊(1991—)，男，浙江湖州人，碩士研究生，主要研究方向：嵌入式系統、數據挖掘； 庫少平(1969—)，男，湖北黃岡人，副教授，博士，主要研究方向：單片機與嵌入式系統、網絡信息系統； 喻楚(1991—)，女，湖北黃岡人，碩士研究生，主要研究方向：嵌入式系統。

1001- 9081(2017)07- 2039- 05

10.11772/j.issn.1001- 9081.2017.07.2039