多源評價的特點與內在機制

張 赟 翁清雄

(1西南財經大學工商管理學院, 成都 611130)(2中國科學技術大學管理學院, 合肥 230026)

1 引言

在工業經濟時期, 在大規模的重復生產方式條件下, 對員工的績效評價主要為上級評價模式(top-down appraisal)。但隨著經濟的發展, 定制生產方式的出現, 上級無法擁有員工的完整信息,不能對員工作出客觀公正的評價(許慶瑞, 王勇,陳勁, 2002), 因此擁有多個評價源的評價模式應運而生。多源評價/反饋(multisource feedback), 包括360度、270度或180度評價(Markham, Smith,Markham, & Braekkan, 2014), 指被評價者受到來自上級、同事、自我、下級及顧客的多角度評價(London & Smither, 1995)。據統計, 全球500強企業中, 有 90%的企業都在使用多源評價(Maylett,2009)。相對于傳統的上級評價來說, 多源評價是多個評價主體同時對被評價者的績效進行評估,因此能夠提供更準確、多角度的描述(Hoffman,Lance, Bynum, & Gentry, 2010)。

目前, 我國對多源評價的研究還較少, 且大多屬于定性研究。如劉鳳瑜(2000)對360度反饋的基本原理與過程進行了闡述; 陸昌勤、方俐洛和凌文輇(2001)探討了 360度反饋在人力資源管理中的效用, 以及在中國文化背景下的實施策略;許慶瑞等(2002)對多源評價中不同的評價源特征及缺點進行了分析, 并針對不同的組織環境對多源評價方式進行了匹配。然而, 目前國內關于多源評價的定量研究, 卻幾乎沒有; 這與國外的研究文獻產生了很大的反差。本文基于國外關于多源評價的實證研究, 從評價過程、評價源1本文中的評價源指代同一類別評價者的集合, 而評價者則指代單個的評價人。及被評價者三方面, 對國外多源評價的特點及內在機制進行探討, 旨在總結現有研究的不足, 并提出未來的研究方向。針對內在機制, 本文主要圍繞評價結果, 分析評價過程、評價源對于評價結果的影響, 評價者對評價結果反應的影響因素, 以及各因素間的相互作用, 如圖1所示。

2 多源評價過程

2.1 評價目的

多源評價最初主要以幫助員工自身發展為目的(London & Smither, 1995), 通過識別員工的優缺點, 制定相應的績效改進計劃, 以促進員工發展。如 Wong和 Kwong (2007)提出, 多源評價應以追求和諧、追求公平、識別員工優缺點及激勵員工為目的。隨著多源評價在實際運用中的不斷發展, 其評價目的也變得更為豐富。比如, 不少企業開始將多源評價運用于管理目的。London (2001)認為多源評價既適用于發展目的, 也可用于管理目的, 但若運用到管理活動中則需花費更多時間。當多源評價以員工個人發展為目的時, 會減少評價者和被評價者的顧慮, 評價者會作出更誠實的評價, 評價結果也更容易被接受(Rogers, Rogers,& Metlay, 2002)。而當多源評價運用于管理目的時,由于評價結果與員工的獎金、晉升等相關, 為了追求和諧的組織氛圍, 評價者往往會提高對員工的評價, 從而更易導致寬大效應的出現(Chappelow,2004)。有趣的是, 最近研究發現當多源評價同時用于管理與發展目的時, 被評價者由于受到兩大目的的同時激勵, 相對于單一評價目的來說, 評價結果對員工知識共享能力的影響將增強(Kim,Atwater, Patel, & Smither, 2016)。可見, 多源評價的評價目的由單一性向多重性發展, 企業在運用多源評價時, 應根據自身特點及發展需求, 設立多重而清晰的多源評價目的。

圖1 多源評價的結構圖

2.2 評價形式

在多源評價過程中一般采用匿名的形式進行評價, 因為當評價者得知個人信息不會被泄露時,他們會作出更真實而準確的評價(Brutus & Derayeh,2002)。特別是下級評價中, 當下級員工給與管理者較低評分時, 常擔心上級領導的報復行為, 從而導致他們提高對管理者的評分(Atwater, Brett,& Charles, 2007)。因此, 多源評價過程應堅持匿名性原則, 以保證評價結果的準確性。同時, 評價量表的制定也對評價結果有一定的影響。多源評價過程中, 一般以李克特量表的形式, 讓評價者進行打分。但Brown, Inceoglu和Lin (2017)提出, 李克特量表會帶來較強的反應偏差(response biases),而采用強迫排序(forced-choice ranking)來替代李克特量表, 能降低評價誤差, 從而提高評價者間的一致性。可見, 從改進評價量表形式的角度入手, 來提高評價者間的一致性, 是未來研究值得探討的問題。另外, 在反饋結果的呈現上, Atwater等(2007)的研究結果顯示, 相對于文字型的反饋結果來說, 被評價者更喜歡數字型的反饋, 因為文字型的反饋常表達得含糊不清, 而數字型的反饋則更為具體而易懂。

2.3 評價后的引導機制

有研究發現, 在多源評價結束幾個月之后,大多員工將記不起績效評價的結果, 特別是關于其弱點方面的內容(Smither, Brett, & Atwater,2008)。而此時若配一名優秀的引導者(如有經驗的老員工), 將會提高員工對反饋結果的感知有用性及自我意識, 降低其對負面反饋的消極情緒, 增加其改進動力, 從而最終獲得績效提升(Luthans& Peterson, 2003)。另外, 相關學者還發現上級的領導風格或行為, 會影響員工的后續績效改進行為。如教練式領導風格能負向顯著地影響, 員工對績效評價中組織政治(organizational politcis)的感知, 即績效評價過程是否公正嚴明或受到其他政治因素的影響(Russo, Miraglia, & Borgogni,2017); 而領導的自主支持行為, 會促進員工的反饋尋求行為, 讓員工更主動積極的, 根據反饋結果來提高個人績效(Beenen, Pichler, & Levy, 2017)。因而, 在員工收到多源評價結果后, 應盡量為其分配一名優秀的引導者, 幫助其更好地利用評價結果, 來獲得自身能力的提高。同時, 領導者也應以身作則, 通過樹立良好的領導風格與行為, 潛移默化地影響員工的后續績效改進活動。

3 多源評價中的評價源

相對于傳統的績效評價, 多源評價的最大特點就是擁有不同的評價源, 關于顧客這一評價源的研究較少, 因此本文涉及的評價源主要包括上級、同級、下級及被評價者本身。

3.1 評價源間的評價一致性

雖然已有研究證明了, 多源評價中自我評價、同級評價、上級評價及下級評價間的測量等價性, 即表明不同評價源間的評價結果, 可直接進行比較(Facteau & Craig, 2001; Woehr, Sheehan,& Bennett, 2005)。然而, 由于員工在各類評價源面前, 所表現的行為不同(Braddy, Gooty, Fleenor,& Yammarino, 2014), 各類評價源所關注的重點也有差異(Semeijn, Van Der Heijden, & Van Der Lee, 2014), 因而帶來了不同評價源間一致性的問題。以往研究證實了, 多源評價中不同評價源間的評價一致性較低(Hassan & Rohrbaugh, 2009;Beus, Jarrett, Bergman, & Payne, 2012; Braddy et al., 2014)。如Semeijn等(2014)認為, 同級評價與下級評價間的分歧最大, 且同類評價源的內部一致性, 要高于評價源間的一致性。同時, 相關學者還從各個方面探討了其原因, 包括評價者個性特征(Randall & Sharples, 2012), 工作環境氛圍(Rosen, Kacmar, Harris, Gavin, & Hochwarter,2017), 及文化特征(Atwater, Wang, Smither, & Fleenor,2009; Eckert, Ekelund, Gentry, & Dawson, 2010)等。其中, 文化的影響作用具體表現為, Atwater等(2009)探討了國家文化對于自我?他人評價間一致性的調節作用, 并得出在高獨斷性(assertiveness)及高權力距離(power distance)的文化背景下, 管理者的自我評價與同級評價、下級評價間的一致性相對更高。另外, 評價源間的不一致問題, 會同時影響評價者與被評價者的行為。Amundsen和Martinsen (2014)的研究證明, 在對中層管理者進行授權領導行為評價時, 自我評價低于上級評價時, 該管理者的領導效能更高; 當自我評價高于下級評價時, 下級的工作滿意度則更低, 離職傾向相對更高。Kopperud, Martinsen和Humborstad(2014)證明了, 中層管理者的自我評價低于下級評價時, 組織的服務氛圍(service climate)會更高。

在多源評價一致性問題研究中, 自我評價與他人評價間的一致性(self-others rating agreement)問題受到的關注最多(Amundsen & Martinsen,2014; Kopperud et al., 2014; Markham, Markham,& Smith, 2015)。自我?他人評價一致性, 通常受到性別、年齡及種族等人口統計特征, 個性品質及相關外在環境的影響(Fleenor, Smither, Atwater,Braddy, & Sturm, 2010)。如男性和年老的員工容易高估自己的績效(Vecchio & Anderson, 2009), 黑人相對于白人來說常為高估者(Bernardin, Konopaske,& Hagan, 2012)。另外, 由于不同評價源間的一致性較低, 以往對評價結果直接平均的做法, 會造成部分重要信息的丟失(Markham et al., 2014)。因此, Markham等學者基于組內和組間分析(within and between analysis), 利用相關指標, 探討了多源評價中同一評價源組內平均(Markham et al., 2014)以及不同評價源組間平均, 包括自我?下級評價間(Markham et al., 2015)和自我?同級評價間(Markham, Markham, & Smith, 2017)的平均問題,并得出不是任何時候都能對多源評價結果, 采用直接平均的方式, 需滿足一定的標準條件。可見,如何提高多源評價中不同評價源間的一致性問題,是今后多源評價研究的重要方向。

3.2 評價源與評價偏誤

暈輪效應(halo effect)和寬大效應(leniency effect), 是多源評價過程中常見的兩大評價偏誤(rating biases) (Pulakos & O’Leary, 2011), 影響著績效評價的有效性(Hoffman et al., 2010; Ng, Koh,Ang, Kennedy, & Chan, 2011; O’Neill, Goffin, &Gellatly, 2012) 。其中, 暈輪效應指在被評價者某種特征的影響下, 形成固有的印象, 從而產生以偏概全的認知偏誤; 而寬大效應則指評價者在對他人的評價的過程中, 相對于負面評價, 更傾向于正面的肯定與夸贊。

基于對相關文獻(Antonioni & Park, 2001; Ng et al., 2011等)的總結分析, 不同評價源產生評價偏誤的概率存在差異。其中, 自我評價過程中出現寬大效應的概率相對最大, 卻較少出現暈輪效應。基于歸因理論和自我提升理論, 這可能是因為個體為了維持較好的自我感覺, 會扭曲部分信息, 把成功的原因歸于自己, 而將失敗歸結于環境或他人的問題。在下級評價中, 兩類評價偏誤出現的概率都很大, 且會隨著對被評價者觀察時間的增加而增強(Antonioni & Park, 2001)。這與下級對上級評價時, 擔心其會受到報復行為的心理有關。同級評價出現兩類評價偏誤的可能性差不多, 常處于選擇正面評價或負面評價之間徘徊。因而, 相對于其他評價源來說, 上級評價的結果相對更準確。

另外, 評價偏誤受評價者與被評價者間的工作關聯性影響。如Spence和Keeping (2010)提出,評價者的動機會影響其對被評價者的評分, 如上級為了培養下屬忠誠度, 會夸大其業績; 下級為了避免上級的報復, 會故意抬高對其評分; 而同級之間, 由于存在競爭關系, 可能會故意壓低評分。評價者的自身特點, 也會影響評價偏誤及評價準確性。如評價者的自我建構(self-construal)(Mishra & Roch, 2013), 人格特征如責任感(Mero,Guidice, & Brownlee, 2007; Bernardin, Tyler, &Villanova, 2009) 及隨和性(Wood, Harms, &Vazire, 2010; Bono, Hooper, & Yoon, 2012)等因素。Bernardin, Thomason, Buckley和Kane (2016)的最新研究發現, 隨和性較高, 自信心較低及績效管理能力較差的評價者, 更易帶來評價偏誤,降低評價的準確性。同時, 文化也會對不同評價源的評價造成影響。比如, 個人主義傾向高的管理者, 會更容易提高對自我的評價(Xie, Chen, &Roy, 2006); 若組織文化宣揚 “合作”而不是“競爭”, 則同級評價中故意壓低評分的現象將減少(Conway, Lombardo, & Sanders, 2001)。Kossek,Huang, Piszczek, Fleenor和 Ruderman (2017)證明,評價者與被評價者間的文化距離(culture distance),即兩者的文化差異程度, 也會影響評價結果, 并受到文化特征的調節作用, 具體表現為, 在低權力距離和高人性取向的環境下, 文化距離對同級評價的負面影響作用, 會相對減弱。

4 多源評價中的被評價者

4.1 對評價過程的接受性

個體對多源評價過程的接受意愿, 受到自身個性特征的影響。如具有開放精神的員工, 會更愿意接受多源評價, 并認為其是有價值的(Smither,London, & Reilly, 2005); 自我效能感(self-efficacy)較高的個體, 對多源評價持有更積極的態度, 并在績效評價之后獲得更多的提升(Heslin &Latham, 2004)。因為, 自我效能感較高的個體, 會關注如何分析和解決問題, 而不是一味地擔心失敗。Atwater等(2007)的研究也發現, 具有較高自我效能感的個體, 在績效評價之后更愿意與評價者見面, 與上級領導討論, 并制定相關的改進目標, 同時也會更有動力使用績效評價結果。而具有犬儒思想的個體, 對組織持嘲諷態度時, 即不相信組織中存在積極的改變, 或認為個人努力在組織中無意義, 會更容易拒絕多源評價(McCarthy& Garavan, 2007)。另外, 組織文化也會影響個體對多源評價的接受度。London和 Smither (2002)提出, 如果組織內建立了“反饋文化(feedback culture)”, 即個體經常接受或請求, 獲得正式或非正式的反饋來提高自己的工作績效, 個體會更愿意接受多源評價。

4.2 對評價結果的反應

當個體收到多源評價結果后, 受各種因素的影響, 會表現出不同的反應(reaction), 但學者們對“反應”的相關概念并沒有統一的標準(Pichler,2012; Brown & Benson, 2003)。基于對現有研究的總結分析, 本文將個體對評價結果的反應分為三類：感知反應, 包括準確性、公平性及有用性; 情感反應, 包括滿意度, 積極情緒與消極情緒; 行為反應, 包括績效改進動力, 設立更具體的目標,與他人分享評價結果, 向上級領導求助等。同時,還分析了三大個體反應間的相互關系, 如圖 2所示。當被評價者感知評價結果是準確、公平且有效的, 會提高其對評價結果的情感反應, 表現出較高的滿意度及積極的情緒, 從而增強其行為反應, 具體表現為充滿改進動力, 設置具體的目標計劃, 向他人分享結果, 并尋求幫助等。

圖2 個體對多源評價評價結果的反應

員工對多源評價結果的反應, 受到很多因素的影響, 包括評分值(高或低)、個性特征、反饋信號(正面或負面)、自我評價與他人評價間的差距等,并受到個體目標定向、個性特征等的調節作用。其中, 績效評價結果的分值越高, 往往被評價者的滿意度也越高(Judge & Bono, 2001; Kampk?tter,2017)。然而, Luffarelli, Goncalves和Stamatogiannakis(2016)的研究表明, 該結果僅針對被評價者的社會比較傾向(social comparison orientation)較低時而成立。被評價者的個性特征的影響作用可表現為, 經驗開放性較高的員工, 對評價結果更易產生較高的滿意度(Krasman, 2010); 當評價結果不與獎金相關時, 評價結果對員工工作滿意度的影響, 受到控制點(locus of control)及經驗開放性的負向調節作用(Kampk?tter, 2017)。

反饋信號(feedback sign)是指根據反饋內容的特點, 將反饋分為正面反饋和負面反饋兩類。被評價者常認為正面反饋比負面反饋, 更加正確和有用(Brett & Atwater, 2001), 從而更樂意接受反饋結果(McCarthy & Garavan, 2007), 表現出較高的滿意度及積極的行為反應(Culbertson, Henning,& Payne, 2013), 績效也更易獲得提高(Smither &Walker, 2004)。而負面反饋常被員工認為是不公平, 不準確, 缺乏有用性的(Brett & Atwater,2001), 他們會選擇忽視或者不接受反饋結果, 表現出較低的滿意度及消極的情感反應(Culbertson et al., 2013)。但 Brett和 Atwater (2001)認為, 這只是短暫的情緒反應, 當幾周過后, 反饋信號與感知反應間并不存在相關性。同時, Smither等(2005)發現當被評價者收到差評時, 剛開始會出現消極的反應, 但當 6個月之后, 他們會設定更多改進目標。另外, 被評價者對正面或負面反饋結果的反應, 還受到個體目標定向的調節作用(Heslin &Latham, 2004; Culbertson et al., 2013)。

自我?他人評價間的差異, 也影響著被評價者對評價結果的反應。當自我評價高于他人評價時, 被評價者常會對反饋結果產生消極的情感反應, 而不同的評價源下的情況不同。當被評價者高估自己時, 會表現出生氣、抱怨等負面情緒, 特別是收到較低的同級與上級評價時; 而對下級的負面評價則不易出現消極情緒(Brett & Atwater,2001), 反而會負向影響下級的行為, 如增加下級的離職傾向(Amundsen & Martinsen, 2014)。當自我評價低于他人評價時, 雖然不一定會帶來積極的行為反應(Brett & Atwater, 2001), 但被評價者的滿意度會變得更高(Bono & Colbert, 2005), 且受到相關調節變量如員工的核心自我評價(Bono& Colbert, 2005), 評價分值高低(Atwater & Brett,2005)等的影響。另外, 組織環境也會影響員工對評價結果的反應。如Miller, Verbos, & Goswami(2014)證明了工作的環境與相關資源、公司溝通交流的開放程度、與同事間的關系及為準備績效評價所投入的時間, 都會正向影響員工對績效評價結果的反應。

5 多源評價結果

多源評價的核心目的是通過對員工多方面的評價, 最終提升其績效。以往研究證明了多源評價后, 員工行為發生了改變, 績效獲得了提升(London & Smither, 1995), 且工作滿意度也被提高, 離職率降低, 工作投入感更強(Atwater &Brett, 2006)。Shipper, Hoffman 和 Rotondo (2007)證實了360度反饋能夠帶來認知、情感、行為及產出成果的提升, 但受到國家文化的影響作用,具體表現為, 在低權力距離及高個人主義的文化背景下, 360度反饋會相對更有效。然而, 也有學者得出的評價結果不確定(Carson, 2006)。Kim等(2016)認為, 多源評價對于組織績效的影響是間接的, 主要通過提高員工的能力與知識共享技能,從而提高財務業績。

綜上所述, 雖然多源評價在國外企業中的發展已較為成熟, 但其所帶來的最終績效改進效果卻并不穩定。基于對現有文獻的梳理與總結, 本文以被評價者的“感知反應?情感反應?行為反應?績效改進結果”為主線, 將多源評價中所涉及的主要因素間的相互關系, 作出了如下圖 3所示的結構圖。從圖 3中可看出, 影響員工最終績效是否能夠提升的因素很多, 包括直接效應與間接效應, 如員工對反饋結果的感知反應、情感反應及行為反應的不同, 都會導致不同的績效改進結果。因此, 績效改進結果的研究結論出現差異, 也是符合情理的。

6 結論與研究展望

6.1 結論

多源評價已成功的在許多企業中運行, 不僅帶來了個人績效提升, 還能推動組織的進一步發展(Karkoulian, Assaker, & Hallak, 2016)。本文從多源評價過程、評價源及被評價者三個方面, 對國外多源評價的特點及內在機制進行了總結與分析。發現多源評價所帶來的績效改進結果并不穩定, 并受到各種影響因素的直接或間接的影響。從上圖 3中可得, 各變量間的關系錯綜復雜, 其中個體對反饋結果的情感反應及行為反應, 受到的影響因素最多。而文化特征、個人性格特點及個體目標定向, 是多源評價研究中常用的調節變量。因此, 企業若是在運用多源評價之前, 能搞清楚評價前后所涉變量間的相關關系, 對有效地運用多源評價將大有裨益。

另外, 多源績效評價不能直接引用, 需根據本國的文化特點等, 進行相應的改進與完善(Harbi, Thursfield, & Bright, 2017)。因而, 多源評價在我國企業中運用時, 應注意與我國文化特點相結合。具體來說, 我國的文化特征主要表現為,高權力距離、集體主義、不確定性規避程度較高,以及注重人際關系, 即所謂的“關系文化”。在該文化背景下, 較容易出現下級夸大對上級的績效評價, 同部門員工間相互評價被抬高, 而壓低對其他部門員工的評價等偏誤。同時, 較高的不確定性規避文化背景, 也難以適應多源評價所需的高度開放性和互動性。為了避免上述評價偏誤的發生, 我國企業在運用多源評價時, 應該制定嚴格且透明的績效考核體系, 避免“形式化”, 如讓員工明確考核目的及重要性, 制定合理的考核指標,建立起組織的“反饋文化”, 真正遵循公開、公正及公平原則。

圖3 多源評價中所涉及的主要因素

6.2 未來研究展望

通過上述分析, 發現多源評價所帶來的績效改進結果并不穩定。因而, 未來的研究應從如何改進多源評價, 以獲得穩定的績效改進結果方面,進一步開展相關的研究。

第一, 關于如何提高評價多源評價過程的有效性與準確性問題, 目前的研究還很少。績效評價系統本身特點、員工個人特征及其與評價者間的關系, 都影響著員工看待績效評價的可視性、有效性及公平性(Sumelius, Bj?rkman, Ehrnrooth,M?kel?, & Smale, 2014)。當員工認為績效評價過程不公平時, 會表現出負面態度, 如降低組織認同感(Farndale & Kelliher, 2013), 并影響其工作滿意度(Yamazaki & Yoon, 2016)。因而, 對多源評價過程的有效性進行評估與衡量, 對于整個績效評價的完善與改進有著重要影響。可參考對傳統績效評價有效性, 所提出的相關標準及評價結構,如結合評價的目的性、公平性、準確性, 以及該三大標準與被評價者反應間的關系, 提出評估績效評價效果的相關指標與方法(Iqbal, Akbar, &Budhwar, 2015; Ikramullah, van Prooijen, Lqbal, &Ul-Hassan, 2016) 。

第二, 被評價者對評價結果的反應, 對其后續的績效改進行為影響較大。然而, 關于個體對評價結果反應的研究中, 學者們對被評價者的“反應”界定不清晰。基于此, 本文將個體反應分為三類, 并提出了“感知反應?情感反應?行為反應”的基本路徑, 但該分類及三者之間的關系是否準確, 還需要未來作進一步驗證與探討。今后的研究可在本文的基礎上, 針對細分的“反應”類型,對被評價者對多源評價結果的反應進行更深入的探討, 通過改善被評價者對評價結果的反應情況,從而促進其績效改進行為。

最后, 如何對多源評價結果進行匯總, 也是重要的研究問題。多源評價過程中, 對不同的評價主體的評分, 大多都是以總平均的方式匯總,或保持每類評價源的獨立評分。然而, 不同的評價源的觀察角度有差異, 應根據不同的評價指標,予以不同的評價權重。比如, 在團隊合作能力考核指標中, 同一團隊的同級評價者與被評價者接觸時間更多, 對被評價者在團隊合作方面的能力相對更了解, 因而同級評價所占權重應最大。關于多源評價中不同評價源評分的賦權問題, 目前還少有文獻討論過。雖然Markham等(2014, 2015,2017)提出不能對多源評價結果直接平均, 但其并沒有對各評價源間如何賦權進行研究。對每類評價源給與科學合理的權重, 能給員工提供更準確的反饋結果, 從而促進其后續績效改進行為。因而, 未來的研究應注重如何對評價結果進行科學有效的匯總, 以減少不同評價源帶來的偏誤。

劉鳳瑜. (2000). 一種有效的效績評價模式: 360度反饋的基本原理與過程.南開管理評論,(1), 71–74.

陸昌勤, 方俐洛, 凌文輇. (2001). 360度反饋及其在人力資源管理中的效用.中國管理科學, 9(3),74–80.

許慶瑞, 王勇, 陳勁. (2002). 績效評價源與多源評價.科研管理, 23(3),84–89.

Amundsen, S., & Martinsen, ?. L. (2014). Self–other agreement in empowering leadership: Relationships with leader effectiveness and subordinates' job satisfaction and turnover intention.The Leadership Quarterly, 25(4),784–800.

Antonioni, D., & Park, H. (2001). The relationship between rater affect and three sources of 360-degree feedback ratings.Journal of Management, 27(4),479–495.

Atwater, L. E., & Brett, J. F. (2005). Antecedents and consequences of reactions to developmental 360° feedback.Journal of Vocational Behavior, 66(3),532–548.

Atwater, L. E., & Brett, J. F. (2006). 360-degree feedback to leaders: Does it relate to changes in employee attitudes?Group & Organization Management, 31(5),578–600.

Atwater, L. E, Brett, J. F., & Charles, A. C. (2007).Multisource feedback: Lessons learned and implications for practice.Human Resource Management, 46(2),285–307.

Atwater, L. E., Wang, M., Smither, J. W., & Fleenor, J. W.(2009). Are cultural characteristics associated with the relationship between self and others’ ratings of leadership?Journal of Applied Psychology, 94(4),876–886.

Beenen, G., Pichler, S., & Levy, P. E. (2017). Self-determined feedback seeking: The role of perceived supervisor autonomy support.Human Resource Management,56(4),555?569.

Bernardin, H. J., Tyler, C. L., & Villanova, P. (2009). Rating level and accuracy as a function of rater personality.International Journal of Selection & Assessment, 17(3),300–310.

Bernardin, H. J., Konopaske, R., & Hagan, C. M. (2012). A comparison of adverse impact levels based on top-down,multisource, and assessment center data: Promoting diversity and reducing legal challenges.Human Resource Management, 51(3), 313–341.

Bernardin, H. J., Thomason, S., Buckley, M. R., & Kane, J. S.(2016). Rater rating-level bias and accuracy in performance appraisals: The impact of rater personality, performance management competence, and rater accountability.Human Resource Management, 55(2), 321–340.

Beus, J. M., Jarrett, S. M., Bergman, M. E., & Payne, S. C.(2012). Perceptual equivalence of psychological climates within groups: When agreement indices do not agree.Journal of Occupational and Organizational Psychology,85(3),454–471.

Bono, J. E, & Colbert, A. E. (2005). Understanding responses to multi-source feedback: The role of core self-evaluations.Personnel Psychology, 58(1),171–203.

Bono, J. E., Hooper, A. C., & Yoon, D. J. (2012). Impact of rater personality on transformational and transactional leadership ratings.The Leadership Quarterly, 23(1),132–145.

Braddy, P. W., Gooty, J., Fleenor, J. W., & Yammarino, F. J.(2014). Leader behaviors and career derailment potential: A multi-analytic method examination of rating source and self-other agreement.The Leadership Quarterly, 25(2),373–390.

Brett, J. F., & Atwater, L. E. (2001). 360° feedback: Accuracy,reactions, and perceptions of usefulness.Journal of Applied Psychology, 86(5),930–942.

Brown, M., & Benson, J. (2003). Rated to exhaustion?Reactions to performance appraisal processes.Industrial Relations Journal, 34(1),67–81.

Brown, A., Inceoglu, I., & Lin, Y. (2017). Preventing rater biases in 360-degree feedback by forcing choice.Organizational Research Methods, 20(1),121–148.

Brutus, S., & Derayeh, M. (2002). Multisource assessment programs in organizations: An insider's perspective.Human Resource Development Quarterly, 13(2),187–202.

Carson, M. (2006). Saying it like it isn't: The pros and cons of 360-degree feedback.Business Horizons, 49(5),395–402.

Chappelow, C. T. (2004). 360-degree feedback. In C. D.McCauley & E. van Velsor (Eds.),The center for creative leadership handbook of leadership development(pp. 58?84).San Francisco: Jossey-Bass.

Conway, J. M., Lombardo, K., & Sanders, K. C. (2001). A meta-analysis of incremental validity and nomological networks for subordinate and peer rating.Human Performance,14(4), 267–303.

Culbertson, S. S., Henning, J. B., & Payne, S. C. (2013).Performance appraisal satisfaction.Journal of Personnel Psychology, 12(4), 189–195.

Eckert, R., Ekelund, B. Z., Gentry, W. A., & Dawson, J. F.(2010). I don't see me like you see me, but is that a problem?Cultural influences on rating discrepancy in 360-degree feedback instruments.European Journal of Work and Organizational Psychology, 19(3),259–278.

Facteau, J. D., & Craig, S. B. (2001). Are performance appraisal ratings from different rating sources comparable?Journal of Applied Psychology, 86(2), 215–227.

Farndale, E., & Kelliher, C. (2013). Implementing performance appraisal: Exploring the employee experience.Human Resource Management,52(6), 879–897.

Fleenor, J. W., Smither, J. W., Atwater, L. E., Braddy, P. W.,& Sturm, R. E. (2010). Self–other rating agreement in leadership: A review.The Leadership Quarterly, 21(6),1005–1034.

Harbi, S. A., Thursfield, D., & Bright, D. (2017). Culture,Wastaand perceptions of performance appraisal in Saudi Arabia.The International Journal of Human Resource Management,28(19), 2792–2810.

Hassan, S., & Rohrbaugh, J. (2009). Incongruity in 360-degree feedback ratings and competing managerial values: Evidence from a public agency setting.International Public Management Journal, 12(4), 421–449.

Heslin, P. A., & Latham, G. P. (2004). The effect of upward feedback on managerial behavior.Applied Psychology,53(1),23–37.

Hoffman, B., Lance, C. E., Bynum, B., & Gentry, W. A.(2010). Rater source effects are alive and well after all.Personnel Psychology, 63(1),119–151.

Ikramullah, M., Van Prooijen, J. W., Lqbal, M. Z., &Ul-Hassan, F. S. (2016). Effectiveness of performance appraisal: Developing a conceptual framework using competing values approach.Personnel Review, 45(2),334–352.

Iqbal, M. Z., Akbar, S., & Budhwar, P. (2015). Effectiveness of performance appraisal: An integrated framework.International Journal of Management Reviews, 17(4),510–533.

Judge, T. A., & Bono, J. E. (2001). Relationship of core self-evaluations traits—self-esteem, generalized self-efficacy,locus of control, and emotional stability—with job satisfaction and job performance: A meta-analysis.Journal of Applied Psychology, 86(1), 80–92.

Kampk?tter, P. (2017). Performance appraisals and job satisfaction.The International Journal of Human Resource Management, 28(5),750–774.

Karkoulian, S., Assaker, G., & Hallak, R. (2016). An empirical study of 360-degree feedback, organizational justice, and firm sustainability. Journal of Business Research, 69(5),1862–1867.

Kim, K. Y., Atwater, L., Patel, P. C., & Smither, J. W. (2016).Multisource feedback, human capital, and the financial performance of organizations.Journal of Applied Psychology,101(11), 1569–1584.

Kopperud, K. H., Martinsen, ?., & Humborstad, S. I. W.(2014). Engaging leaders in the eyes of the beholder: On the relationship between transformational leadership, work engagement, service climate, and self-other agreement.Journal of Leadership & Organizational Studies, 21(1),29–42.

Kossek, E. E., Huang, J. L., Piszczek, M. M., Fleenor, J. W.,& Ruderman, M. (2017). Rating expatriate leader effectiveness in multisource feedback systems: Cultural distance and hierarchical effects.Human Resource Management, 56(1),151–172.

Krasman, J. (2010). The feedback-seeking personality: Big five and feedback-seeking behavior.Journal of Leadership& Organizational Studies, 17(1), 18–32.

London, M., & Smither, J. W. (1995). Can multi-source feedback change perceptions of goal accomplishment,self-evaluations, and performance-related outcomes?Theory-based applications and directions for research.Personnel Psychology,48(4), 803–839.

London, M. (2001). The great debate: Should multisource feedback be used for administration or development only?In D. W. Bracken, C. W. Timmreck, & A. H. Church (Eds.),The handbook of multisource feedback: The comprehensive resource for designing and implementing MSF processes(pp. 368–385). San Francisco: Jossey-Bass.

London, M., & Smither, J. W. (2002). Feedback orientation,feedback culture, and the longitudinal performance management process.Human Resource Management Review,12(1),81–100.

Luffarelli, J., Gon?alves, D., & Stamatogiannakis, A. (2016).When feedback interventions backfire: Why higher performance feedback may result in lower self-perceived competence and satisfaction with performance.Human Resource Management, 55(4), 591–614.

Luthans, F., & Peterson, S. J. (2003). 360-degree feedback with systematic coaching: Empirical analysis suggests a winning combination.Human Resource Management,42(3), 243–256.

Markham, S. E., Smith, J. W., Markham, I. S., & Braekkan,K. F. (2014). A new approach to analyzing the Achilles'heel of multisource feedback programs: Can we really trust ratings of leaders at the group level of analysis?The Leadership Quarterly, 25(6),1120–1142.

Markham, S. E., Markham, I. S., & Smith, J. W. (2015). At the crux of dyadic leadership: Self-other agreement of leaders and direct reports—Analyzing 360-degree feedback.The Leadership Quarterly, 26(6), 958–977.

Markham, S. E., Markham, I. S., & Smith, J. W. (2017). A review, analysis, and extension of peer-leader feedback agreement: Contrasting group aggregate agreement vs.self-other agreement using entity analytics and visualization.The Leadership Quarterly, 28(1),153–177.

Maylett, T. (2009). 360-degree feedback revisited: The transition from development to appraisal.Compensation &Benefits Review, 41(5),52–59.

McCarthy, A. M., & Garavan, T. N. (2007). Understanding acceptance of multisource feedback for management development.Personnel Review, 36(6), 903–917.

Mero, N. P., Guidice, R. M., & Brownlee, A. L. (2007).Accountability in a performance appraisal context: The effect of audience and form of accounting on rater response and behavior.Journal of Management, 33(2), 223–252.

Mishra, V., & Roch, S. G. (2013). Cultural values and performance appraisal: Assessing the effects of rater selfconstrual on performance ratings.The Journal of Psychology,147(4), 325–344.

Ng, K. Y., Koh, C., Ang, S., Kennedy, J. C., & Chan, K.-Y.(2011). Rating leniency and halo in multisource feedback ratings: Testing cultural assumptions of power distance and individualism-collectivism.Journal of Applied Psychology,96(5),1033–1044.

O’Neill, T. A., Goffin, R. D., & Gellatly, I. R. (2012). The use of random coefficient modeling for understanding and predicting job performance ratings: An application with field data.Organizational Research Methods, 15(3),436–462.

Pichler, S. (2012). The social context of performance appraisal and appraisal reactions: A meta-analysis.Human Resource Management, 51(5),709–732.

Pulakos, E. D., & O’Leary, R. S. (2011). Why is performance management broken?Industrial and Organizational Psychology,4(2), 146–164.

Randall, R., & Sharples, D. (2012). The impact of rater agreeableness and rating context on the evaluation of poor performance.Journal of Occupational and Organizational Psychology, 85(1), 42–59.

Rogers, E., Rogers, C. W., & Metlay, W. (2002). Improving the payoff from 360-degree feedback.Human Resource Planning, 25(3),44–54.

Rosen, C. C., Kacmar, K. M., Harris, K. J., Gavin, M. B., &Hochwarter, W. A. (2017). Workplace politics and performance appraisal: A two-study, multilevel field investigation.Journal of Leadership & Organizational Studies, 24(1),20–38.

Russo, S. D., Miraglia, M., & Borgogni, L. (2017). Reducing organizational politics in performance appraisal: The role of coaching leaders for age-diverse employees.Human Resource Management,56(5), 769?783.

Semeijn, J. H., Van Der Heijden, B. I. J. M., & Van Der Lee,A. (2014). Multisource ratings of managerial competencies and their predictive value for managerial and organizational effectiveness.Human Resource Management, 53(5), 773–794.

Shipper, F., Hoffman, R. C., & Rotondo, D. M. (2007). Does the 360 feedback process create actionable knowledge equally across cultures?Academy of Management Learning &Education, 6(1),33–50.

Smither, J. W., & Walker, A. G. (2004). Are the characteristics of narrative comments related to improvement in multirater feedback ratings over time?Journal of Applied Psychology,89(3),575–581.

Smither, J. W, London, M., & Reilly, R. R. (2005). Does performance improve following multisource feedback? A theoretical model, meta-analysis, and review of empirical findings.Personnel Psychology, 58(1),33–66.

Smither, J. W., Brett, J. F., & Atwater, L. E. (2008). What do leaders recall about their multisource feedback?Journal of Leadership & Organizational Studies, 14(3), 202–218.

Spence, J. R., & Keeping, L. M. (2010). The impact of non-performance information on ratings of job performance:A policy-capturing approach.Journal of Organizational Behavior,31(4), 587–608.

Sumelius, J., Bj?rkman, I., Ehrnrooth, M., M?kel?, K., &Smale, A. (2014). What determines employee perceptions of HRM process features? The case of performance appraisal in MNC subsidiaries.Human Resource Management,53(4), 569–592.

Vecchio, P. R., & Anderson, R. J. (2009). Agreement in self-other ratings of leader effectiveness: The role of demographics and personality.International Journal of Selection and Assessment, 17(2), 165–179.

Verbos, A. K., Miller, J. S, & Goswami, A. (2014). Employee social cognition and performance evaluation process reactions.Personnel Review, 43(4),515–535.

Woehr, D. J., Sheehan, M. K., & Bennett, J. W. (2005).Assessing measurement equivalence across rating sources:A Multitrait-Multirater approach.Journal of Applied Psychology, 90(3),592–600.

Wong, K. F. E., & Kwong, J. Y. Y. (2007). Effects of rater goals on rating patterns: Evidence from an experimental field study.Journal of Applied Psychology,92(2), 577–585.

Wood, D., Harms, P., & Vazire, S. (2010). Perceiver effects as projective tests: What your perceptions of others say about you.Journal of Personality and Social Psychology, 99(1),174–190.

Xie, J. L., Chen, Z. G., & Roy, J. P. (2006). Cultural and personality determinants of leniency in self-rating among Chinese people.Management & Organization Review, 2(2),181–207.

Yamazaki, Y., & Yoon, J. (2016). A cross-national study of fairness in Asia: How perceptions of a lack-of-group bias and transparency in the performance evaluation system relate to job satisfaction.Human Resource Management,55(6), 1059–1077.