利用掃描數據編制CPI的國際經驗及啟示

叢雅靜

（國家統計局統計科學研究所，北京100826）

利用掃描數據編制CPI的國際經驗及啟示

叢雅靜

（國家統計局統計科學研究所，北京100826）

在大數據背景下，大數據對政府統計的理論方法和生產方式必將產生影響。文章介紹了掃描數據的基本內涵，并通過部分國家利用掃描數據編制居民消費價格指數的經驗，提出在大數據背景下，我國政府統計利用掃描數據編制居民消費價格指數的幾點建議。

掃描數據；CPI；國際經驗

0 引言

大數據是“一場生活、工作和思維的大變革”，“大數據已經撼動了世界的方方面面，從商業科技到醫療、政府、教育、經濟、人文遺跡社會的其他各個領域。”[1]一旦大數據為政府統計所用，政府統計的生產方式必將發生變化，促使政府統計各專業領域有所作為。大數據既是重要的數據源，又可以為政府統計提供輔助驗證的依據。掃描數據作為大數據的一種，在居民消費價格指數（CPI）統計中恰恰可以承擔這個角色。伴隨著各種現代信息技術的蓬勃發展，掃描設備越來越普及，已滲透到日常生活的各個領域，掃描數據在體量上獲得了巨大的增長。本文將介紹瑞典等國在CPI編制中使用掃描數據的經驗，并在此基礎上提出大數據背景下掃描數據應用于CPI的幾點建議。

1 掃描數據

掃描數據，即Scanner Data。掃描數據看似新鮮事物，其實由來已久，而且每天都與人們的日常生活產生聯系。當人們進入商場或者超市消費時，商品林林總總，每個商品包裝或標牌上會有一個不同的條形碼，結算的時候只要掃一下它，就可以在購物小票中清晰地看到商品的名稱、價格、數量和折扣信息。掃描數據就是通過掃描這些條形碼而得到的數據，它里面記錄著產品名稱、產品型號、產品編號、交易價格、交易數量、交易金額、交易時間、交易地點、產品特征等詳細信息，構成了掃描數據的主要內容。

現在的掃描數據不單單是通過條形碼來表現的，如二維碼也是掃描數據的重要形式。隨著信息技術的不斷發展，掃描數據的種類和數據量越來越多。尤其是近幾年，大數據、云計算、物聯網等現代信息技術得到廣泛應用，掃描數據也隨之迅速擴大。

從條形碼、二維碼轉變成掃描數據的過程中，除了掃描器，國際通行的EAN碼（European Article Number）也起到了至關重要的作用。EAN碼由前綴碼、廠商識別碼、商品項目代碼和校驗碼組成。前綴碼是由EAN組織分配的，而其他代碼則是由廠商根據商品類別的不同而決定的。EAN碼之所以流行并成為一種通用的代碼，最大的優勢在于唯一性。即每個商品有且只有一個唯一的EAN碼，以便辨識出不同的商品。如果某一種商品逐漸退出市場，其EAN碼即使被重新運用到新商品上，中間也會有一個較長的時間間隔，以避免商品混淆。

EAN碼和掃描器加上零售商的電子交易系統，就可以形成掃描數據。商品的條形碼相當于植入“芯片”，但“芯片”上并沒有商品的品牌、重量等。只有商品經過零售商的電子交易系統記錄下交易時間、交易地點、交易價格、交易數量等，才能成為有意義的掃描數據。

由于條形碼具有簡單、便捷、成本低等優勢，現在條形碼廣泛存在于商品流通、物流倉儲、圖書管理、銀行等生產生活的各個部門。伴隨著條形碼的普及，掃描數據每天都以億為單位在急速增長。盡管掃描數據的規模不斷擴大，但大部分掃描數據多是滿足于超市、商場等部門的日常管理需要，掃描數據的價值還遠遠沒有被挖掘出來。

2 利用掃描數據編制CPI的國際經驗

2.1 瑞典利用掃描數據編制CPI的實踐

在將掃描數據用于CPI編制之初，學者們雖然進行了一定的理論探討，但都沒有在實際操作中得到驗證。1997年，瑞典統計局的Dalén利用油脂、洗滌劑、早餐麥片和速凍魚的掃描數據試編了CPI，并指出即便掃描數據滿足采價的基本原則，但是如何讓其反映真實的價格水平也存在很多困難，因為在當時沒有理論支撐也沒有實踐案例可供參考。在研究中，通過比較固定權重與根據商品重新計算權重、拉氏指數與費希爾指數等方法之間的差別，發現掃描數據既可以通過增大樣本量等方式提高數據質量，又可以大大節約數據采集成本[2]。雖然這次運用掃描數據編制的CPI并未發布，但這是政府統計領域第一次開始進行掃描數據應用的探索。

隨著掃描設備的逐漸普及，瑞典開始從日常消費品入手重新重視掃描數據的作用。在瑞典，大多數零售商品是通過超市和一般雜貨商店進行銷售的，銷售網點的收銀系統會自動記錄商品的交易信息，這些交易信息以掃描數據的形式定期傳送給零售集團。因此，只要與大型零售企業合作，就可以獲得掃描數據，使其成為計算價格指數的原始數據。瑞典統計局直言，采價方式的改變直接影響了指數的計算方法。

在瑞典CPI統計調查中，代表規格品的選擇與國際通行做法基本一致。目前，瑞典的CPI是基于瑞典4個主要零售集團全部銷售網點的零售掃描數據計算的。按市場份額劃分，瑞典的4大零售集團依次為Axfood、Bergendahls、Coop和ICA，每個集團旗下包括眾多超市品牌。據估計，這些掃描數據占所有超市銷售數據的80%以上。自2008年12月份開始，瑞典的零售商通過Email的形式把掃描數據定期提交給瑞典統計局。采價一月三次，其中一次為每月15日所在的那一周，其他兩次分別向前和向后推一周。在瑞典零售商提供的掃描數據中，內容涉及零售網點、交易時間、商品名稱、商品規格、商品銷售量等，其中商品的EAN碼分為不包含增值稅、扣除折扣但并未扣除手續費的；包含增值稅，不包含折扣但手續費未扣除以及增值稅、折扣和手續費都在其中的三種。在商品種類上，除了蔬菜、水果、面包、豬肉等生鮮類食品外，其他的日常必需品基本都被掃描數據涵蓋其中。

掃描數據報送給瑞典統計局后，瑞典統計局對數據進行清洗，這類似于傳統統計調查中的數據整理過程。即數據首先需要通過電話回訪等手段進行核實，但這樣做成本太高，所以通常采取的做法是去除異常值，不過，目前瑞典統計局還沒有對掃描數據這么做。

瑞典統計局分別測算了2009年和2010年掃描數據和人工采價兩種方式下的CPI，見圖1。

圖1 瑞典掃描數據與人工采價兩種方式下的CP|對比數據來源：Anders Norberg,Muhanad Sammar,Can Tongur.A Study on Scanner Data in the Swedish Consumer Price Index,Twelfth meeting Wellington,10-12 May 2011。

可見，使用掃描數據測算的CPI都略高于人工采價方式測算的CPI。在代表規格品既有人工采價也有掃描數據的情況下，2009年大約83.4%的代表規格品在兩種采價方式下的價格是相同的，2010年86.2%是相同的[3]。但瑞典統計局認為最終測算的CPI差異主要受價格基期和月度隨機的影響，2010年兩者之間的指數差異明顯縮小，所以瑞典統計局認為掃描數據代替人工采價方式測算CPI是明顯可行的。

2.2 其他國家利用掃描數據編制CPI的實踐

除了瑞典外，很多國家的政府統計部門也開展了掃描數據的應用。2002年，荷蘭統計局率先將掃描數據應用到消費價格的編制當中。經過十多年的發展，占全國銷售額一半以上的幾家大型連鎖超市基本都和荷蘭統計局建立了聯系，掃描數據的應用也日益成熟，掃描數據在規格品種類擴大、權重調整、調查成本節約等方面都表現出了極大的優越性。2010年以后，荷蘭統計局開始推廣利用掃描數據編制CPI的理論方法。

2005 年，挪威統計局運用掃描數據挑選了14000多種代表規格品，這在人工采價方式下是不可能完成的。挪威統計局計算了食品和非酒精飲料的價格指數，改進后的指數更能有效反映市場波動和季節性變化。目前，在挪威的CPI編制中，掃描數據占30%左右。

在指數編制過程中，掃描數據的使用幫助政府統計部門克服了權重調整、質量調整等很多難題。后來，瑞士、澳大利亞也都陸續將掃描數據納入到他們的指數編制中。2008年，瑞士統計局以食品類商品為主要對象，與連鎖零售商建立聯系，通過互聯網將掃描數據傳送到統計局。經過不斷地嘗試，瑞士統計局陸續與更多的連鎖超市建立了合作關系，并將規格品的種類和范圍進行了擴大。自2012年開始，澳大利亞統計局開始正式收集掃描數據，每周商品零售商（如TESCO）會通過文件的形式將這些數據傳送給統計局。但由于每個零售商的商品分類不盡相同，所以需要統計人員對數據進行重新分類。經過一段時間的測試和評估，掃描數據逐漸代替了13000個代表規格品，約占所需數據的85%。澳大利亞統計局運用掃描數據編制的CPI于2014年正式開始發布。

2.3 簡評利用掃描數據進行CPI編制

通過瑞典等國利用掃描數據進行CPI編制的經驗來看，掃描數據的優勢有：一是節省成本。據瑞典統計局測算，如果全部使用掃描數據代替人工采價，每年能節省約50萬克朗。二是提高效率，掃描數據的采集比人工采價方式更節省時間，瑞典統計局每個采價員平均需要1.5分鐘完成一個代表規格品的采價，掃描數據可以實現同時大規模商品價格的采集。三是提高數據質量，因為與人工采價方式相比，掃描數據的代表規格品和調查網點都大大增加，從而使得數據質量有所提高。同時，在采價過程中，采價員的失誤、貨架和商品包裝的調整都會影響采價結果，而掃描數據可以有效規避這些問題。四是改善統計方法。掃描數據可以作為輔助信息驗證CPI的數據質量。通過比較掃描數據計算的CPI與傳統人工采價計算的CPI之間的差異，校準CPI。瑞典統計局發現，使用掃描數據的價格信息比之前人工采價的信息更好，因為零售商收銀系統記錄的掃描數據提供的是給定的周平均價格，而人工采價提供的是給定的某一天的價格，運用周平均價格計算的月平均價格比按照某幾天確定的月平均價格更為準確。

除了優勢外，掃描數據在應用過程中也存在一些問題，主要有：一是如果在規定的報送時間內，某一種代表規格品并沒有交易發生，零售商的交易系統中就沒有這種代表規格品的價格，從而成為缺失數據。但這種情況在人工采價方式下是不會出現的；二是掃描數據整理編輯難度大。一方面，與人工采價方式相比，掃描數據格式不統一。每個零售商的數據格式都是為自身管理發展需要服務的，不同零售商之間的數據格式和產品分類差異較大。所以在掃描數據收集上來以后，需要統計部門對每一個零售商的數據進行重新編輯。另一方面，如果商品涉及到打折或者混合促銷，商品的EAN條形碼可能會有所不同，從而造成混淆，需要對數據進行清洗。因此，對掃描數據的整理編輯可能并不像瑞典統計局說的那么容易，比如英國的國家統計局一直在探索利用電子掃描數據進行采價，但他們認為從零售商手中得到的掃描數據按月進行清洗和編輯的難度和工作量是很大的，如果不進行這一過程，CPI的測算結果就是有偏差的。

3 利用掃描數據，完善CPI統計調查

大數據時代為掃描數據提供了廣闊的平臺。大數據量大、源多和速度快的特點，掃描數據全都具備。掃描數據的體量自不必說。從來源來看，掃描數據可以涵蓋所有具有條形碼或二維碼的正規商品，在擴大數據源方面潛力巨大。在速度方面，只要技術條件具備，掃描數據可以輕松的實現實時獲取。此外，掃描數據還有很多其他優勢。比如，掃描數據更真實準確，掃描器會將商品的所有交易痕跡保留下來，掃描數據代表的是實際交易價格，這對政府統計部門來講至關重要；掃描數據更有效率，可以大大減少采價員的工作量，而且也會減少企業不配合的情況，提高政府統計工作的效率。

在我國的政府統計部門，掃描數據是比較新的數據源。目前，我國CPI主要包括八大類，涵蓋食品、服裝、醫療、通訊、住房等多個方面，調查范圍包括零售店、市場攤販、醫院、學校、郵局等公共服務部門以及互聯網公司。隨著電商企業的興起，網購商品和服務的規模日益擴大，越來越多的企業單位采用電子計價系統，CPI統計調查的基礎與環境都發生了新的變化。

在大數據時代，可以將CPI統計調查中的數據源分為三類：一是傳統價格網點的價格數據，如農貿市場；二是網上電商的交易記錄數據；三是電子計價單位的實時交易記錄數據，如商場、超市、醫院、民航、鐵路等企業單位生產經營的電子記錄。與掃描數據相關，目前最為迫切要解決的問題是研究建立商場、超市等電子計價單位交易記錄直接報送制度，將電子計價單位的實時交易數據納入CPI調查，應用掃描數據補充和豐富CPI統計調查的數據源，改進價格采集及計算的方法和手段。但是，與歐洲的小國相比，我國的CPI統計調查情況較為復雜，在廣大的農貿市場和農村，掃描數據還沒有得到普及。因此，可以首先在有條件的地方選擇部分試點單位（如商場、超市），采集掃描數據。而且，盡管同一商品具有唯一的條形碼，但是商品部分信息是由銷售企業來確定的，所以，在使用掃描數據之前，要研究改進電子計價單位的商品分類，可根據聯合國《按目的劃分的個人消費支出分類標準（COICOP）》以及現行CPI分類標準，細化掃描數據的類型和特征，滿足改進和完善CPI統計的需要。在一段時間內，掃描數據將和人工方式采集的數據一起為我國的居民消費價格統計服務。

[1][英]維克托·邁爾-舍恩伯格，庫爾耶.大數據時代[M].杭州：浙江人民出版社，2013.

[2]Dalén J.Experiments With Swedish Scanner Data[J].International Working Group on Price Indices,1997.

[3]Norberg A,Sammar M,Tongur C.A Study on Scanner Data in the Swedish Consumer Price Index[J].Twelfth Meeting Wellington,2011.

（責任編輯/亦民）

International Experience and Inspiration of Using Scanned Data for CPI Compiling

Cong Yajing
（Research Institute of Statistic Science,National Bureau of Statistics,Beijing 100826,China）

In the new era today,big data will definitely effect some impacts on the statistical theory and the production mode of official statistics.This paper firstly introduces the basic connotation of scanned data.And then the paper utilizes the experience of some countries using scanned data to compile the consumer price index（CPI）,and presents some suggestions about how China properly uses scanned data to compile the CPI at the background of big data.

scanned data;CPI;international experience

C829

A

1002-6487（2017）11-0031-03

全國統計科研項目（2013LX12）

叢雅靜（1986—），女，內蒙古寧城人，博士，副研究員，研究方向：大數據與政府統計、宏觀經濟、區域經濟。