李 存,賈 佳
(上海市質量和標準化研究院,上海 200031)
質量大數據的研究展望
李 存,賈 佳
(上海市質量和標準化研究院,上海 200031)
隨著質量和信息技術的不斷發展,質量和大數據的融合在質量管理尤其是宏觀質量管理中將發揮著越來越重要的作用。當前質量管理已全面進入宏觀質量管理時期,質量行政監管正在向聚焦系統性安全管控和防范方面轉變,抽查監測、風險預警、誠信管理等新老監管手段的有效性都越來越依賴于對質量大數據的收集、整理和分析的科學性,憑借質量大數據來實現科學管理將是未來趨勢,這就需要通過大數據在消費者、企業、市場、政府之間建立連接的橋梁,采集大數據、分析大數據和應用大數據,進而提升質量管理水平。
質量;大數據;研究;展望
大數據是一個抽象的概念,目前為止還沒有統一的定義,通常是指在一定時間內無法用常規工具對其內容進行抓取、管理和處理的數據集合。維基百科中關于大數據的定義:大數據是利用常用軟件工具來獲取、管理和處理數據所消耗時間超過可容忍時間的數據集。但是“常用軟件”和“可容忍時間”沒有確切性描述,因此這個定義也存在一定的局限性[4]。
一般來說大數據公認具有4V特點,分別是數據量巨大(Volume)、數據處理速度快(Velocity)、數據多樣性(Variety)和數據價值密度小(Veracity)[8],這些特性使大數據與傳統意義數據有著巨大的差異,因此大數據在采集獲取、分析處理以及實踐應用都有別于傳統數據。
隨著經濟和社會的不斷發展,“大質量”逐步進入了人們視野,工程質量、環境質量、經濟運行質量、教育質量等質量范疇不斷提出[1]-[3]。大質量是相對于傳統質量而言的,不僅包含固有特性,還包括了人們賦予的特性[11],內容和外延都有了極大的豐富,黨的十八大報告中也多處強調了“質量”,亦指的大質量。
質量大數據是指具有能夠反映質量特性的各類數據,質量包含狹義質量(企業)和廣義質量(大質量),質量大數據是在目前質量數據的基礎上拓展到大數據范疇,范圍涵蓋了企業質量、大質量以及其它與質量相關的領域,因此質量大數據的研究和應用也就包含了企業質量管理和宏觀質量管理兩方面。
當前質量管理已全面進入宏觀質量管理時期,質量行政監管正在向聚焦系統性安全管控和防范方面轉變,抽查監測、風險預警、誠信管理等新老監管手段的有效性都越來越依賴于對質量大數據的收集、整理和分析的科學性,憑借質量大數據來實現科學管理將是未來趨勢,這就需要通過大數據在消費者、企業、市場、政府之間建立連接的橋梁,采集大數據、分析大數據和應用大數據,進而提升質量管理水平。
(一)質量大數據的來源
根據大數據的概念和特點,在未來大質量的發展背景下,質量大數據的來源將不僅限于質量管理領域,而應該是在質量管理的基礎上,拓寬到更加廣泛的領域,如經濟領域、環境領域、教育領域等,更好的體現大數據與大質量的結合。
同時,大數據的形式也應該是以非結構化的數據為主流,非結構化數據是伴隨著社交網絡、移動計算和傳感器技術的運用而生成的,具有包括文本、文檔、圖片、視頻等多種格式,蘊含了大量豐富的知識。有別于傳統的機構化數據,非結構化數據將包含著更多更豐富的信息,是大數據分析和應用的關鍵。
(二)質量大數據的獲取
根據目前質量工作的內容和形式,質量大數據來源基本可分為:政府、市場和消費者三個方面。
1.政府。在政府行政監管的基礎上,質量大數據來源可以包括:(1)標準數據,目前標準信息主要是國際、國家、行業、地方等標準信息的集合,盡管涵蓋了企業標準等其它類型,但是內容不夠豐富。未來大數據可以涵蓋不同標準的技術指標、執行數據、反饋數據,尤其是服務標準將是未來大數據采集的主要渠道之一。(2)監管數據,政府質量監管數據主要是產品質量監督抽查、工業生產許可證及證后監管、質量申訴投訴、消費者投訴、商標以及食藥品監管等部門的監管信息。目前國內一些省、市已經對政
府行政監管信息(公共信息)的歸集、使用作出了規定。
2.市場。市場將是未來質量管理的重要角色。市場中大數據的來源可以分為:(1)企業行為數據,企業是產品/服務的提供者,是質量的主體,企業行為數據是指企業各種生產經營活動數據,質量和非質量活動都可包含其中,如企業規模、管理體系、技術水平等企業信息,產品包裝、規格、質量、市場渠道、物流、檢測認證等產品信息,但在企業質量大數據收集過程中,應注重數據采集與企業私有秘密之間的界線,在不侵犯企業利益的前提下開展質量大數據采集工作。(2)經濟數據,目前傳統理論分析中對于質量和經濟的關系無法做出準確性的描述,主要是由于質量的非客觀性評價的限制,而大數據時代可以收集全面的、龐大的質量和經濟數據,如行業發展、標準體系建設、質量水平等行業信息以及宏觀經濟數據,采用“第四范式”等處理方法挖掘大數據中的信息,更好的將宏觀質量管理和經濟宏觀調控相結合,提升經濟運行質量。
3.消費者。隨著各種信息獲取、傳播技術的發展,數據的產生、發布越來越快,越來越多,因此消費者將是大數據時代數據產生的主流群體之一。消費者大數據來源可以分為:(1)互聯網,互聯網中消費者數據將是質量大數據的主要來源,比如社交網絡、電子商務網站等產生的大量消費者數據,用戶的每一次點擊、每一次評論都將是數據的重要獲取對象。(2)社會服務機構,各種社會服務承擔機構也是消費者質量大數據的主要來源。超市、醫院、社區服務機構等服務行為發生地將產生大量的產品和服務大數據,如消費者對產品的抱怨情況,服務領域的質量測評數據,市民對產品、服務、工程、人居質量的評價數據等。而且這些數據的產生具有一定的指向性,具有更高的質量數據內涵,分析結果也具有更高的應用針對性。
隨著未來互聯網以及其它技術的不斷發展,質量大數據的來源和采集渠道將會更加多樣化,也可能會產生全新的數據模式和采集技術,這些對于未來質量管理也將是一個全新的挑戰。
國內外對于大數據的研究分析十分重視。2012年美國政府宣布投資2億美元啟動“大數據大研究和發展計劃”,大力推動大數據的收集、儲存、分析和應用海量數據的技術研究,提升國家科研水平。英國政府2013年建立了Open Data Institute(ODI),這也是全世界第一個大數據研究機構。我國近幾年也先后成立了“中關村大數據產業聯盟”和“大數據共享聯盟”等機構,目的在于建立大數據的共享和研究平臺,更好的推動國內大數據的研究和應用[8]-[9]。
但大數據不同于傳統數據,有著其特殊的屬性和采集方式,結合現階段信息技術的發展狀況及信息資源的利用需求,如何正視大數據給當前質量管理各個方面帶來的沖擊及挑戰,也是理解什么是“大數據”所必須掌握的內容。
(一)大數據分析面臨的挑戰
1.數據量大。區別于傳統的取樣、調查獲取數據的方式,大數據中描述同一事物的數據量猛增,人們獲取的數據和信息越來越接近于原始事物的本身。
2.數據類型雜。隨著互聯網與傳感技術的發展,非結構化數據大量涌現,這些數據難以用傳統的數據結構來描述,不光在處理方面,同時在數據的存儲方面也帶來了不小挑戰。
3.無效數據多。大數據為了獲取更好更原始的數據,直接獲取了全體數據,由于沒有采樣和抽象,數據呈現出了全面的信息,但也包含了很多無需進行分析和處理的數據,增加了存儲、分析和處理的難度。
4.處理要求高。大數據的積累速度是相當快的,也是實時變化的。如何及時、充分、快速的從大量數據中獲取有用數據,甚至于存儲和處理同步進行,實時獲取數據、分析數據、呈現結果,將是大數據未來面臨的主要挑戰。
(二)質量大數據的分析
現階段大數據的應用和分析研究主要是在互聯網領域,也出現了不少的分析方法,但是還未有針對質量大數據的分析研究。
伴隨著數據分析技術的發展出現了一些針對大數據的分析技術,如“第四范式”、“云計算”、“物聯網”等[12],如谷歌公司用于大數據處理的三大云計算關鍵技術:分布式文件系統GFS、Map Reduce和Bigtable,這些技術的發展將為大數據的分析研究提供一定的方法支撐。另外,“批處理”和“流處理”也是大數據處理的有效工具。“批處理”是先儲存后處理,“批處理”具有典型性的模式是谷歌提出的“Map Reduce”編程模型。“流處理”則是直接處理,當新數據到來時立即處理并返回所需結果,這就要求“流處理”必須采用分布式處理方式,除了要考慮分布式系統的一致性問題,還將涉及到分布式系統網絡延時的影響。
現有質量數據分析應用主要圍繞產品和服務質量以及行政監管信息,而大數據時代則需要全面采集和有效利用廣泛的社會、企業以及消費者數據。
(一)企業質量大數據的應用展望
傳統企業質量數據主要包括合格率、返修率、投訴率等數據,使用統計分析的方法完成。而未來大數據時代,消費者行為研究將是企業質量大數據的主要應用對象,目前一些大型企業(尤其是互聯網企業)已經開始著手研究用戶大數據。
在制造業可以針對科學評價生產系統規劃、降低產品缺陷率等需求,建立制造業大數據系統。整合已有的物理工廠、質量體系、工序數據、成本核算等建模數據,建立仿真工廠,對已有的生產實績數據進行生產仿真,模擬工廠運行,為工廠實際生產提供決策依據[13]。另外,企業還可以從營銷需求的挖掘和分析以及品牌影響力角度開展大數據研究[6],通過收集公共機構和中介組織的數據分析整合,對數據進行其他目的的二次利用,將不同數據集整合成新的數據集引入質量管理中[7]。
企業大數據的研究已經開始蓬勃發展起來了,未來也必將在企業質量管理領域呈現出更多更廣的應用。
(二)宏觀質量大數據的幾點應用展望
目前,大數據的應用主要是針對企業,對于宏觀大數據尤其是宏觀質量管理則鮮有研究。下面,筆者根據宏觀質量管理和大數據的內容,對未來質量大數據的宏觀應用提出幾點展望。
1.服務質量評價。現階段服務質量評價主要是運用顧客滿意度測評的方法,如美國顧客滿意度指數(ACSI)對行業、地區和國家的顧客滿意情況統計、測評和分析。顧客滿意度測評是一項基于主觀角度的用來發現和解決質量問題的質量管理工具,不能全面反映包括服務組織的提供過程和提供能力在內的客觀全面的服務質量水平。
未來,可以在大數據收集技術的支撐下,全面收集顧客對于服務水平的評價數據,這種評價數據區別于現行的顧客滿意度的統計調查數據,而應該是接近總體樣本量的服務評價數據,能夠全面反映顧客對于服務的主觀評價。同時,在主觀評價基礎上,基于服務提供組織的技術、人員、設施設備等服務提供能力和服務保障能力客觀數據的采集,將兩者有機結合形成服務質量評價方法,將原先單純通過主觀評價的方式拓展到主客觀評價相結合的方法,而且通過大數據的手段可以更好的解決統計調查中存在的精度和系統性誤差問題,真實全面的反映服務質量水平。
2.產品傷害監測。目前,部分國家已經建立了產品傷害監測體系,如美國的國家電子傷害監測系統(NEISS),由專業傷害采集人員在樣本醫院急診室采集非致命產品傷害信息,并通過網絡系統直接報送美國消費品安全管理委員會。我國目前的產品傷害監測試點已經擴展到了全國11個地區32家樣本醫院,為建立我國的產品傷害監測系統奠定了工作基礎。
未來大數據時代,產品傷害監測系統的數據來源更為廣泛,在目前樣本醫院的基礎上涵蓋所有醫院,將數據采集渠道擴展到社區等公共服務場所,另外也可以通過網絡媒體渠道拓寬產品傷害數據采集,力求全方位收集產品傷害信息,同時在產品傷害數據采集基礎上,擴大服務過程中傷害數據的采集,為產品技術指標和服務水平的改進和提高提供依據。
3.產品召回。現階段產品召回中數據分析的主要應用是汽車等主要消費品,例如歐盟通過產品質量安全與缺陷召回法律法規及管理體系建立了完善的產品召回制度;美國國家公路安全管理局建立的國家汽車樣本系統、特殊碰撞調查系統等數據系統,通過統計數據分析和把握公路安全狀況。
從目前產品召回的現狀看,國內外產品召回主要是通過法律法規和樣本分析,數據應用具有一定的局限性。未來,產品召回的數據采集和分析對象可以擴大產品范圍,對人身安全和財產權益造成傷害的產品數據全面監測和采集,例如政府產品監管數據、企業生產和銷售數據、市場消費者數據等,還可以結合產品傷害監測系統聯合采集數據,共同收集產品缺陷數據,為不同的應用提供數據支撐。
4.質量數據平臺。《上海推進大數據研究與發展三年行動計劃(2013-2015年)》提出了建設醫療衛生、食品安全等5個公共服務平臺及推進金融證券、互聯網等6個重點行業大數據應用的工作任務。無論是大數據還是質量大數據的宏觀應用,前提條件都是要建立數據平臺完成數據的采集、分析、共享、發布和應用。因此,建立質量數據平臺也就成了質量大數據應用的關鍵要素。
質量大數據平臺可以由數據采集系統、數據分析系統、信息發布系統組成。數據采集系統主要是跟蹤和抓取質量相關數據,這些數據的格式不再局限于傳統的文本、圖片等結構化數據,還可以包含半結構化和非結構化數據。數據采集是后續進行分析和應用的基礎,對整個質量大數據的研究和應用發揮著關鍵作用。數據分析系統是基于大數據分析技術和方法對采集的數據進行分析的系統,采用“第四范式”、“分布式系統”(未來出現的方法)等方法對數據進行分析,挖掘數據信息。數據應用系統是對數據分析呈現出的信息,經過辨別、確認以用于企業質量或者宏觀質量管理,同時根據反饋結果不斷改進采集和分析方法。
質量大數據的應用核心是通過數學方法處理巨量數據資源,將分析結果應用于企業或者公共服務和管理部門的決策過程中,提高決策可靠性。開展質量大數據的收集、分析和處理,目的在于更好的提升企業質量管理水平,進一步在“大質量”概念下推動我國宏觀質量管理工作。
[1]王澤洪,黃國慶,周德文.宏觀質量管理概論[M].北京:中國質檢出版社,中國標準出版社,2013
[2]程虹.宏觀質量管理[M].武漢:湖北人民出版社,2009
[3]錢仲裘,劉剛.關于宏觀質量管理的幾點思考[J].質量與標準化,2012
[4]馬建光,姜巍.大數據的概念、特征及其應用[J].國防科技,2013(4):10-16
[5]王秀磊,劉鵬.大數據關鍵技術[J].中興通信技術,2013(8): 17-21
[6]黃升民,劉珊.“大數據”背景下營銷體系的解構與重構[J].現代傳播,2012(11):13-20
[7]劉舒.掌握大數據的組織將超越對手—論質量專業人士在大數據時代的生存之道 [J].上海質量,2014(4): 34-38
[8]孟小峰,慈祥.大數據管理:概念、技術與挑戰[J].計算及研究與發展,2013,50(1):146-169
[9]何非,何克清.大數據及其科學問題與方法的探討[J].武漢大學學報(理學版),2014(1):1-12
[10]胡雄偉,張寶林,李抵飛.大數據研究與應用綜述(上)[J].標準科學,2013(9):29-34
[11]郎志正.大質量概念、發展質量與品牌[J].交通企業管理,2012(4):18-19
[12]Hey T,Tansley S,Tolle K.The Fourth Paradigm:Data-Intensive Scientific Discovery [M/OL].Microsoft Research. Redmond.Washington.(2009)http://research.Microsoft. com/en-us/collaboration/fourth paradigm
[13]上海推進大數據研究與發展三年行動計劃(2013-2015 年)[R].上海市科學技術委員會,2013
[責任編輯:王鳳娟]
F490.3
B
1009-6043(2016)12-0087-03
2016-10-24
李存(1986-),上海市質量和標準化研究院助理工程師、碩士。研究方向:質量和標準化相關領域。