大數據技術在南海鳶烏賊資源調查上的研究進展

馮菲

摘要?介紹了南海鳶烏賊（Sthenoteuthis oualaniensis）的資源調查現狀，分析了大數據技術在南海鳶烏賊資源調查中的應用情況，總結出大數據技術在鳶烏賊資源調查中的應用框架，為南海鳶烏賊資源的生產和評估提供重要的科學依據。

關鍵詞?大數據;漁業大數據;鳶烏賊;漁業資源

中圖分類號?S951.2文獻標識碼?A文章編號?0517-6611（2018）33-0012-02

隨著我國經濟和人口的快速發展，南海海域漁業資源過度捕撈，漁業生態環境不斷惡化，導致近海區漁業資源枯竭[1]，南海鳶烏賊又稱紅魷魚或南魷，屬于鞘亞綱，槍形目，鳶烏賊屬，柔魚科，其生命周期較短，生長率高，產量十分豐富，是具有較高開發潛力的物種，是我國南海重要的漁業資源之一[2-4]。通過聲學評估分析，南海鳶烏賊的資源量達到2.36×106 t[5]。因此對南海鳶烏賊的資源調查極具價值。

2003年，我國首次對印度洋海域鳶烏賊進行資源調查[6-7]。2017年，范江濤等[8]依據漁業聲學調查數據，用傳統的數據處理軟件對南沙海域鳶烏賊資源進行分析，表明漁場有空間自相關性。由于信息化技術剛起步，結合大數據技術對鳶烏賊資源的調查極少。隨著復雜的調查數據管理需求增加和信息化技術的突飛猛進，基于大數據技術下的資源調查已經成為高效存儲和共享資源調查數據進行預測分析評估的必要手段之一[9-11]。受不同的環境因子、資源密度、捕獲量、漁民需求等因素影響，使用大數據技術對南海鳶烏賊進行觀測分析越發必要。利用各種傳感節點和無線通信網絡對南海鳶烏賊資源進行采集，結合大數據分析技術進行傳輸、存儲和處理等，正廣泛運用到鳶烏賊資源調查的各個方面[12]。

相比傳統的調查分析技術而言，大數據技術背景下鳶烏賊資源調查規模大、質量高，能獲得海量、全方位的數據，且包括所有能收集到的信息，利用大數據理念和技術對資源進行整合、分析，可有效推動鳶烏賊資源的發展[13]。

該研究介紹了鳶烏賊資源現狀和大數據技術應用現狀，將大數據技術與鳶烏賊資源調查相結合，有望促進漁業領域的可持續發展。

1?南海鳶烏賊資源研究現狀

1.1?大數據技術發展現狀

我國經濟發展進入新常態，信息化技術已經成為促進改革創新，推翻傳統漁業模式的決定性因素，信息化技術是衡量一個國家科技發展水平高低的重要標志。信息化技術在發展的同時產生了爆炸式的大數據。據《中國大數據產業發展水平評估報告（2017）》指出，大數據浪潮正在席卷全球，我國也正在向著“數據強國”的目標不斷前進[14]。據Winter Corp調查，數據量正以每兩年3倍的速率快速增加[15]。

大數據的簡單定義就是無法利用傳統的數據處理軟件在一定的時間內對這些數據進行采集，分析存儲和處理并且獲取大量信息的數據集合[16]。大數據的特點包括4個方面：數據容量海量性、數據處理的高速性、數據類型多樣性和商業價值性[17]。大數據技術包括海量數據的收集、存儲、傳輸、建模和分析等一系列活動形成的產業鏈，同時和其他行業結合在一起，從而獲得巨大的效益[18]。

大數據技術在各行各業都有了廣泛的發展，比如近年來，劉海英[19]將大數據技術與共享鏈結合共同促進共享經濟的發展。郭少青[20]利用大數據技術治理氣候變化問題，促進城市的可持續發展。蔣鵬飛等[21]把空間遙感大數據技術應用在農業“防災減災”領域，從而獲得更加準確的參數信息。但是，大數據技術在南海鳶烏賊資源方面的應用較少，加上漁業活動較為分散等原因，導致漁業信息化水平較低。

將大數據應用于漁業領域，有利于提升漁業科學研究和生產水平的創新能力，提高漁業資源政策的科學性，創新其發展模式，促進漁業從跟跑到領跑式的發展[22]。其原理是利用大數據和相關技術的思想架構，結合數學模型處理漁業信息化產生的大量數據，并根據需要對有用的結果進行分析和渲染，進而處理漁業資源領域出現的問題[23]。隨著水產養殖和捕撈業的快速發展和應用，使得鳶烏賊資源獲得的數據量也不斷擴大，其數據資源多種多樣、結構復雜、分布較廣，使得大數據技術在南海鳶烏賊資源管理方面的應用較為復雜。

1.2?國內外南海鳶烏賊資源調查研究現狀

早在20世紀70年代，南海鳶烏賊資源就已經出現，但因為傳統漁業資源豐富，且鳶烏賊的經濟價值較低，所以鳶烏賊資源未被重視。如今，傳統漁業資源的逐漸衰退使得南海鳶烏賊資源成為我國南海最重要的漁業資源之一，在我國引起很大的關注[24]。目前國內外對南海鳶烏賊資源的研究大多集中在其生長繁殖、種群結構遺傳結構[25-29]等生物學特性方面，對鳶烏賊的資源量調查大多集中在燈光罩探捕調查[30]以及資源量的水聲學評估[5]等方面，將大數據技術用于南海鳶烏賊資源調查的研究少之又少，再加上數據混亂、數據分析人才的缺乏，導致大數據技術的應用更為復雜。

1.3?大數據技術應用在南海鳶烏賊資源管理中的意義

由于我國漁業的信息化程度普遍較低，而探索大數據技術在漁業中的應用處于剛起步階段[22]。當前，漁業仍沿用大量消耗資源和粗放經營的傳統方式[10]，對鳶烏賊資源的調查也仍然采用傳統的數據處理軟件對抽樣所獲得的數據進行分析評估，分析效率低，資源浪費，預測評估不及時，存儲的數據量少，導致分析結果精準度低。

利用大數據技術，可以提高漁業信息的綜合利用率，發掘隱藏在其中的信息，并產生新知識用于漁業資源市場的預期。南海鳶烏賊有著豐富的資源量，更需要大數據技術的支持。比如從不同的地區和不同年齡的漁民的購買數據中分析出鳶烏賊的需求量，根據需求情況調配資源和管理，從而開拓更大的市場。另外大數據平臺的眾多外部資源可以對南海鳶烏賊所處的環境進行分析，查找影響其生長繁殖和捕獲量的各種因素，對大規模數據進行分析，關注整體動向，預測其變化規律[31]。

2?大數據技術在鳶烏賊資源調查中的應用框架

2.1?數據的采集和傳輸

采用傳感器測量南海鳶烏賊資源環境中的各種變量，將采集的信息轉化為可讀的信號，通過無線網絡載體，將信息傳播到數據采集點以待處理[32]。其傳感器的原理是由電池供電，微小傳感器收集所感知的數據，基站在節點部署完成之后發布收集命令，這樣不同節點產生的感知數據將會被匯集，之后轉發到基站以待處理[33]。例如傳統的鳶烏賊資源調查航次分析主要依靠人工錄入捕撈日志等信息來確定和判斷航次，而基于大數據下的鳶烏賊資源調查可以快速提取每搜漁船的捕撈航次信息，能夠直觀地看出每年出海捕撈情況，可以協助進行漁船的精準化管理。另外采集方式還有信息系統數據、互聯網數據等[32]。

2.2?數據的存儲與處理

所收集到南海鳶烏賊資源的各種數據，包括每年探捕的鳶烏賊量，每年度中每季度的鳶烏賊的資源量以及其分布的區域的經緯度等信息數據，通過Haddoop體系進行存儲計算。Haddoop體系包括HDFS（ Hadoop Distributed File System）和 Map Reduce兩部分。HDFS將調查鳶烏賊資源獲得的大數據切分成大小相同的小數據塊進行存儲，存于多個數據節點上，并進行校對、負載等。一般用HDFS存儲數據，不容易丟失，且容量大。Map Reduce將海量數據分為不同的數據塊進行過濾處理，每個數據塊都對應一個任務，將所得中間結果保存在本地，將中間結果傳輸到各個Reduce節點進行最終的Reduce聚集處理，最后將最終結果輸入到分布式存儲文件系統[34]。另外它可以存儲離線數據，Map節點和Reduce節點相互配合，以最快的速度完成計算，從而提高運算效率。另外其存儲技術還包括分布式文件系統，分布式數據庫等。與傳統的關系型數據管理系統比較，基于大數據技術背景下非關系型數據管理系統具有擴展性好、存儲性能好且運算效率高等特點。

ETL對南海鳶烏賊資源調查過程中收集到的分散數據進行提取、轉換、清洗并加載至數據倉庫中，使得這些數據成為智能化有用的數據[35]。

2.3?數據的分析

通過ETL數據清洗得到標準化的鳶烏賊資源數據，從不同的業務中提取數據的特征，利用局部區域近十年的數據進行統計，并構建棲息地指數模型或者廣義可加模型（GAM），根據模型對整個南海鳶烏賊資源數據進行預測和分析[36]。在鳶烏賊資源管理過程中，會涉及多個過程，包括養殖、捕撈、運輸、加工等過程，其間包含環境因子、各種生物成分，以及安全問題、生產效益、漁民需求等因素。此外利用BI分析平臺，將復雜難懂的數據配合多維專業工具轉化為簡單、易理解的圖形方式體現，對需要的指標進行多角度分析，并且生成分析報告，從中得到有用的信息[37]。

3?展望

傳統的鳶烏賊資源調查大多要經歷幾個環節，并且需要不同的人員相互配合共同完成，多以現場采樣、統計以及記錄的方式采集數據，并對數據簡單處理，通過Excel進行分析數據得到有用的信息，這個過程比較繁瑣，稍有失誤將會影響整個調查結果?；诖髷祿夹g下的鳶烏賊資源調查可以提供標準化的數據結構，同時具有數據備份系統以免數據丟失，從而保護數據的安全性，還能提供數據共享[11]。另外大數據技術可以幫助構建漁業云平臺，向相關的漁民提供在線查詢、數據分析、共享交流等服務[38]。將大數據技術應用于漁業資源管理中，有望為將來的漁業資源領域開辟一條新的道路。

參考文獻

[1] 余景，胡啟偉，李純厚，等.西沙-中沙海域春季鳶烏賊資源與海洋環境的關系[J].海洋學報，2017，39（6）：62-73.

[2] 江淼，馬勝偉，吳洽兒.南海鳶烏賊資源探捕與開發[J].中國漁業經濟，2018，36（2）：65-70.

[3] 馬靜蓉，楊慶賢，馬海霞，等.南海鳶烏賊肌原纖維蛋白的熱穩定性研究[J].食品與發酵工程，2015，41（5）：80-84.

[4] 吳靜，胡曉，楊慶賢，等.鳶烏賊酶解產物的抗氧化穩定性與功能特性[J].南方水產科學，2016，12（5）：105-111.

[5] 李斌，陳國寶，郭禹，等.南海中部海域漁業資源時空分布和資源量的水聲學評估[J].南方水產科學，2016，12（4）：28-37.

[6] 陳新軍，錢衛國.印度洋西北部海域鳶烏賊資源密度分布的初步分析[J].上海水產大學學報，2004，13（3）：218-223.

[7] 余為，陳新軍.印度洋西北海域鳶烏賊9-10月棲息地適宜指數研究[J].廣東海洋大學學報，2012，32（6）：74-80.

[8] 范江濤，張俊，馮雪，等.基于地統計學的南沙海域鳶烏賊漁場分析[J].生態學雜志，2017，36（2）：442-446.

[9] 馮波，顏云榕，張宇美，等.南海鳶烏賊（Sthenoteuthis oualaniensis）資源評估的新方法[J].漁業科學進展，2014，35（4）：1-6.

[10] 郭少雅.物聯網支撐現代漁業發展[N].農民日報，2016-04-08（04）.

[11] 劉子健.基于開源GIS技術的新疆漁業資源數據平臺設計與開發[D].武漢：華中農業大學，2017：1-58.

[12] 謝潤梅.農業大數據的獲取和利用[J].安徽農業科學，2015，43（30）：383-385.

[13] 李俊清，宋長青，周虎.大數據背景下農業數據資源分類及應用前景淺析[J].農業圖書情報學刊，2018，30（4）：23-27.

[14] 中國大數據產業發展水平評估報告[J].軟件和集成電路，2017（12）：22-23.

[15] WinterCorp.The large scale Data Management Expert[EB/OL].[2018-05-28.]http：//www.wintercorp.com.

[16] MANYIKA J，CHUI M，BROWN B，et al.Big data：The next frontier for innovation，competition，and protuctivity[R].McKinsey Global Institute，2011.

[17] MAYERSCHONBERGER V，CUKIER K.Big data：A revolution that will transform how we live，work，and think [M].New York：Eamon Dolan/Houghton Mifflin Harcourt，2013：174-180.

[18] 尹衍雨，白春明，柴多梅，等.大數據與農業 大數據在農業領域的應用[J].蔬菜，2018（3）：1-7.

[19] 劉海英.“大數據+區塊鏈”共享經濟發展研究：基于產業融合理論 [J].技術經濟與管理研究，2018（1）：91-95.

[20] 郭少青.基于大數據治理對氣候變化背景下城市可持續發展的對策研究[J].西南民族大學學報（人文社會科學版），2018（3）：205-213.

[21] 蔣鵬飛，姜水晶，韓雪.空間遙感大數據技術在農業防災減災領域中的應用[J].農村·農業·農民（B版），2018（3）：49-51.

[22] 周詢.大數據技術與中國漁業[J].中國水產，2015（8）：31-33.

[23] 于喆.漁業大數據綜述[J].安徽農業科學，2017，45（9）：211-213.

[24] 張鵬，楊吝，張旭豐，等.南海金槍魚和鳶烏賊資源開發現狀及前景[J].南方水產，2010，6（1）：68-74.

[25] 粟麗，陳作志，張鵬.南海中南部海域春秋季鳶烏賊繁殖生物學特征研究[J].南方水產科學，2016，12（4）：96-102.

[26] 招春旭，陳昭澎，何雄波，等.基于耳石微結構的南海春季鳶烏賊日齡、生長與種群結構的研究[J].水生生物學報，2017，41（4）：884-890.

[27] 劉連為，周永東，陸化杰，等.西北太平洋鳶烏賊種群遺傳結構[J].水產學報，2017，41（9）：1355-1364.

[28] NESIS K N.Population structure of oceanic ocmastrephids with particular reference to Sthenoteuthis oualaniensis：A review[M] //OKUTANI T，ODOR ?R K，KUBODERA T.Recent advances in fisheries biology.Tokyo：Tokai University Press，1993：375-383.

[29] SUZUKI T，YAMAMOTO S，ISHI I K，et al.On the flying squid sthenoteuthis oualaniensis（Lesson）in Hawaiian waters[J].Bulletin of the Faculty of Fisheries Hokkaido University，1986，37（2）：111-123.

[30] 張鵬，張俊，李淵，等.秋季南海中南部海域的一次燈光罩網探捕調查[J].南方水產科學，2016，12（2）：67-74.

[31] 張婷.大數據技術在企業內部審計中的應用[J].電子技術與軟件工程，2018（1）：149.

[32] 李學龍，龔海剛.大數據系統綜述[J].中國科學：信息科學，2015，45（1）：1-44.

[33] WANG F，LIU J C.Networked wireless sensor data collection：Issues，challenges，and approaches[J].IEEE Commun Surv Tutor，2011，13（4）：673-687.

[34] 徐華.基于云的大數據處理系統性能優化問題研究[D].合肥：中國科學技術大學，2018：1-11.

[35] 徐俊剛，裴瑩.數據ETL研究綜述[J].計算機科學，2011，38（4）：15-20.

[36] 邱耀儒，沈明.淺談大數據的數據處理[J].電子世界，2018（10）：100.

[37] 孟祥寶，謝秋波，劉海峰，等.農業大數據應用體系架構和平臺建設[J].廣東農業科學，2014，41（14）：173-178.

[38] 李杰.農業大數據應用-農業云平臺[J].農民致富之友，2018（4）：20.