我在傳統(tǒng)行業(yè)做大數(shù)據(jù)開發(fā)工程師

從業(yè)者：林曉晴

從業(yè)年限：2年

從業(yè)地點(diǎn)：廣州

一句話感受：我們的使命是挖掘數(shù)據(jù)的最大價(jià)值

對口專業(yè)：應(yīng)用數(shù)學(xué)、軟件工程、計(jì)算機(jī)科學(xué)與技術(shù)、信息管理與信息系統(tǒng)等

從業(yè)門檻：本科及以上學(xué)歷

晉升路徑：大數(shù)據(jù)開發(fā)工程師→高級大數(shù)據(jù)開發(fā)工程師→數(shù)據(jù)架構(gòu)主管→大數(shù)據(jù)架構(gòu)師

薪資水平：10萬—15萬元/年

入職提醒：大數(shù)據(jù)開發(fā)對技術(shù)要求比較高，特別是在數(shù)據(jù)庫方面，需要精通各類常用的數(shù)據(jù)庫軟件

你了解大數(shù)據(jù)嗎？

想必大家對“大數(shù)據(jù)”這個(gè)名詞并不陌生，但要說起大數(shù)據(jù)相關(guān)工作具體是做什么的，很多人就不清楚了，甚至以為這個(gè)職業(yè)只存在于互聯(lián)網(wǎng)大廠中。現(xiàn)在，就讓我這個(gè)傳統(tǒng)制造業(yè)的大數(shù)據(jù)開發(fā)工程師給大家介紹一下這個(gè)職業(yè)吧！

從不同的維度和視角來看，大數(shù)據(jù)是一種技術(shù)、一種產(chǎn)業(yè)、一種資源，是一種理念和一種思維方式，也可以說是一個(gè)時(shí)代。如今大數(shù)據(jù)已經(jīng)融入經(jīng)濟(jì)社會發(fā)展的方方面面，許多工作都可以用大數(shù)據(jù)理念來指導(dǎo)。比如我們?nèi)粘Ｉ钪猩婕暗囊恍┓?wù)，包括快遞、外賣、共享單車等，都用到了大數(shù)據(jù)技術(shù)；還有近段時(shí)間火遍全網(wǎng)的ChatGPT，也是大數(shù)據(jù)技術(shù)的運(yùn)用和延伸。可以毫不夸張地說，大數(shù)據(jù)與我們的日常生活有著千絲萬縷的聯(lián)系，從衣食住行，到金融理財(cái)，還有我們的制造業(yè)，都可以瞧見它的身影。

“大數(shù)據(jù)人”的一天

雖然身處制造業(yè)，但我們“大數(shù)據(jù)人”的一天基本上也都圍繞“大數(shù)據(jù)”展開工作。每周一上午，按照慣例，我們部門會開例會，部門經(jīng)理會根據(jù)各個(gè)項(xiàng)目的情況，為每個(gè)項(xiàng)目組分配本周的工作任務(wù)。我們大數(shù)據(jù)組的工作主要分為三大塊：一塊是大數(shù)據(jù)日常開發(fā)迭代工作，另一塊是大數(shù)據(jù)重點(diǎn)項(xiàng)目的開發(fā)工作，還有一塊是大數(shù)據(jù)相關(guān)軟件的日常運(yùn)維工作。

我的職位是大數(shù)據(jù)開發(fā)工程師，主要工作是負(fù)責(zé)大數(shù)據(jù)倉庫和模型的建設(shè)，參與大數(shù)據(jù)項(xiàng)目中的數(shù)據(jù)采集、加工，維護(hù)大數(shù)據(jù)平臺的穩(wěn)定。具體點(diǎn)說，就是根據(jù)公司的業(yè)務(wù)需求，從各大業(yè)務(wù)系統(tǒng)中抽取相應(yīng)的數(shù)據(jù)，對其進(jìn)行加工、分析，再制作出業(yè)務(wù)所需的報(bào)表。由于我們公司所在的行業(yè)是制造業(yè)，因此我們的工作涉及許多與制造業(yè)相關(guān)的系統(tǒng)，比如倉儲物流系統(tǒng)WMS、工廠制造執(zhí)行系統(tǒng)MES……我需要從這些業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)，制作生產(chǎn)數(shù)據(jù)看板，實(shí)時(shí)監(jiān)控生產(chǎn)狀況，讓企業(yè)相關(guān)業(yè)務(wù)管理人員能夠清晰地了解各個(gè)車間的產(chǎn)能和生產(chǎn)狀況、貨物的發(fā)運(yùn)情況，從而及時(shí)地發(fā)現(xiàn)問題、解決問題，提高公司的生產(chǎn)效率，推動公司業(yè)務(wù)的發(fā)展。

一般來說，我們大數(shù)據(jù)開發(fā)工程師接觸較多的工作是寫SQL。SQL即Structured Query Language（結(jié)構(gòu)化查詢語言）的簡稱，是一種數(shù)據(jù)庫查詢和程序設(shè)計(jì)語言，主要用于存取數(shù)據(jù)以及查詢、更新和管理關(guān)系數(shù)據(jù)庫管理系統(tǒng)。寫SQL是一件非常令人頭疼的事情，因?yàn)槲覀內(nèi)粘９ぷ髦袝鎸Ω鞣N類型的數(shù)據(jù)庫，也就會面對不同的數(shù)據(jù)庫語言，雖然其語法大致一樣，但所用到的函數(shù)有可能會不一樣，所以要格外注意。我就犯過好幾次類似的錯誤，因沒有注意到函數(shù)的差別，導(dǎo)致排查不出數(shù)據(jù)的問題。

此外，在做項(xiàng)目需求的時(shí)候，一定要加強(qiáng)溝通，存在疑惑時(shí)，也一定要與需求提出方溝通清楚，確定清楚后再開始執(zhí)行。要知道，每個(gè)人對需求的理解都存在差異，比如我們理解的是A，而需求提出方想要的可能是B。

向優(yōu)秀的“大數(shù)據(jù)人”進(jìn)階

如何成為一名優(yōu)秀的大數(shù)據(jù)開發(fā)工程師，這也是我一直在思考的問題。

目前我的工作大部分還停留在寫SQL、制作報(bào)表上，對大數(shù)據(jù)框架的建構(gòu)方面涉及較少，在基礎(chǔ)開發(fā)語言的掌握方面較為薄弱，看不懂大數(shù)據(jù)框架的相關(guān)代碼。但從技術(shù)層面來說，大數(shù)據(jù)開發(fā)工程師也屬于軟件開發(fā)人員，需要有一定的編碼能力。為此，領(lǐng)導(dǎo)特地找了開發(fā)人員對我們大數(shù)據(jù)開發(fā)項(xiàng)目組進(jìn)行基礎(chǔ)語言的培訓(xùn)。若想讓自己的工作能力得到進(jìn)一步提升，我們還需要精通一些常用的算法模型，這樣才能在面對海量的非結(jié)構(gòu)化數(shù)據(jù)時(shí)，通過規(guī)劃算法與編寫程序去挖掘出有價(jià)值的數(shù)據(jù)。因此，我們需要不斷地充實(shí)自己，比如可以多加入幾個(gè)技術(shù)群，遇到問題時(shí)多向技術(shù)“大牛”請教。

從業(yè)務(wù)層面來說，大數(shù)據(jù)開發(fā)工程師要具備相關(guān)行業(yè)的業(yè)務(wù)知識，熟悉各自行業(yè)的業(yè)務(wù)指標(biāo)和業(yè)務(wù)術(shù)語，畢竟大數(shù)據(jù)的最終目標(biāo)是服務(wù)社會和企業(yè)。

從技術(shù)層面來說，大數(shù)據(jù)開發(fā)工程師需要掌握常用的數(shù)據(jù)庫以及數(shù)據(jù)可視化工具的使用，還需要掌握J(rèn)ava、python等基礎(chǔ)編程語言。

此外，從業(yè)者也可以利用網(wǎng)絡(luò)上的資源，如博客園、CSDN（中國專業(yè)IT社區(qū)）、多逛技術(shù)論壇等，參考行業(yè)前輩的學(xué)習(xí)路線和方法，并結(jié)合自己的實(shí)際情況，規(guī)劃學(xué)習(xí)周期，實(shí)現(xiàn)量變到質(zhì)變的飛躍。

需要注意的是，大數(shù)據(jù)開發(fā)工程師一定要培養(yǎng)自己的語言表達(dá)能力和書面表達(dá)能力。在此再次提醒大家，大數(shù)據(jù)開發(fā)工程師的工作可不是單純寫SQL、寫代碼、做報(bào)表而已。

想成為大數(shù)據(jù)開發(fā)工程師嗎？

大數(shù)據(jù)相關(guān)職位對學(xué)歷與技術(shù)的要求比較高，一般來說，從業(yè)者需要具備本科及以上學(xué)歷，需要具備數(shù)據(jù)挖掘與數(shù)據(jù)分析等相關(guān)專業(yè)能力，這也要求從業(yè)者具備良好的學(xué)習(xí)能力。大數(shù)據(jù)開發(fā)行業(yè)目前正蓬勃發(fā)展，相關(guān)技術(shù)體系也非常龐大，對初學(xué)者而言具有一定的挑戰(zhàn)性。因此，想從事大數(shù)據(jù)行業(yè)的同學(xué)一定要做好不斷學(xué)習(xí)的思想準(zhǔn)備，最好提前做好學(xué)習(xí)計(jì)劃，找到適合自己的學(xué)習(xí)方法。

一般來說，大數(shù)據(jù)入門學(xué)習(xí)即大數(shù)據(jù)開發(fā)技術(shù)的學(xué)習(xí)可以分成三個(gè)階段：第一個(gè)階段是編程基礎(chǔ)語言的學(xué)習(xí)，第二個(gè)階段是算法相關(guān)基礎(chǔ)知識的學(xué)習(xí)，第三個(gè)階段是結(jié)合相應(yīng)場景進(jìn)行實(shí)際運(yùn)用。在學(xué)習(xí)過程中，興趣是最重要的動力源，因此在入門學(xué)習(xí)時(shí)，同學(xué)們最好結(jié)合自身的基礎(chǔ)以及感興趣的方向，為自己制定初步的學(xué)習(xí)路線。之后，我們就可以深耕大數(shù)據(jù)行業(yè)，為企業(yè)和社會發(fā)展貢獻(xiàn)自己的智慧啦！

后記

目前我國的大數(shù)據(jù)行業(yè)迎來了新的發(fā)展機(jī)遇，產(chǎn)業(yè)規(guī)模日趨成熟。2014年，“大數(shù)據(jù)”首次被寫進(jìn)我國政府工作報(bào)告，大數(shù)據(jù)產(chǎn)業(yè)首次上升至國家戰(zhàn)略層面，國家大數(shù)據(jù)綜合試驗(yàn)區(qū)如雨后春筍般在全國各地建立起來。同時(shí)，相關(guān)政策與標(biāo)準(zhǔn)體系也在不斷完善。

總而言之，大數(shù)據(jù)在未來的就業(yè)舞臺還是非常廣闊的，是一個(gè)比較熱門的就業(yè)方向。所以，想從事大數(shù)據(jù)行業(yè)的同學(xué)，請努力加油吧！