人工智能讀博路

劉春花

本科遇到人生導(dǎo)師

你有沒有在小時候就渴望去遠(yuǎn)方，想看看世界是什么樣子的？這個想法我一直有，一直想實(shí)現(xiàn)它。所以我一路從重慶鄉(xiāng)里的小學(xué)考到縣里的初中，再到區(qū)里的高中，又到北京的大學(xué)。現(xiàn)在我在墨爾本。

依舊記得2012年的夏天，我收到大學(xué)錄取通知書時心里的不情愿。我填報的36個志愿里沒有一個是計算機(jī)專業(yè)，卻唯獨(dú)被調(diào)劑到這個專業(yè)。帶著對數(shù)學(xué)的害怕，對計算機(jī)的陌生，對未來所要從事行業(yè)的迷茫和無知，我踏入了大學(xué)校園，想著讀完大一后立刻轉(zhuǎn)專業(yè)。大一結(jié)束后，我卻發(fā)現(xiàn)自己逐漸喜歡上了這個專業(yè)，也感受到這是一個就業(yè)前景很好的專業(yè)。隨著人工智能的熱度不斷上升，行業(yè)所需的人才遠(yuǎn)遠(yuǎn)不夠。

更重要的是，我遇見了一個對我影響深遠(yuǎn)的導(dǎo)師。

他就是我本科時的班主任和碩士時的導(dǎo)師——于東副教授，大家都親切地稱他為東哥。如果說高考被調(diào)劑是被老天安排的，那么后來我選擇繼續(xù)學(xué)習(xí)計算機(jī)專業(yè)，以及選擇讀研、讀博，則都深深受到于東老師的影響。

大二暑假里，我跟著東哥一起參加了一個評測比賽。比賽的要求是構(gòu)建一個人物屬性抽取的系統(tǒng)，能夠?qū)⒕S基百科文本中包含的人物出生、死亡日期，以及地址、家庭關(guān)系等25種人物屬性抽取出來，最終將無結(jié)構(gòu)的文本轉(zhuǎn)換為結(jié)構(gòu)化的知識。由于官方不提供訓(xùn)練語料，所以我們要手動對訓(xùn)練語料進(jìn)行標(biāo)注，之后才能進(jìn)行模型的搭建。

最終，我們的模型贏得了評測的第二名。賽后總結(jié)時，我們發(fā)現(xiàn)由于比賽時間有限，很多工作都做得不夠細(xì)致，比如當(dāng)時采取的做法是對每一種類別的屬性分別訓(xùn)練分類器，但其中有些屬性之間是存在關(guān)聯(lián)或交叉的，比如人物的組織機(jī)構(gòu)隸屬、職稱、頭銜等，往往會在文中同時出現(xiàn)。因?yàn)槲覀兊姆诸惼魇轻槍蝹€類別進(jìn)行訓(xùn)練的，所以當(dāng)職稱和頭銜同時出現(xiàn)時，有可能出現(xiàn)一個能抽取出來，一個不能抽取出來的問題。

我不止一次聽別人說，讀博是他們從未后悔過的一件事情，也不止一次聽別人說，讀博很艱難。但我想，這就是我想要做的事情，即使困難，也得去做。不然，以后連后悔都來不及。

針對這一問題，大三開學(xué)后，我跟著東哥繼續(xù)在這個課題上深入，我們希望模型可以精準(zhǔn)地抽取人物的屬性信息。在5個月的實(shí)驗(yàn)過程中， 有時候因?yàn)橐粋€小bug要調(diào)很久代碼，有時候在想法實(shí)現(xiàn)后發(fā)現(xiàn)并不奏效，每當(dāng)我灰心喪氣時，東哥總會對我說：“再堅(jiān)持一下，希望就在前方。”并會給我及時的幫助和中肯的建議。在不斷地嘗試后，最終，針對人工標(biāo)注的訓(xùn)練語料不夠的問題，我們發(fā)現(xiàn)在百度百科人物頁面的信息框里，存儲著很多人物的屬性信息，通過信息框中的屬性值去文本中檢索，便可獲得大量的訓(xùn)練語料;針對屬性的共現(xiàn)問題，我們通過分析組織機(jī)構(gòu)之間的句法依存關(guān)系，同時提取出了兩個屬性類別。 最終，與評測比賽時的模型相比，改進(jìn)后的模型在職銜履歷屬性上的性能提升了60%。

在這個過程中，為了趕上一個會議的截稿日期，東哥和我們一起寫論文、補(bǔ)實(shí)驗(yàn)，經(jīng)常工作到深夜。相對于提升實(shí)驗(yàn)性能，將核心思想精準(zhǔn)地用文字表述出來，是一件更有挑戰(zhàn)的事情。每次對比自己和東哥寫的內(nèi)容，我都會發(fā)現(xiàn)無論是在章節(jié)的框架構(gòu)思，還是文字表達(dá)方面，自己依然存在不少問題，還需要更多的磨練。這就是我第一次接觸科研的真實(shí)體驗(yàn)。

為更多地了解計算機(jī)領(lǐng)域的科技前沿，在東哥的建議下，我選修了自然語言處理 （Natural Language Processing， NLP） 課程。NLP是人工智能領(lǐng)域的一個重要方向，它是一門融合語言學(xué)、計算機(jī)科學(xué)和數(shù)學(xué)的學(xué)科，旨在讓計算機(jī)理解人類的語言。通過這門課程，我對NLP的基礎(chǔ)任務(wù)有了不少新認(rèn)識。很多人類覺得很簡單的任務(wù)，如情感分析，常識問題等，對機(jī)器來說卻是非常困難的事情。比如人可以很容易理解“吉姆安慰了凱文，因?yàn)樗珎牧恕敝械摹八敝傅氖恰皠P文”而不是“吉姆”，因?yàn)橐话愣际潜话参康娜饲榫w不好。又比如人能夠憑直覺判斷出“他把大象放進(jìn)冰箱里”是一種反常識的行為，而“他把火雞放進(jìn)冰箱里”卻是一件很正常的事情，因?yàn)榇笙蟊缺浯螅豢赡苤苯臃胚M(jìn)去。但機(jī)器卻很難理解哪種行為是日常生活中會發(fā)生的，哪些行為不太可能發(fā)生。再結(jié)合之前為數(shù)不多的科研經(jīng)驗(yàn)，我覺得NLP是一個非常有用也很有挑戰(zhàn)的方向。要想深入鉆研它，本科學(xué)到的知識是遠(yuǎn)遠(yuǎn)不夠的，所以讀碩士選專業(yè)的時候，我毫不猶豫地選擇了NLP方向。

對我而言，東哥是我專業(yè)的領(lǐng)路人，更是人生的導(dǎo)師。不論是學(xué)業(yè)上的問題，還是未來的規(guī)劃，甚至是感情上的困擾，只要找東哥，他都會耐心傾聽，并用他的方式來幫助我。在他的影響下，我不僅認(rèn)定了計算機(jī)專業(yè)，還漸漸有了一個目標(biāo)，就是要成為一名像他一樣優(yōu)秀的導(dǎo)師，把科研的、生活的知識傳遞給需要的人。

愛上做科研的感覺

讀研期間，我享受討論時思想不斷碰撞的過程，學(xué)會了承受實(shí)驗(yàn)的失敗，更重要的是，我愛上了做科研的感覺。當(dāng)我看到別人發(fā)表的有趣的工作成果時，會特別興奮;看到自己的想法被別人搶先實(shí)現(xiàn)時，也會特別激動。

然而，我研究生階段的第一個科研工作卻困難重重。從課題選擇到論文的發(fā)表，經(jīng)歷了整整一年。在明確了科研方向要和推理相關(guān)，并閱讀了大量論文后，我決定聚焦在自然語言推理任務(wù)上。這個任務(wù)需要首先給出一個前提句子和一個假設(shè)句，然后通過構(gòu)建一個模型，來判斷假設(shè)句能否根據(jù)前提句子推理得出。比如，前提句是“孩子們正從學(xué)校往家里走。” 我需要通過模型，判定能否推理出假設(shè)句——“孩子們在放學(xué)回家的路上。”或者“孩子們在教室上課。”如果可以推出，兩個句子就是蘊(yùn)含關(guān)系;如果不能推出，兩個句子就是矛盾關(guān)系。

在剛開始的四個月里，我一直在嘗試復(fù)現(xiàn)一個當(dāng)時最好的模型，但無論如何都和論文中報告的結(jié)果相差了3個百分點(diǎn)。我也嘗試過不以這個模型為基礎(chǔ)，在別的模型基礎(chǔ)上進(jìn)行各種各樣的改進(jìn)，但效果始終沒有第一次的模型性能好。幾個月的時間都沒有得到正面的反饋，我?guī)缀醵伎旆艞壛恕?/p>

直到兩個月后某一天，我認(rèn)識了我所復(fù)現(xiàn)模型論文的作者。在重新閱讀他論文的過程中，我注意到一個細(xì)節(jié)，作者說他模型中有兩部分的參數(shù)是共享的，而我的代碼中這兩部分參數(shù)并不共享，這就意味著我增加了將近一倍的訓(xùn)練參數(shù)，最終導(dǎo)致模型的性能達(dá)不到他所描述的效果。更正代碼后，我終于看到了理想中的結(jié)果。

緊接著，我還要對這個模型進(jìn)行改進(jìn)。接下來的三個月，又是一輪閱讀論文、和導(dǎo)師討論可行性、做實(shí)驗(yàn)、觀察結(jié)果、如果性能沒有提升，繼續(xù)思考和嘗試下一個想法的循環(huán)。第十個月，我終于用模擬人類在推理過程中對兩個句子中的相同部分和不同部分分開處理的機(jī)制，提升了模型的性能。

實(shí)驗(yàn)完成后，我決定寫一篇論文投到一個自然語言處理的國際頂級會議上。第一次寫專業(yè)論文，我沒有一點(diǎn)兒經(jīng)驗(yàn)，只好先一字一句總結(jié)別人在每個章節(jié)里每句話都說了什么，再想自己應(yīng)該怎樣寫。同時，全英文的表達(dá)對我來說也是一個極大的考驗(yàn)。就這樣，直到截稿前一分鐘，我的第一篇論文才被投遞出去。

兩個月后，論文的評審結(jié)果出來了，三個評審里有一位評審選擇接收，一位評審給了一個邊界分?jǐn)?shù)，一位評審拒絕。就這樣，我的第一次投稿以失敗告終。仔細(xì)想想，這個結(jié)果說明我的工作做得還不到位，所以我沒有喪氣。仔細(xì)參考了評委們給出的寶貴意見后，我開始進(jìn)行論文的修改和實(shí)驗(yàn)的補(bǔ)充。一個半月后，我把論文投到國內(nèi)的一個計算機(jī)自然語言處理會議上，并被順利接收，主辦方還邀請我做一個正式的發(fā)言。做完報告后，我拿到了優(yōu)秀論文獎。

在這個過程中，我發(fā)現(xiàn)自己面對實(shí)驗(yàn)的失敗、論文的拒收，內(nèi)心都很平和并懷有希望。這個實(shí)驗(yàn)失敗了，那就繼續(xù)思考和嘗試;這次論文被拒了，那就找原因，接著提高模型的性能，完善實(shí)驗(yàn)設(shè)計，修改文字表達(dá)。我始終沒有放棄，是源于自己對科研的熱愛，這種熱愛在我感知到它之前似乎就已存在。

讀研究生的三年，我真實(shí)感受了完整的科研流程，初步學(xué)習(xí)了做科研的方法，這更加堅(jiān)定了我讀博的想法。雖然博士階段做科研的難度更大，對我們思考問題、發(fā)現(xiàn)問題、解決未知問題的能力有著更深一層的考驗(yàn)，但我并不害怕，因?yàn)檫@些能力正是我們?nèi)松匾慕M成部分。我渴望通過讀博對自然語言處理領(lǐng)域有更深入的了解，找到自己感興趣的科研方向，成為一名獨(dú)立的科研工作者，見識更加廣闊的世界，結(jié)識更加優(yōu)秀的人。

我不止一次聽別人說，讀博是他們從未后悔過的一件事情，也不止一次聽別人說，讀博很艱難。但我想，這就是我想要做的事情，即使困難，也得去做。不然，以后連后悔都來不及。

申博的考驗(yàn)

讀碩第三年，我開始申請讀博士。

關(guān)于讀博，學(xué)校的選擇固然重要，但我覺得更重要的是選擇導(dǎo)師。自己與導(dǎo)師的研究興趣是否一致，導(dǎo)師的能力是否足以指導(dǎo)我，以及導(dǎo)師在學(xué)界的影響力，是我著重考慮的。

導(dǎo)師的選擇是一個漫長的過程，從2018年3月起，我就開始聯(lián)系讀博的導(dǎo)師。當(dāng)時有一個我特別喜歡的導(dǎo)師，他對自然語言推斷、因果推理、常識推理等方向都很感興趣，他的科研方向和我碩士階段的工作以及我未來想做的工作也非常吻合。很快，他發(fā)郵件給了我正面的回復(fù)，說他會在夏天來中國，幫我找一個實(shí)習(xí)的地方指導(dǎo)我的工作。當(dāng)時我特別開心，也就沒有再去找其他導(dǎo)師了。可一轉(zhuǎn)眼暑假都過去了一半，導(dǎo)師才告訴我他實(shí)在太忙，沒有時間處理我的事情。本以為未來已經(jīng)明朗，卻忽然回到原點(diǎn)，加上當(dāng)時我的TOEFL和GRE都還沒考，時間一下子變得十分緊張。

2018年9月，我開始準(zhǔn)備考英語。身處語言大學(xué)的我，本來的計劃是第一個月考完TOEFL，第二個月考完GRE，結(jié)果卻發(fā)現(xiàn)自己太天真了。最終，一個月的TOEFL變成了兩個月，到十一月時，很多學(xué)校的申請都快截止了。這下我才發(fā)現(xiàn)，不僅論文是重要的，英語成績同樣重要。不要對自己的英語水平過于自信，一定要留出足夠的時間。

與此同時，我聯(lián)系導(dǎo)師的事也一直沒有進(jìn)展。

一天，我忽然想起暑假期間在墨爾本開會的時候，跟一位名叫Trevor Cohn的老師聊得挺好。Trevor是澳大利亞墨爾本大學(xué)的一名副教授，他的研究方向主要是自然語言處理和機(jī)器學(xué)習(xí)。他的博士生也告訴我，這是一個特別好的導(dǎo)師，不僅學(xué)術(shù)能力很強(qiáng)，而且對學(xué)生很負(fù)責(zé)。于是我打開Trevor的個人主頁，上面說如果要聯(lián)系他讀博士，需要將自己的研修計劃和簡歷一起發(fā)給他。雖然難度不小，但我決定無論如何也要嘗試一下。不過，要想寫出一個自己看得過去，老師也能點(diǎn)頭的研修計劃是不容易的，最難的一點(diǎn)莫過于要找到自己研究領(lǐng)域的空白。

第一周我完全沒有動筆，取而代之的是不斷地閱讀論文、總結(jié)前人工作、積極和東哥討論，嘗試找到哪一部分是別人沒有研究過，并且還是有意義的。最終，研修計劃的主題延續(xù)了我做過的自然語言推斷的任務(wù)。前人的工作都是判斷能否根據(jù)一個句子推出另一個句子，那么，為什么模型能夠做出這樣的判斷呢？我的研修計劃就是從探究這個“為什么”的角度入手的。

寫完四頁的研修計劃后，2018年12月13日晚，我把所有材料發(fā)送給了Trevor。一覺醒來，我驚喜地發(fā)現(xiàn)Trevor給我回信了。他對我提出的科研內(nèi)容非常感興趣，還說澳洲是雙導(dǎo)師制的，他需要看看是否還有別的導(dǎo)師愿意和他一起指導(dǎo)我。

假期結(jié)束后，Trevor發(fā)郵件告訴我，有一位Lea老師也愿意當(dāng)我的指導(dǎo)老師，還建議我申請國家留學(xué)基金委和墨大的合作獎學(xué)金。之后我便開始一系列的網(wǎng)申，并在2019年5月底收到了墨大的獎學(xué)金申請通過通知。知道結(jié)果的一瞬間，我是內(nèi)心是喜悅的，因?yàn)槲倚r候的愿望終于要實(shí)現(xiàn)了。

掙扎與希望并存

到今天，我的博士生涯已有五個多月了。

都說萬事開頭難，讀博最難的就是選題。一個好的選題可以讓四年的博士研究事半功倍。剛開始，我嘗試?yán)^續(xù)之前感興趣的常識閱讀理解方向，卻找不到合適的切入點(diǎn)。在我不知如何向前的時候，Trevor和Lea給我推薦了一些認(rèn)知常識方面的論文，里面講到認(rèn)知科學(xué)家們是如何對概念進(jìn)行建模的。其中有一個方向是基于屬性認(rèn)知的概念理解，比如人們對 “自行車”這個概念的認(rèn)識，是通過它的各種屬性掌握的，例如它的外觀屬性有“兩個輪子”或“兩個手把”，它的功能屬性有“可以騎”“可以當(dāng)作交通工具”“可以健身”等。我發(fā)現(xiàn)這是一個很好的切入方向，它依然屬于常識理解的課題范圍下，但做的是更加基礎(chǔ)的工作，能直接影響更高層級的常識閱讀理解、常識問答等一系列任務(wù)。

在這個過程中，導(dǎo)師一直很關(guān)心我是否喜歡自己正在做的事情，每次在討論課題方向的時候，總會問我“你對這個課題是否感興趣？”“做這個課題讓你感到開心嗎？”這些話總是讓我莫名地感動。兩位導(dǎo)師開放的思維，看待問題獨(dú)到的眼光，對學(xué)術(shù)的熱情，對新事物的好奇心，對學(xué)生平等的態(tài)度，無一不在感染著我。在與Trevor和Lea的十三次討論后，我們終于確定目前階段的研究方向是讓計算機(jī)利用常識屬性學(xué)習(xí)概念表示。

站在澳大利亞的土地上，我依然在思考，是什么讓我站在這里，是什么促使我來到墨爾本大學(xué)讀計算機(jī)專業(yè)的博士？

“念念不忘，必有回響！”

正是這個來自內(nèi)心的聲音，鼓勵著我不斷前行。我是一個長到25歲，依然堅(jiān)定地相信有付出就會有回報的人。如果有想要做的事情，那就勇敢地去做吧！

責(zé)任編輯：曹曉晨