易鑫：架起人機信息交換的橋梁

劉玉杰

易鑫

近年來，隨著社會的進步、科技的發展，機器設備不斷迭代更新并實現了與人類的交互。在人們可能訪問的計算設備和數據的數量呈幾何倍數增長的情況下，人機關系變得更加豐富多樣。可以說，交互技術已成為終端和應用創新的核心競爭力。但普適計算時代下的人機交互仍存在諸多挑戰，如用戶心智模型的不可見性，傳感器數據噪聲，以及需要適應個體、環境的差異性等。

如何為用戶與計算設備間自然高效的信息交換提供理論基礎和優化方法，清華大學網絡科學與網絡空間研究院助理教授易鑫不斷思索著……

興趣動力和榜樣力量

“帥氣陽光，又紅又專，德藝雙馨，唱歌好聽……對待科研工作很認真，原則性和規則意識很強……”這是某網站上網友對易鑫的評價。寥寥百字，他的形象躍然眼前。水木清華，鐘靈毓秀。在美麗的清華園中，記者見到了他。作為一名青年學者，他有著年輕人特有的朝氣與活力。從自身經歷講起，易鑫展開了話題……

2009年，易鑫以優異的成績考上了清華大學的計算機科學與技術專業。在他入學后的第一門專業課——“計算機科學導論”的課堂上，易鑫見到了史元春教授，從此和她結下了不解之緣。在史教授的影響之下，他很早投入科研實踐，開始了人機交互方面的研究工作。

難忘那段早年參與實踐的時光，由于實驗涉及的細節非常多，項目組經常熬夜加班，一起討論、一起寫代碼。大四那年夏天，易鑫一直埋頭在實驗室里調程序，忙得連參加畢業聚會的時間都沒有。現在回想起來，易鑫仍感激那段經歷，“人機交互是一個交叉學科的領域，不光牽扯編程、算法等計算機方面的知識，還涉及社會學、心理學等學科的知識”。交叉學科的廣泛涉獵，不僅滿足了易鑫的好奇心，也為他構建了全面的知識架構體系。

不知不覺，易鑫已在史元春團隊待了近十年。在這段時光里，讓易鑫印象最深的便是史老師的認真嚴謹。圍繞研究內容，她會帶領項目組召開無數次會議，每次一討論就是好幾個小時。在研究過程中，史老師會對每一個細節都進行精準把握。即使是在材料編寫時，哪怕只是一個小小的標點符號錯誤，她都會糾正過來。榜樣的力量，牽引著易鑫步步前行。

2021年，易鑫順利成為網絡科學與網絡空間研究院的一名助理教授。除了開展科研工作，他的任務還包括指導學生。“除了科研能力，學生的組織能力、表達能力等也很重要。我希望帶領學生在快樂學習的同時能提高他們的綜合能力，實現全面發展。而史老師就是我教書育人的榜樣!”易鑫說。

解決“胖手指”問題

隨著信息技術的發展，在傳統物理鍵盤之外，觸屏、虛擬現實等新型交互接口不斷出現，在提高了交互自然性的同時，卻顯著降低了交互的性能。如何兼顧交互的自然性和高效性，成為人機交互研究中的難題。而“胖手指”問題就是其中的典型代表。在信息技術領域，“胖手指”這一術語專指由于手指本身的柔軟，以及點擊時對于屏幕顯示內容的遮擋，在觸屏上點擊時往往難以精確控制落點位置的問題。

解決“胖手指”問題是易鑫投入科研以來聚焦的一項重要成果。“多年來，人機界面越來越強調交互的自然性，并隨之出現了觸摸交互界面，以及近年來的體感交互、虛擬現實等三維交互界面。”易鑫介紹道，但這些界面尺寸不一且普遍缺乏觸覺反饋，導致用戶動作中的噪聲相對較大，難以進行交互意圖的準確推理，從而限制了交互輸入的準確度。此前，也有研究者嘗試采用貝葉斯方法解決文本輸入中兼顧交互的自然性和高效性這一難題，但往往僅考慮了落點位置信息，作用有限。在研究中，易鑫及團隊面向多種輸入接口，對點擊模型精度優化（提升計算精度）、面向不確定性輸入映射的計算方法擴展（擴展計算方法）和文本輸入手部動作建模（擴充先驗知識）等方面優化了文本輸入的基本貝葉斯方法，相應的技術也大幅提高了自然文本輸入的交互性能。

針對觸屏軟鍵盤這一文本輸入接口上的“胖手指”難題，易鑫提出了觸屏軟鍵盤上精度優化的點擊模型。實驗結果證明，基于該精度優化的點擊模型的貝葉斯方法能支持用戶在寬度僅為3.5厘米的智能手表全鍵盤上達到與智能手機軟鍵盤相當的、每分鐘35個英文單詞的輸入速度和近100%的準確率。同時，點擊模型的精度優化也能將手機軟鍵盤的文本輸入錯誤率降低23%。

空中文本輸入對于后桌面時代交互（如虛擬現實、移動手機）是一個有潛力和被期待的交互需求。在這方面，雖然“十指盲打”是人們在日常生活中最高效和最習慣的輸入方式，但基于該能力的空中裸手“十指盲打”技術研究，此前尚沒有人取得很好的效果。在相關項目中，易鑫提出了一種使得空中裸手“十指盲打”成為可能的新型技術空中雙手盲打鍵盤（ATK）。結果證明，ATK在輸入速度和準確率方面都超過了已有的空中文本輸入技術，第一次較好地實現了這一已經提出數十年的交互概念。

基于貝葉斯的智能文本輸入技術，易鑫有效解決了移動終端、可穿戴設備等設備上的“胖手指”問題和輸入界面受限問題，數倍提升了文本輸入的效率、準確率與輸入自然性，突破了學界“空中打字”的公開難題，提出了智能手表全鍵盤輸入、智能平板盲式文本輸入等一系列智能文本輸入技術，并實際應用于搜狗輸入法、華為智能手機等商業產品中。相關成果獲得CHI 2017和CHI 2019的最佳論文提名獎。

開展人機系統中的應用安全研究

隨著移動終端、可穿戴設備、物聯網設備等輕量、便攜、多功能的交互設備不斷走進人們的生活，未來社會中的人、機、物關系逐漸超越了現在單一、固定的模式，呈現出越來越強的動態性、多樣性特征。人、機、物已不再是相互獨立的元素，而是共同構成了泛在互聯的三元網絡。“人不再僅僅是需求的發起方，而同時也是網絡的組成部分。”易鑫解釋說。

在人、機、物泛在互聯的三元網絡中，人與機通過人機交互技術進一步融合，依托面向自然交互的意圖推理方法，人們可以擺脫刻意、專用的交互意圖表達行為，通過自然的動作更快地觸發信息服務，甚至可通過腦機接口等新型交互接口，實現“所想即所得”的極致交互體驗。而為了實現這一能力，研究者需要將視野跳出用戶周圍的局部，以更廣泛的“網絡”思維來考慮人的行為和需求，以及來管理人和設備的能力。例如，將智能家居中不同的物聯網設備構成的網絡視為一個整體來滿足人在不同房間中走動時的服務連續性；將人和機器人根據功能和位置進行分工和協作以完成復雜的檢修任務……

易鑫（左三）與同事在Ubicomp國際會議上

為應對這些挑戰，易鑫加入了清華大學網絡科學與網絡空間研究院，通過人機交互、人工智能、應用安全等學科交叉的方式，開展人機系統中的應用安全研究，以期在打通人機交互接口的基礎上，進一步通過多人、多機，以及遠程網絡服務的融合，突破現有人機交互技術在動態、復雜場景下的可用性瓶頸。同時，通過提升交互接口信息魯棒性和隱私性、改進交互技術安全性，實現人在無處不在的信息訪問環境中的應用數據安全，從而為我國龐大的用戶終端產業向下一代的普適計算進化提供有力的支撐。

“未來，人機交互的重點將放到減少用戶操作方面，從以往被動接受用戶操作指令，到主動感知用戶操作需求。”易鑫說，利用人工智能技術可以將人類面部表情、語言、文字、肢體動作、生理信號等轉化為情感數據，橫亙在人腦與電腦之間的“情感”鴻溝正在被跨越。他說：“伴隨著更為便捷、高效的人機交互方式的誕生，伴隨著物聯網、衛星互聯網等新型網絡形態的發展，計算機將會在生產、生活中為人類帶來更多的福祉。”