面向生成式人工智能應用的意圖驅動的界面交互范式探索

劉玉磊，馬艷陽

面向生成式人工智能應用的意圖驅動的界面交互范式探索

劉玉磊1，馬艷陽2*

（1.四川師范大學，成都 610101；2.四川農業大學，成都 611130）

對生成式人工智能技術賦能下的界面交互范式進行梳理和探析。以典型的界面范式為切入，包括WIMP范式、Non-WIMP范式、Post-WIMP范式等，分析各類型界面范式的發展、特點和局限，再以生成式人工智能技術帶來的交互新特點為基礎，探討生成式人工智能技術對界面交互范式轉換問題產生的推動、影響和變革。提出了一種面向生成式人工智能應用的、意圖驅動的IDIM范式，包含意圖域、對話流、互動啟示、多模態交互幾個要素。生成式人工智能技術以其強大的生成能力和智能化特性，為交互領域帶來了空前的機遇和挑戰，不僅為界面交互范式帶來了變革，也促使交互設計向更智能、更個性化的多元交互模式轉變。IDIM范式提供了一種新的界面交互范式參考，對完善交互理論、推動生成式人工智能的應用發展具有積極作用。

生成式人工智能；用戶界面；交互范式；范式轉換

2023年《自然》年度十大人物中，作為人工智能聊天機器人的Chatgpt入選，可見生成式人工智能給科學發展和進步帶來的巨大改變。目前生成式人工智能對各類復雜問題都可以給出對應理解，能夠生成復雜的圖形、表格、文本、代碼、視頻等，具備多模態推理能力，其智能化、多模態的數據處理能力及個性化交互的特性正在改變人與機器互動的方式。生成式人工智能呈現的新特征、新模式，將帶來全新的人機交互方式和設計可能性，也正在推動界面交互范式的轉換。

生成式人工智能的相關研究集中在自然語言處理、計算機視覺、音頻處理、混合模態生成等基礎研究領域，以及醫療檢測、化學分析、創意設計等應用領域。在人機交互領域，現有界面交互范式多以用戶需求為導向，通過連續完成任務實現用戶目標，而基于生成式人工智能技術的理解能力和生成能力，中間的任務環節可以被縮短甚至消除。那么，未來人機界面是否可以跳過任務步驟直達意圖結果，在意圖驅動的交互過程中界面范式將如何演變，這些問題亟需探討。生成式人工智能的崛起標志著人機交互領域的一次革命性變革，探索一種面向生成式人工智能應用的界面交互范式，是對生成式人工智能技術應用領域的擴展和對人機交互理論的完善。

1 界面范式

1.1 范式的起源

1962年，美國科學哲學家托馬斯·庫恩在書中首次提出“范式”（Paragigm）的概念和相關理論[1-2]。庫恩認為“范式”是指在某個學科內從事科學研究的一套公認模式，包括世界觀、定理、規則、方法、行為標準、應用等。庫恩還提出“范式轉移”（Paradigm Shift）的概念，認為學科的變革伴隨著“范式”的轉變，“范式轉移”為學科發展提供了新的可能性。

人機交互領域認為“范式”是指在設計和研究交互系統時所采用的基本模式、方式或者框架。這些“范式”為交互設計提供指導，幫助設計者理解用戶需求、優化用戶體驗，以及實現有效的信息交流，助力開發新的計算設備和界面，以改進人們與現有技術的交互方式。因此，該領域的“范式”主要用來指代“界面范式”，“界面范式”一般是指用戶界面的設計模型或模式。

1.2 類型和發展

用戶界面經歷了批處理界面、命令行界面和圖形用戶界面三個主要階段。在計算機誕生時期，1945年左右，計算機以批處理（Batch Processing）的方式工作，幾乎沒有用戶界面，不涉及用戶和計算機之間的任何交互。1964年左右，出現了命令行界面CLI（Command Line Interface），用戶通過鍵入命令來與計算機進行交互，因用戶需要記住復雜的命令和參數，對非專業用戶不夠友好，交互效率有限。

圖形用戶界面GUI（Graphical User Interface）在20世紀80年代中期開始廣泛應用，采用WIMP范式作為典型范式。WIMP通過窗口（Windows）、圖標（Icons）、菜單（Menus）和點選設備（Pointing Device）四大互動元件實現圖形化交互[3]。WIMP范式是圖形用戶界面最早的經典范式，Windows系統、MacOS系統和許多應用程序都有使用。

由于計算機技術和設備環境的發展，傳統WIMP界面范式顯露出局限性，例如：操作方式過度依賴鼠標和鍵盤、交互感知通道有限、二維的桌面隱喻不適用于三維虛擬場景等。20世紀90年代，一些學者陸續提出Non-wimp范式[4]和 Post-wimp范式[5]，力圖提供更自然的交互方式，滿足新場景的需要。Post-wimp相關界面范式類型較多，例如：Jacob等[6]提出現實隱喻的RBI（Reality-based Interaction）界面范式；石磊等[7-8]提出筆式交互系統的PGIS（Paper、Gadget、Icon、Sketch）；董士海等[9]提出面向多通道模型的VIR（Virtual Information Room）界面范式；張小龍等[10]提出面向智能系統的RMCP（Role、Modal、Command、Presentation Style）界面范式；王慧等[11]提出基于化身交互隱喻的ASLI（Avatar、Scenario,、Language、Instrument）界面范式；秦貴和等[12]提出LWHP（Layer、Widget、Hierarchical Menu、Pressure+Gesture）多媒體終端上新型壓力交互范式；還有腦機接口BCI（Brain-Computer Interfaces）[13]、運動追蹤和身體感知等Post-wimp范式的研究。

硬件設備和軟件技術的發展，不斷推動著界面范式的轉換和升級，朝著自然、智能的方向發展，見表1。相關研究集中在觸控交互、語音交互、多通道交互、腦-機交互、其他傳感器類交互等領域，自然用戶界面NUI（Nature User Interface）成為圖形用戶界面GUI之后的新方向，對應的界面范式研究也成為重要課題，見圖1。

2 生成式人工智能技術推動界面范式的轉換

2.1 意圖驅動結果的界面范式

生成式人工智能（Generative Artificial Intelligence）是一種人工智能算法，能夠通過機器學習自主地生成具有意義和邏輯性的新數據，包括文本、圖像、音頻、視頻、代碼等各種類型內容。以ChatGPT（2022年）、Midjourney（2022年）、Stable Diffusion（2022年）、Google Gemini（2023年）、文心一言（2023年）等為代表的生成式人工智能應用發展迅速，其成為一種新的設計要素，對設計范式的轉變起到較大推動作用。

微軟發布的關于GPT-4的研究報告[14]中驗證了GPT-4的諸多能力，包括：多模態與跨學科組合的能力、視覺能力、空間理解力、音樂能力、代碼能力、數學能力、與人類交互的能力等，整體上表現出較高的智能水平。在微軟發布的關于新模型GPT- 4V(ision)[15]的研究報告中，GPT-4V(ision)在視覺理解、多模態知識、時間推理、抽象推理、情感理解等很多實驗領域都表現出人類水平。諸多學者從不同領域研究了生成式人工智能的能力，例如：創新教育[16-17]、藥物研發[18]、員工效率[19]、藝術創作[20-21]、新聞媒體[22]等。

表1 范式類型對比

Tab.1 Comparison of paradigm types

圖1 界面范式的發展

傳統界面設計中，用戶與計算機之間的交互多通過固定的指令、按鈕和菜單來實現，用戶需要按照預設的規則進行操作，而生成式人工智能賦予了計算機更強大的理解和推理能力。計算機可以快速響應用戶的意圖、實現任務目標。生成式人工智能技術的崛起正在驅動著界面范式向更加智能、個性化和適應性的方向轉變。

針對生成式人工智能技術，人機交互專家雅各布·尼爾森（Jakob Nielsen）[23]指出人工智能正催生一個新的用戶界面范式。在新的人工智能系統中，用戶不再需要告訴計算機做什么、怎么做，而是直接告訴計算機他們想要的結果。尼爾森將生成式人工智能帶來的新界面范式定義為基于意圖的結果規范（Intent- Based Outcome Specification，IBOS），它側重于定義用戶與系統交互的預期結果，而不是關注實現該結果所需的具體步驟或操作。人機交互專家馬修·特克（Matthew Turk）[24]曾指出多模態交互的目標是通過技術、交互方法和界面，消除人機交互中存在的約束，朝著充分利用人類自然的交流、互動能力的方向發展。生成式人工智能技術在一定程度上消除了用戶在與機器交互過程中繁瑣的操作步驟，實現了更自然的交互。

2.2 生成式人工智能技術下的交互新特點

以大算力為基礎，大數據、大模型驅動的生成式人工智能技術在自然語言處理、計算機視覺、語音處理等方面表現突出，具有高適應性、強學習能力、高計算能力、大語料庫等特點，通過將生成式人工智能引入界面交互設計中，可以在個性化、智能化、適應性等方面對用戶體驗進行賦能。相比于以往的智能交互體驗，生成式人工智能技術背景下的交互體驗也將呈現出如圖2所示的新特點。

圖2 生成式人工智能交互體驗新特點

1）自適應個性化交互：生成式人工智能基于海量數據進行訓練，大模型自身具備強大的知識庫，可以根據用戶的輸入了解其喜好、習慣和相關情況，實現個性化輸出。同時，生成式人工智能可以持續學習用戶的特定需求和偏好，不斷優化輸出，實現對用戶意圖的理解并提供符合用戶期望的體驗。

2）長距離上下文感知：生成式人工智能技術具備長距離感知理解上下文的能力，解決了早期語言模型無法捕捉長距離語義關系的問題，因此可以生成更連貫的文本信息。例如，在應用場景中，生成式人工智能可以與用戶進行長時間的復雜對話，即使中斷一段時間，也可以無縫銜接地繼續交流，而不需要重復之前的對話背景。

3）多模態自動生成：利用生成式人工智能技術，可以實現多模態輸入和輸出。在多模態內容生成中，不同的感知模態可以相互補充，以提供更豐富的體驗。例如，一個多模態生成系統可以接受一段文本描述和一個圖像作為輸入，然后生成與之相匹配的語音解說。

4）開放域交互場景：開放域對話是自然語言處理的一個目標[25]。生成式人工智能有賴于大模型的能力，可以基本實現開放域任務要求，即能夠自適應各種任務場景、處理不受限制的輸入，并提供對應合理的輸出。開放域交互避免了場景選擇、規則定義等約束，可以提供更自然、更直接的用戶體驗。

5）實時性和流暢性：生成式人工智能技術可以實時分析用戶輸入，并迅速提供對應的輸出。這種實時性和流暢性可以增強用戶的沉浸感和參與感，以提升交互體驗效果。

3 面向生成式人工智能應用的意圖驅動的界面交互范式

3.1 提出IDIM界面范式

界面范式依托于設備、技術和場景，服務于用戶目標（如圖3所示），通過前文對各類界面范式的分析，可以總結出界面范式的基本構成一般包含：信息空間、交互對象、操作方式幾個方面，不同范式類型對應的具體要素形式有所不同。例如典型的WIMP范式，以窗口（Windows）作為信息空間；以圖標（Icons）、菜單（Menus）作為交互對象；以點選設備（Pointing device）作為操作方式。在任務驅動的場景中，需要通過完成系列命令集得到執行結果。在WIMP范式中，窗口用于信息承載和多任務管理；圖標和菜單用于命令集的歸類；點選設備用于手動觸發下一步操作。四要素的結合可以有效構成交互界面。基于WIMP范式構成要素的分析，再結合前文對生成式人工智能技術特點的分析，使用對比分析法和場景轉譯的方法，對面向生成式人工智能應用的界面范式進行推演。

圖3 用戶和交互界面關系圖

在意圖驅動的生成式人工智能的應用場景中，任務的概念將被弱化，用戶可以更快速有效地直達目標。因此，信息不必固化在某個窗口中，不需要多窗口進行多任務管理，而只需要一個承載意圖的開放式信息空間。同時，用于歸類命令集的圖標、菜單也成為非必要的交互對象，預設的命令集將升級為自然的對話流，再配合互動啟示進行補償和校準，進而完成意圖理解。在交互方式層面，不再單純依賴點選設備進行操作，而是采用多模態內容的輸入和輸出。

通過以上分析，作者提出一種意圖驅動的、面向生成式人工智能應用的新型界面交互范式IDIM。IDIM范式包含意圖域（Intent Domain）、對話流（Dialogue Flow）、互動啟示（Interactive Inspiration）、多模態交互（Multimodal Interaction）四大要素。相比于傳統的WIMP范式，IDIM范式更適用于生成式人工智能的應用場景，見圖4。

圖4 WIMP范式和IDIM范式對比

3.1.1 意圖域

指用戶在生成式人工智能系統中的開放式交流空間，系統通過自然語言處理和深度學習等技術，智能地分析和理解用戶輸入的文本、語音或圖像等，以確定用戶的意圖和需求。相比于WIMP范式中的窗口（Windows），意圖域的開放性和智能性更高，不僅是一個靜態的信息承載容器，更是一個“能掐會算”的智囊庫，涵蓋語義理解、上下文分析、自適應推理等功能。意圖域作為生成式人工智能系統界面交互的核心要素，不僅能夠解讀用戶的輸入，理解其中的意圖，還可以將其映射到相應的功能領域或操作，從而為用戶提供有針對性的響應和交互，見圖5。

圖5 意圖域示意

3.1.2 對話流

是用戶和生成式人工智能系統之間的信息交流，指系統根據用戶的意圖和上下文，構建起一種有序、連貫的交流模式，以確保交互的流暢性和任務目標的達成。相比于WIMP范式中的圖標（Icon），意圖驅動的界面范式中不需要預置功能項供選擇，而是需要構建一種自然的、具有連貫性的交流模式，以引導用戶向著實現目標的方向前進。這需要系統在對話中能夠靈活地根據用戶的回應和意圖，自主地選擇適當的問詢和回應方式，從而保持對話的連貫性。這里提到的“對話”不一定是單純的文字對話，也可以是圖片、語音、視頻等。

對話流可以用“河流”做隱喻，用戶的每句話像是水流，系統像是河道，引導用戶的話語從起點流向終點。對話流有賴于生成式人工智能的長距離上下文感知能力，以使交流保持順暢性和連貫性，從而實現自然、友好、個性化的用戶體驗，見圖6。

圖6 對話流示意

3.1.3 互動啟示

指生成式人工智能系統中的交互反饋和智能引導。界面可以根據用戶的意圖輸入提供適當的操作引導、提示或信息。相比于WIMP范式中的菜單（Menu），互動啟示不一定給出明確的操作選擇，而更多的是激發用戶思考、行動或參與更深入的交互。另外，互動啟示可以是雙向的，一方面是界面引導用戶進行特定操作；另一方面在用戶給出互動反饋后，系統可以根據用戶的反饋調整并適應其的偏好，提供更準確的界面輸出。例如，Midjourney在生成圖片后會提供四個放大按鈕（Upscale）、四個變體按鈕（Variation）和一個刷新按鈕以引導用戶進行下一步的操作；ChatGPT在給出的每一條回答旁邊都有贊和踩兩個按鈕，以幫助改進ChatGPT的回答質量和推薦更符合用戶需求的答案，見圖7。

圖7 互動啟示示意

交互的目標是自然、透明，引導并不是最優方式，但在現階段基于意圖的開放域界面中，提供適當的互動啟示可以提高交互效率和用戶滿意度，也是該范式的要素之一。

3.1.4 多模態交互

指系統能夠理解和產生多種模態的輸入和輸出。不同類型的信息可以整合在一個界面中展示給用戶，為用戶提供豐富多樣的界面交互。多模態內容包括但不限于文本、圖像、語音、視頻等，并且可以實現跨模態應用。例如：用戶使用生成式人工智能應用輸入一句話，即可生成一張與文字相匹配的圖片；或者輸入一張圖片，生成式人工智能應用會反向生成其描述文本，以用來生成類似圖片。

多模態和跨模態應用顛覆了傳統的單模態互動方式，相比傳統WIMP范式，IDIM范式從面向步驟和過程轉為面向意圖和結果，帶來更智能和豐富的用戶體驗。

3.2 IDIM范式的設計應用

接下來通過使用IDIM范式設計一款流動注射分析儀的軟件系統來說明IDIM范式的應用情況。流動注射分析儀是一種高精度的化學分析儀器，廣泛應用于環境監測、藥物分析、食品安全等領域。一般包含硬件主體、硬件端軟件、電腦端獨立軟件系統三部分（如圖8所示），此處重點圍繞獨立軟件系統展開。

3.2.1 流動注射分析儀軟件系統分析

流動注射分析儀軟件的主要功能需求是檢測和量化，其余功能為輔助，用以提高這兩個功能模塊的使用效率與工作效率，見圖9。流動注射分析儀一般包含多個設備，每個設備又包含多個通道，各通道進行獨立測量和獨立數據處理。開始測量前，需要對各通道進行序列、方法、參數等設置，所有模塊配置完成后可開始測量。測量過程中可查閱實時數據。測量完成后再進行數據分析和處理。整個交互流程中，在現有WIMP界面范式下，界面結構層級和任務模塊較多，用戶需要按照既定路徑通過鼠標鍵盤進行圖標點擊、按鈕點擊、配置信息輸入等精準操作才可以完成配置，對專業知識儲備要求高，操作步驟較多，見圖10。

3.2.2 IDIM范式在流動注射分析儀交互設計中的應用

通過引入生成式人工智能技術，結合文章提出的IDIM范式，優化軟件交互流程。在IDIM范式下，依托生成式人工智能的知識模型能力和自適應能力，可以根據各通道特征進行自動化配置，提供智能化、個性化、自然化的交互體驗，設計要點包含以下幾個方面。

1）著眼于用戶的操作目標，為用戶提供意圖輸入和感知的空間。在流動注射分析儀軟件的設計中，通過生成式人工智能識別用戶需要的使用場景和需求來進行信息和操作的呈現，不再限定于既定的層級結構。避免界面出現復雜元素和過多層次的信息，以簡單自然的交互形式為主。例如，用戶通過自然語言輸入當次實驗目標，軟件自行匹配合適的配置和操作路徑，幫用戶快速設定好實驗步驟和自動化任務。

2）通過自然的對話過程設計，讓用戶能夠高效交流，不受操作指令和對話規則的限制。結合生成式人工智能的機器學習能力和長距離上下文感知能力，流動注射分析儀軟件可以快速進行任務理解和執行。例如，用戶第一天做了多種樣品的檢測，第二天需要重復第一天的實驗，則直接輸入“重復昨天的實驗任務”，即可再次進行相同選擇和配置的實驗任務。

3）通過互動啟示的設計，讓用戶進行實時反饋，幫助軟件不斷改進和優化模型，提供更符合用戶預期的體驗。例如，軟件根據用戶的自然語言輸入并進行實驗配置后，其可以點擊贊同或反對當前配置，以此增加用戶的參與感并提升智能化配置的有效性。設計形式可采用文字按鈕、圖形按鈕、表情反饋、手勢反饋等。

圖8 流動注射分析儀主體構成[26]

圖9 流動注射分析儀軟件系統功能需求分析

圖10 流動注射分析儀軟件主要操作流程

4）在流動注射分析儀設計中，參數配置、設備狀態提示、曲線擬合、譜圖分析等模塊采用多模態交互。基于生成式人工智能的多模態能力，軟件支持多模態的內容輸入和輸出，以適應不同用戶的感知和操作習慣。例如，輸入方式除了自然語言文字外，還支持語音、圖像等的輸入，在信息輸出上同時支持文字、圖形、語音等多種類型。

4 結語

生成式人工智能技術為界面交互范式帶來新的可能性，同時推動著界面范式進行變革轉換。文章探討了生成式人工智能技術對界面交互范式的影響，提出了意圖驅動的IDIM范式。科學儀器分析系統專業性和操作復雜度較高，文章通過IDIM范式在流動注射分析儀軟件系統中的應用分析，提供了可供參考的設計提升路徑，使用戶能夠以更自然、智能的方式與系統進行交互，提高系統效率和使用體驗。整體上，IDIM范式在信息空間、交互對象、操作方式等方面提供了新的范式思路，在實際應用中可根據技術背景、交互設備、使用場景等進行適應性調整。

[1] KUHN T S. The Structure of Scientific Revolutions[M]. Chicago: University of Chicago Press, 1962.

[2] 庫恩 T S. 科學革命的結構[M]. 金吾倫, 胡新和, 譯, 北京: 北京大學出版社, 2004. KUHN T S. The Structure of Scientific Revolutions[M]. JIN W L, HU X H, translated. Beijing: Peking University Press, 2004.

[3] NIELSEN J. Noncommand User Interfaces[J]. Commun ACM, 1993, 36: 83–99.

[4] GREEN M, JACOB R. SIGGRAPH'90 Workshop Report: Software Architectures and Metaphors for Non-wimp User Interfaces[J]. ACM SIGGRAPH Computer Graphics, 1991, 25(3): 229-235.

[5] VAN DAM A. Post-wimp User Interfaces[J]. Communications of the ACM, 1997, 40(2): 63-67.

[6] JACOB R J K, GIROUARD A, HIRSHFIELD L M, et al. Reality-based Interaction: A Framework for Post- wimp Interfaces[C]// In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press , 2008: 201-210.

[7] 石磊, 鄧昌智, 戴國忠. 一種Post-WIMP界面:PGIS的實現[J]. 中國圖象圖形學報, 2010, 15(7): 985-992. SHI L, DENG C Z, DAI G Z. Implementation of PGIS: A Type of Post-wimp User Interface[J]. J Image Graph, 2010, 15: 985-992.

[8] 戴國忠, 田豐. 筆式用戶界面[M]. 合肥: 中國科學技術大學出版社, 2014. DAI G Z, TIAN F. Pen-based User Interface[M]. Hefei: University of Science and Technology of China Press, 2014.

[9] 董士海, 陳敏, 羅軍, 等. 多通道用戶界面的模型、方法及實例[J]. 北京大學學報(自然科學版), 1998, 34(2-3): 231–239. DONG S H, CHEN M, LUO J, et al. The Model, Method and Instance of Multimodal User Interface[J]. Acta Sci Nat Univ Pekinensis, 1998, 34(2-3): 231–239.

[10] 張小龍, 呂菲, 程時偉. 智能時代的人機交互范式[J]. 中國科學: 信息科學, 2018, 48(4): 406-418. ZHANG X L, LYU F, CHENG S W. The Paradigm of Human-computer Interaction in the Era of Intelligence[J]. SCIENTIA SINICA Informationis, 2018, 48(4): 406-418.

[11] 王慧, 姚乃明, 董健, 等. 基于Bots的人機交互界面范式[J]. 中國科學: 信息科學, 2018, 48(4): 475-484. WANG H, YAO N M, DONG J, et al. Bots Based Human-computer Interaction Interface Paradigm[J]. SCIENTIA SINICA Informationis, 2018, 48(4):475-484.

[12] 秦貴和, 王曼瑩, 孫銘會. 多媒體終端上新型壓力交互范式研究[J]. 吉林大學學報(工學版), 2023(11): 3186-3193. QIN G H, WANG M Y, SUN M H. Research on New Pressure Interaction Paradigm on Multimedia Terminals[J]. Journal of Jilin University, 2023(11): 3186- 3193.

[13] AGGARWAL S, CHUGH N. Review of Machine Learning Techniques for EEG Based Brain Computer Interface[J]. Archives of Computational Methods in Engineering, 2022, 15: 1-20.

[14] BUBECK S, CHANDRASEKARAN V, ELDAN R, et al. Sparks of Artificial General Intelligence: Early Experiments With GPT-4[EB/OL]. (2023-03-22)[2023-08- 20]. https://doi.org/10.48550/arXiv.2303.12712.

[15] YANG Z, LI L, LIN K, et al. The Dawn of lmms: Preliminary Explorations with GPT-4V (ision)[EB/OL]. (2023-08-29)[2023-09-01]. https://doi.org/10.48550/arXiv. 2309.17421.

[16] BAIDOO-ANU D, ANSAH L O. Education in the Era of Generative Artificial Intelligence(AI): Understanding the Potential Benefits of ChatGPT in Promoting Teaching and Learning[J]. Journal of AI, 2023, 7(1): 52-62.

[17] QADIR J. Engineering Education in the Era of ChatGPT: Promise and Pitfalls of Generative AI for Education[J]. In 2023 IEEE Global Engineering Education Conference (EDUCON), 2023, 5(1): 1-9.

[18] WALTERS W P, MURCKO M. Assessing the Impact of Generative AI on Medicinal Chemistry[J]. Nature Biotechnology. 2020, 38(2): 143-5.

[19] BRYNJOLFSSON E, LI D, RAYMOND L R. Generative AI at Work[EB/OL]. (2023-04-23)[2023-08-20]. https://doi.org/10.48550/arXiv.2304.11771.

[20] EPSTEIN Z, HERTZMANN A, AKTEN M, et al. Investigators of Human Creativity[J]. Art and the Science of Generative AI. Science. 2023, 380(6650): 1110-1111.

[21] GOZALO-BRIZUELA R, GARRIDO-MERCHAN E C. ChatGPT is not All You Need. A State of the Art Review of Large Generative AI Models[EB/OL]. (2023-01-11) [2023-08-20]. https://doi.org/10.48550/arXiv.2301.04655.

[22] PAVLIK J V. Collaborating with ChatGPT: Considering the Implications of Generative Artificial Intelligence for Journalism and Media Education[J]. Journalism & Mass Communication Educator, 2023, 78(1): 84-93.

[23] NIELSEN J. AI is First New UI Paradigm in 60 Years[EB/OL]. (2023-05-19)[2023-06-20]. https://www. uxtigers.com/post/ai-new-ui-paradigm.

[24] TURK M. Multimodal Interaction: A Review[J]. Pattern Recognition Letters, 2014, 36:189-95.

[25] GAO J, GALLY M, LI L. Neural Approaches to Conversational AI[J]. Foundations and Trends in Information Retrieval, 2019, 13(2-3): 127-298.

[26] 寶德儀器. BDFIA-8600/C全自動流動注射分析儀[EB/OL]. (2021-01-11)[2023-07-20]. https://www.bjbaode. com/product1/304.html. Baode Instrument. BDFIA-8600/C Automatic Flow Injection Analyzer[EB/OL](2021-01-11)[2023-07-20]. https:// www.bjbaode.com/product1/304.html.

Intent-driven Interface Interaction Paradigm under Generative Artificial Intelligence Technology

LIU Yulei1, MA Yanyang2*

(1. Sichuan Normal University, Chengdu 610101, China; 2. Sichuan Agricultural University, Chengdu 611130, China)

The work aims to sort out and analyze the interface interaction paradigm empowered by generative artificial intelligence technology. Starting from typical interface paradigms, including WIMP paradigm, Non-WIMP paradigm, Post-WIMP paradigm, etc., the development, characteristics and limitations of various types of interface paradigms were analyzed, and then based on the new interactive characteristics brought by generative artificial intelligence technology, the promotion, impact and changes of generative artificial intelligence technology on the paradigm shift of interface interaction were explored. One kind of intent-driven IDIM paradigm for generative artificial intelligence applications was proposed, which included several elements: Intent Domain, Dialogue Flow, Interactive Inspiration, and Multimodal Interaction. Generative artificial intelligence technology, with its powerful generation ability and intelligent characteristics, has brought unprecedented opportunities and challenges to the field of interaction. It has not only brought changes to the interface interaction paradigm, but also promoted the transformation of interaction design to a more intelligent and personalized multi-interaction mode. The IDIM paradigm provides a new interface interaction paradigm reference, which plays a positive role in improving interaction theory and promoting the application development of generative artificial intelligence.

generative artificial intelligence; user interface; interaction paradigm; paradigm shift

TB472

A

1001-3563(2024)04-0058-09

10.19554/j.cnki.1001-3563.2024.04.006

2023-09-05

教育部人文社科青年基金項目（23YJC760078）；四川省高校哲學社會科學重點研究基地工業設計產業研究中心課題（GYSJ2022-03）；四川師范大學校級實驗設備科研項目（SYJS2021027）；四川師范大學校級自然科學類科研基金項目（xj2022122413）