大模型會產生“標題黨”特征傾向嗎？

內容摘要：標題寫作是生成式人工智能應用于內容生產實踐的重要場景之一。大模型會產生“標題黨”特征傾向嗎？圍繞這一核心問題對國內外兩個具有代表性的大語言模型運用算法審計方法進行實證分析。基于模型對973篇微信公眾號文章進行標題寫作的結果，研究發現，在不增加額外提示的情況下，大模型生成的標題具有一定的“標題黨”特征傾向，其中GPT-4的傾向比ChatGLM3更明顯，但與人類相比，兩個模型的“標題黨”特征傾向均沒有人類明顯。相比嚴肅議題，在非嚴肅議題文章的標題寫作中，模型表現的“標題黨”特征傾向更明顯。提示（prompt）對大模型生成“標題黨”特征傾向具有顯著影響：添加含有“標題黨”傾向的角色、背景和風格信息后，模型的“標題黨”特征傾向均顯著增強；添加限制“標題黨”風格的提示后，“標題黨”特征傾向會相應減弱。

關鍵詞：生成式人工智能；大模型；標題黨；算法審計；計算傳播；智能傳播

課題：國家社科基金人才項目（編號：22VRC186）；中國中文信息學會社會媒體處理專委會（SMP）-智譜 AI大模型交叉學科基金項目（2023）；教育部重點研究基地重大項目（編號：22JJD860004）；復旦大學新聞學院科研創新項目（編號：2023-2024）；上海數學與交叉學科研究院項目（編號：SIMIS-ID-2024-LZ）

DOI：10.3969/j.issn.2095-0330.2024.07.005

生成式人工智能及其技術基礎大語言模型正在快速發展。大語言模型（large language model，LLM）通常指的是在大規模文本數據上進行訓練且包含數百億甚至更多參數的語言模型。\"大語言模型通過生成文本的方式表現出強大的自然語言理解和生成能力，推動了內容生產領域的變革。大語言模型在提升內容生產效率的同時，其可能帶來的問題也開始受到關注。由于模型的訓練數據來自互聯網，模型可能學習到了聳人聽聞（sensationalist）或點擊誘餌（clickbait，中文語境下通常稱為“標題黨”）的內容特點，導致模型在生成內容時存在類似傾向。# 大模型被認為非常適合用于在短時間內制造大量低成本（low-cost）、低質量（low-quality）、高點擊率（high-volume）的“點擊誘餌”。

不過，目前對大模型可能生成“標題黨”的討論主要集中于思辨層面，實證研究還很少，尤其缺乏基于中國本土媒介內容實踐的實證研究。在中文語境下，中外代表性大模型所生成的標題是否以及在多大程度上存在“標題黨”特征元素？如果存在“標題黨”特征元素，那么這種傾向受到哪些因素影響？若在提示語中明確增加“標題黨”要求，會否增強其生成“標題黨”的特征傾向？反之，如果在提示語中增加去除“標題黨”的明確要求，又是否會抑制其“標題黨”傾向？本文采用“算法審計”（algorithm auditing）思路，對大模型的“標題黨”生成傾向展開探索性研究，以推進有關大模型的新聞傳播學實證研究，同時也為大模型在內容生產領域的應用提供參考。

一、“標題黨”的概念、發展及特征元素

根據相關研究考證，中文語境下的“標題黨”一詞最早發源于網絡論壇，指的是以娛樂方式加工標題來吸引點擊量的網絡帖主群體以及與之相關的網絡現象。% 隨著社交媒體和內容平臺的發展，這一概念逐漸擴展到更廣泛的內容生產領域，包括新聞媒體、博客、公眾號、視頻平臺等。《100年漢語新詞新語大辭典》對“標題黨”的定義為：“以標題取得高點擊率的人或者行為。”amp; 比較全面的“標題黨”含義既包括標題未能如實反映正文內容的“題文不符”問題，也包括更為具體的用以誘導點擊的特征元素，后者與英文語境下的“點擊誘餌”（clickbait）概念更為接近。

所謂“點擊誘餌”，是指互聯網上能吸引網民注意力并鼓勵其點擊鏈接訪問特定網頁內容的實踐策略。' 廣義的“點擊誘餌”的形式包含帶鏈接的標題、照片、圖標等。也有的“點擊誘餌”定義聚焦于以標題為中心誘發點擊的一種典型形式——即“標題黨”（英文表達為clickbait headline），它指“作為誘餌的形式化和敘事性的手法，用來激發讀者的期待和好奇心，使他們點擊標題并繼續閱讀”。

盡管“標題黨”概念強調網絡時代的背景，但在報紙等傳統媒體時代，由于標題兼具概括文章內容和吸引讀者兩個功能，）在市場競爭的壓力下，通過特定元素吸引閱讀的“標題黨”現象也存在。隨著互聯網時代的來臨，閱讀環境從紙質切換到網絡，標題吸引力的重要性更加凸顯。從媒介角度看，網絡新聞的超鏈接模式使得標題和正文處于兩個頁面空間中，相對獨立，標題成為讀者選擇是否進一步閱讀文章的關鍵影響因素。* 標題的點擊率是影響文章閱讀，進而影響經濟收益和市場回報的關鍵指標。+ 在媒介界面布局上，網絡媒體，特別是移動互聯網環境下的文章發布以列表式標題呈現為主，文章日漸與其所在媒體相分離，如果其標題本身不能在海量標題中脫穎而出，內容就會被淹沒，無法被打開，更遑論產生影響。隨著數字技術的發展，原來數量有限的機構媒體（PGC）和大量的自媒體（UGC）、機器媒體（AIGC）等均加入內容生產行列，加劇了信息過載現象，帶來更激烈的注意力競爭；加之數據技術（如流量實時監測、A/B測試）和平臺算法（如搜索引擎、社交推薦）的崛起，只有獲得數據支持的標題和內容才能獲得算法和流量的進一步扶持。可以說，數字媒介的可供性導致“標題黨”（“點擊誘餌”）傾向和“點擊文化”（culture of the click）的興起。， 在激烈的注意力與影響力競爭下，“標題黨”已經成為數字新聞和數字內容的普遍特征，在不同地區的新聞媒體和社交媒體中廣泛存在。- 就中國場景而言，“標題黨”現象不僅存在于市場化媒體和自媒體，在官方主流媒體和政務新媒體的內容中也相當普遍。

“標題黨”并不是一個簡單的標題制作業務問題，而關乎新聞業的核心價值與倫理。因為“標題黨”已被證實會吸引、調配與轉移公眾注意力，/在一個注意力競爭的空間中，具有“標題黨”特征傾向的內容可能影響公眾對真正有價值（但并不采用“標題黨”風格）的公共新聞和內容的關注，或者帶來“欲求新聞”（want journalism）壓倒“需求新聞”（need journalism）的風險。“標題黨”特征的運用也可能帶來新聞的真實性問題，進而影響新聞媒體的公信力。0 盡管有研究者指出，“標題黨”在特定情境下也不乏正面意義（如支持和促進地方社區、小眾新聞業的發展），1 但總體上，其問題與風險更多得到研究者的關注與強調。

本研究聚焦于以誘發點擊為目標的“標題黨”特征元素。基于已有文獻，常見的“標題黨”特征元素可分為5大維度：列表、前向引用、夸張聳人表達、網絡用語和情緒化的標點符號。一是列表式標題（listicles）。它指圍繞一個基數（cardinalnumber）組織的標題，其通過數字吸引讀者點擊以查看完整內容，3 如“一夜暴富的10種方法”。二是前向引用（forward-reference）。發布者在標題中暗示正文中將提及的內容，但不提前透露關鍵信息，從而激發讀者好奇心，促使他們點擊并閱讀全文。常見的前向引用的表現形式包含代詞、一般名詞、省略、祈使語氣等。4例如，指代性的一般名詞如“原因”“真相”等指向文章中的關鍵信息，但發布者不在標題中講明；省略（ellipsis）指發布者在標題中省略某些語法上必要的成分，常使用省略號，如“網紅背后的賺錢套路，真相令人咋舌……”；5 祈使語氣指發布者通過祈使方式向讀者提出閱讀全文的行為建議，提示讀者只有在文章中才能找到特定信息。三是夸張聳人表達。夸張表達指對某個特征或行為的強化或強調，發布者通過使用夸張詞匯（hyperbolic word）提升文章的點擊量；6 聳人表達則指采用命令、警示或恐嚇等方式向用戶施加壓力。7 四是網絡用語（internet slang）。發布者在標題中使用網絡俚語、流行語（梗）等吸引讀者點擊。8 五是情緒化的標點符號。發布者使用問號和感嘆號強化標題表達的情緒。9 更具體的操作化說明和示例見表3。

二、大模型生成“標題黨”的特征傾向與影響因素

標題制作是AIGC技術的應用場景之一。在積極應用的同時，大模型可能生成“標題黨”特征元素的隱患也被提出。： 由于模型的訓練數據來自互聯網，模型在訓練過程中有可能學習了互聯網上與“標題黨”相關的內容特點，從而導致在輸出的內容中存在“標題黨”傾向。; 但目前的相關研究主要以思辨為主，實證研究尚不多見，且對中國場景的研究缺乏。另外，不同模型由于算法機制、語料庫的差異，在算法輸出結果上也不盡相同。此前關于大語言模型的新聞寫作風格的研究發現，開源和閉源的大模型在介詞、形容詞、名詞和標點符號的使用頻率上存在顯著差異。lt; 由此，本研究提出如下研究問題：

Q1：大語言模型生成標題是否存在“標題黨”特征傾向？

Q2：不同大語言模型之間的“標題黨”特征傾向是否存在顯著差異？

已有研究關注大模型與人類之間的比較，主要圍繞問答、摘要寫作以及新聞寫作等進行。關于大模型的跨領域問答能力的研究發現，大模型的表達通常更客觀，語言風格更正式，表達的情感較少。=相較而言，人類的表達更主觀，并且會使用一些情緒化的標點符號（比如問號和感嘆號）來表達個人情感。在新聞寫作和跨領域問答兩個任務中，和人類作者相比，大模型的詞匯不夠豐富，人類作者的詞匯使用更具多樣性。gt; 由此，本文提出如下研究問題：

Q3：大模型與人類在寫作標題上，誰更具有“標題黨”特征傾向？

哪些因素影響大模型生成“標題黨”特征元素的傾向程度？本研究聚焦于兩個邏輯：“源頭”邏輯與“提示”邏輯。前者的基本假設是：大模型的“標題黨”特征傾向可能與其正文的文本內容本身的特征有關。已有研究發現，“標題黨”在不同主題的新聞中占比不同，集中在娛樂、體育等非嚴肅議題的“軟新聞”中。？ 大模型的訓練數據來自互聯網，在各種新聞報道和社交媒體數據中，“標題黨”在某些類別（如娛樂和體育）中更普遍，模型在訓練過程中可能學習到類似模式，從而在生成標題時，更有可能會模仿這些數據集中的常見模式，包括“標題黨”特征。由此，本文提出如下研究假設：

H1：相較于嚴肅（硬性）議題文章，大模型在非嚴肅（軟性）議題文章的標題寫作中表現的“標題黨”特征傾向更強。

提示（prompt）是用戶與模型交互時提供給模型的輸入信息，旨在引導模型生成與用戶期望相符的回應。由于提示內容直接影響模型生成的內容，提示的設計對用戶與大語言模型建立有效和有意義的交互至關重要。@ 目前應用比較多的提示框架是奈伊（Nigh）于2023年提出的CRISPE框架，其被證明對ChatGPT回答質量的提升有效。A CRISPE框架主要包括5個部分：能力與角色（capacity and role）、洞察（insight）、陳述（statement）、個性（personality）和實驗（experiment）（見表1）。本文基于CRISPE提示框架，系統分析添加相應提示對大模型生成“標題黨”特征傾向的影響（與僅提出生成標題的基本要求相比較）。

現有研究發現，在提示中被賦予帶有性別偏見的角色，ChatGPT在新聞寫作中表現出更高程度的性別偏見。B 相較于僅包含翻譯指令的提示（“請翻譯下面的句子”），在提示中添加“你是一個機器翻譯系統”的角色信息，提升了ChatGPT的機器翻譯性能。C 基于此，當模型被賦予“標題黨標題寫作專家”的角色，它可能會模仿“標題黨”常用的寫作策略，導致輸出的標題具有更強的“標題黨”特征傾向。由此，本文提出假設：

H2：在提示中添加要求扮演“標題黨”標題寫作專家的角色信息之后，大模型的“標題黨”特征傾向增強。

洞察指模型提供所要執行的任務的背景信息和上下文。在機器翻譯領域，向模型提供被翻譯文本所屬領域的信息，能夠顯著提高ChatGPT的翻譯性能。D 如前文所述，數字時代的“標題黨”現象與追求在線流量和點擊量密切相關。當模型在生成標題時接收到對標題吸引點擊量要求的背景信息，它可能會傾向于在標題中采用“標題黨”的手法。基于此，本文提出假設：

H3：在提示中添加對標題點擊量要求的背景信息之后，大模型的“標題黨”特征傾向增強。

在提示中明確提出對模型輸出內容風格的個性要求，可以引導模型生成符合預期風格的文本。實驗表明，當提示中添加對摘要規范性（formality）的要求時，ChatGPT能夠生成風格更加正式（formal）的摘要。E 可以預測，在標題生成任務中，如果模型接收到“標題黨”風格要求，那么其最終生成的標題可能具有更強的“標題黨”特征傾向。基于此，本文提出假設：

H4：在提示中添加要求輸出“標題黨”標題的風格信息之后，大模型的“標題黨”特征傾向增強。

我們也希望進一步探索，在提示中增加避免生成“標題黨”風格的要求，是否會抑制“標題黨”特征傾向的產生，因此我們提出如下問題：

Q4：在提示中添加限制輸出“標題黨”標題的風格信息之后，大模型的“標題黨”特征傾向是否會減弱？

三、研究設計與方法

本研究采用算法審計（algorithm auditing）的思路檢驗大模型生成標題的“標題黨”特征傾向。算法審計是一種對算法結果偏向進行系統性審查的方法。F 其中，抓取審計（scraping audit）是一種非侵入性的算法審計方式，研究者通過自動化腳本向算法平臺發送請求，并通過算法的響應數據評估算法行為。本研究借鑒這一思路，通過不同提示（prompt）要求大語言模型進行文章標題寫作，基于模型的輸入數據（文章原文）和輸出數據（標題），對模型生成標題的“標題黨”特征傾向及其影響因素進行實證分析。基于“中文通用大語言模型綜合性測評基準”（SuperCLUE）G結果中語言理解與生成能力維度的排名（2023年11月），我們選擇排名前二的兩個代表性大模型——國外OpenAI公司的GPT-4 Turbo（以下簡稱“GPT-4”）和國內智譜公司的ChatGLM3-Turbo（以下簡稱“ChatGLM3”）作為研究對象。

（一）文章抽樣、采集與編碼

在輸入模型的文章數據上，本研究選擇當前移動互聯網時代公眾信息獲取的重要來源——微信公眾平臺進行采集。首先，參考新媒體監測機構新榜2023年10月排名數據，綜合公眾號定位、影響和發布量等因素，本研究篩選出12個具有影響力的新聞性微信公眾號，覆蓋黨報黨臺（“人民日報”“新華社”“央視新聞”）、都市類媒體（“澎湃新聞”“南方都市報”“新京報”）、自媒體（“胡錫進觀察”“遠方青木”“占豪”）和政務新媒體（“中央政法委長安劍”“共青團中央”“上海發布”）4個類別。

采集文章的發布時間范圍選擇在2023年5月1日至2023年10月31日。由于數據爬取以及新榜的排名統計時間為2023年11月，所以截止日期定為2023年10月31日。GPT-4和ChatGLM3兩個模型的訓練數據的最新時間為2023年4月，為了避免數據污染（contamination）問題，本研究將開始日期確定為2023年5月1日。大模型的訓練數據中包含評估數據集中的數據會導致對模型表現的高估（performance overestimation），使得評估結果不準確。H 由于12個公眾號在此期間共推送44，606篇文章，數據量較大，因此我們采用“構造周”方式（constructed week）進行抽樣，I 最終共抽取并抓取下載1，105篇文章樣本。

參考現有研究對主流媒體與政務新媒體的內容主題分類，J 結合中文新聞信息標準化技術委員會制定的最新版國家標準《中文新聞信息分類與代碼》（GB/T 20093-2022），K 本研究將文章分為嚴肅議題和非嚴肅議題兩大類。嚴肅議題主要包含政治、經濟、軍事、政務信息公開等，非嚴肅議題主要包含文體娛樂、健康養生、旅游攻略和心靈雞湯等。由兩位經過訓練的編碼員根據文章內容進行編碼，抽取15%共同編碼，獲得較好的編碼員間信度后（Kappa系數為0.921）分別進行編碼。在1，105篇文章樣本中，嚴肅議題與非嚴肅議題分別占比47.8%和52.2%。

（二）實驗設計與執行

圍繞研究問題和假設，本研究設置5種不同類型的提示，逐一輸入文章并要求模型生成標題（見表2）。考慮到大模型輸出結果的隨機性，參考已有研究，每個輸入執行5次，即每個模型分別生成5個標題。L 由于ChatGLM3模型對于部分政治內容存在審核，最終我們對973篇通過審核的文章標題進行分析。在模型輸出數據層面，本研究使用Python語言設計數據收集程序，調用ChatGLM3和GPT-4的開放接口收集模型輸出的標題數據，由于每個模型對每個輸入均執行5次，實驗共設計5組不同提示的輸入，因此共生成48，650個標題。

（三）標題黨特征傾向的測量

本研究根據生成的標題中出現的“標題黨”特征元素的數量測量其“標題黨”特征傾向，確定0—12的取值范圍。由于在實驗中每個大模型針對同一篇文章共輸出5個標題，因此本研究將5個標題的“標題黨”特征傾向的平均值作為模型在該篇文章的標題寫作中所表現出的“標題黨”特征傾向。本研究從列表、前向引用、夸張聳人表達、網絡用語和情緒化標點符號5大維度對標題中出現的“標題黨”特征元素進行編碼，其定義及示例見表3。

對標題進行“標題黨”特征編碼使用機器和人工結合的方法。在進行編碼前，本研究構建了一個“標題黨”特征詞詞典，詞典數據主要來源于已有研究使用的數據集，M 我們也通過在線新華字典、微信公眾號創作者中心和今日頭條創作者中心等渠道搜集補充。在編碼過程中，首先，本研究基于詞典和標點符號規則對標題進行12個“標題黨”特征編碼。其次，本研究考慮到部分“標題黨”特征僅憑特定詞語或標點符號進行編碼可能不準確，故由人工對這部分特征（包括列表、一般名詞、代詞、省略號）的機器編碼結果進行復核和修正。人工修正由兩位經過訓練的編碼員完成，經過修正的“標題黨”特征的人工編碼信度均達到較高水平（Kappa系數為0.903～0.958）。

四、研究發現

（一）大模型生成“標題黨”的特征傾向：基本情況與模型比較

首先，針對研究問題1，在默認參數和默認提示（不包含“標題黨”傾向信息）的設定下，大模型生成的標題表現出一定的“標題黨”特征傾向，在9，730個生成的標題中，含有“標題黨”特征元素的有4，762個，占比48.94%。在4，762個標題中，每個標題平均含有“標題黨”特征元素1.451個（標準差0.704）。含“標題黨”特征元素最多的標題是ChatGLM3根據文章《〈長安三萬里〉48首詩詞匯總》（央視新聞公眾號，2023年7月17日）生成的標題“《長安三萬里》火了！涉及48首詩詞，你會背幾首？快來復（預）習！”它含有12個“標題黨”特征元素中的6個，涉及感嘆號、問號、列表、指示代詞、行為建議、網絡用語。

大模型生成的標題的“標題黨”特征主要體現在使用感嘆號（占全部9，73 0 個生成標題的3 1 . 0 1 % ） 和夸張表達（ 1 3 . 9 5 % ） 。例如：“ 【揭秘】靈活就業V S 職工社保， 真相竟是這樣！別再信謠言！”（GPT-4生成）；“嘉興驚魂時刻： 警察破門怒懟騙子， 網友直呼解氣！”（C h a t G L M 3 生成）。占比超過5 %的還有問號（8 . 9 2 %）、網絡用語（5 . 9 5 %）（見圖1）。

其次，針對研究問題2，研究發現，不同模型生成的標題的“標題黨”特征傾向存在顯著差異。ChatGLM3生成的4，865個標題中含有“標題黨”特征元素的有2，101個，占比43.19%；GPT-4生成的4，865個標題中含有“標題黨”特征元素的有2，661個，占比54.70%，比例顯著高于ChatGLM3（卡方檢驗x 2=128.979，p lt;0.001）。考慮到每個模型分別對每篇文章生成了5個標題，故本研究進一步計算這些標題含有的“標題黨”特征元素的數量均值，用于代表模型生成的標題的“標題黨”特征傾向。由于兩個模型使用同一文章數據集（N =973）生成標題，生成的標題為配對樣本，且樣本不服從正態分布，因此本研究使用Wilcoxon符號秩檢驗評估不同模型的“標題黨”特征傾向差異。結果顯示，GPT-4的“標題黨”特征傾向的中位數（0.600）顯著高于ChatGLM3（0.400）（z =7.568，p lt;0.001）。

（二）“標題黨”特征傾向的人機比較

在973個人類寫作標題中，含有“標題黨”特征元素的標題有661個，占比為67.93%。在本研究分析的4類公號中，“自媒體”（73.97%）、“ 黨報黨臺” （ 7 3 . 5 2 % ） 和“ 政務新媒體”（72.78%）含有“標題黨”特征元素的標題占比均在70%以上，只有“都市類媒體”公號的比例略低（62.87%）。相較于大模型整體（48.94%）、ChatGLM3（43.19%）以及GPT-4（54.70%），卡方檢驗顯示，人類標題中含有“標題黨”特征元素的占比均顯著更高（x 2分別為127.654、199.222和57.937，p lt;0.001）。人類的“標題黨”特征傾向的平均值為1.098（標準差0.997），中位數為1.000。Wilcoxon符號秩檢驗結果表明，人類的“標題黨”特征傾向顯著高于大模型（p lt;0.001）（見表4）。這一結果在對比不同大模型以及不同類型人類媒體時均保持一致。

圖1展示了不同的“標題黨”特征在人類標題和大模型生成標題中的比例。人類標題的“標題黨”特征主要體現在使用感嘆號（43.88%）、問號（12.85%）、指示代詞（11.20%）、網絡用語（9.35%）、夸張表達（9.25%）等方面。其分布排序與大模型并不完全一致。在12個特征中，10個特征的比例均為人類高于大模型，但在2個特征（夸張表達與強迫表達）上，大模型的比例反而顯著高于人類。

大模型總體上比人類更高頻使用夸張表達（卡方檢驗，x 2=16.690，p lt;0.001），不過差異主要存在于人類與GPT-4之間——后者比人類更高頻使用夸張表達（x 2=50.524，p lt;0.001），人類與ChatGLM3并無顯著差異。例如，人類的標題為“334寢室，全寢直博！秘笈是……”（新華社公眾號，2023年10月22日），GPT-4對該報道生成的標題為“同濟學霸宿舍震驚！四人同寢全直博名校，揭秘成功秘笈”，標題使用了“震驚”“揭秘”等典型的夸張表達。

相較于人類，ChatGLM3和GPT-4均更高頻使用含有強迫點擊意味的表達（x 2分別為13.530和15.555，p lt;0.001）。例如，人類的標題為“用筋膜槍放松后，她突然看不清了！醫生提醒”（南方都市報公眾號，2023年7月17日），ChatGLM3對該報道生成的標題為“警惕！筋膜槍用錯地方，竟導致眼內晶狀體脫位和白內障！”GPT-4生成的標題為“【警惕！】用筋膜槍按眼周引發白內障，醫生這樣說……”兩個大模型均使用了人類標題中沒有使用的“警惕”這一增加點擊強制性和緊迫感的表達。

（三）不同主題的“標題黨”特征傾向差異

為驗證假設1，本研究在默認參數且提示不包含“標題黨”傾向信息的條件下，對973篇文章的大模型生成標題進行了主題比較。其中，嚴肅議題文章的生成標題中，含有“標題黨”特征元素的占39.66%；非嚴肅議題文章的生成標題中，含有“標題黨”特征元素的占56.76%，差異顯著（卡方檢驗，x 2=282.520，p lt;0.001）。進一步的Mann-Whitney U檢驗結果顯示，無論是大模型整體，還是兩個具體模型，嚴肅議題和非嚴肅議題文章的“標題黨”特征傾向均存在顯著差異（p lt;0.001）（見表5）。相較于嚴肅（硬性）議題文章，非嚴肅（軟性）議題文章的大模型生成標題表現出的“標題黨”特征傾向更強。H1成立。

（四）提示對“標題黨”特征傾向的影響

研究發現，當提示添加了含有“標題黨”傾向的背景、角色和風格要求后，大模型生成標題中含有“標題黨”特征元素的比例顯著增加。例如，當在提示中添加關于點擊量的要求后，ChatGLM3生成標題中含有“標題黨”特征元素的比例一下子上升到68.92%，GPT-4的這一比例則高達90.75%；當添加扮演“標題黨”角色的要求后，兩個大模型生成的標題含有“標題黨”特征元素的比例分別上升到93.28%和99.24%；當添加使用“標題黨”風格的要求后，二者更是分別上升到97.82%和99.92%（見表6）。進一步的Wilcoxon符號秩檢驗結果顯示，添加提示后，“標題黨”特征傾向（以中位數衡量）均顯著增強（p lt;0.001）。H2、H3和H4均成立。若就3種不同提示之間的比較而言，Nemenyi檢驗發現，相較于添加點擊量要求的背景信息，添加扮演“標題黨”專家的角色信息和要求輸出“標題黨”標題的風格信息，模型表現出的“標題黨”特征傾向均顯著更強（p lt;0.001）。

相反，對于研究問題4，當提示中添加了限制輸出“標題黨”風格標題的信息后，研究發現，含有“標題黨”特征的標題比例的確相應減少（分別降至23.00%和23.91%），模型的“標題黨”特征傾向（以中位數衡量）也相應顯著減弱（p lt;0.001）（見表7）。上述研究結果在不同模型的不同主題、不同公眾號分類中均保持一致。

以文章《“滬惠保”保單突然被撤單？解釋來了》（“澎湃新聞”公號，2023年10月22日）為例，表8展示了提示中添加信息前后大模型生成標題的前后對比。

五、結論與討論

本研究首次對中文語境下國內外兩個代表性的大語言模型（ChatGLM3和GPT-4）的“標題黨”特征傾向進行實證研究。研究模擬大模型在5種不同設定（提示）下進行微信公眾號文章（N =973）的標題寫作，針對模型生成的48，650條文章標題，實證考察了大模型生成標題的“標題黨”特征傾向、模型比較、人機比較以及影響因素。本研究有如下發現：

第一，在默認參數環境且提示中不添加標題黨傾向信息的情況下，大模型存在一定的“標題黨”特征傾向，所生成的標題中近半（48.94%）包含至少一個“標題黨”特征元素。

第二，不同模型的“標題黨”特征傾向存在顯著差異，國內模型ChatGLM3相較于國外模型GPT-4顯示出更弱的“標題黨”特征傾向，這可能是因為設計者在模型設計過程中采取了減少“標題黨”特征的特定策略，對模型進行了更加適應國內場景的優化。

第三，更值得重視的是，在無特別提示的情況下，大模型沒有表現出比人類更強的“標題黨”特征傾向，反而顯著更弱（67.93%的人類標題均含有“標題黨”特征元素，并且該特征在4個類別的公眾號——包括“黨報黨臺”和“政務新媒體”——中均普遍存在）。這提醒我們兩點。其一，大模型可能語言相對客觀，同時，設計者可能在設計上對“標題黨”特征傾向進行了一定限制。事實上，當我們向模型輸入提示問題“你可以幫助生成標題黨標題嗎？”GPT-4和ChatGLM3的回答均強調了不主動提供和不參與制作“標題黨”的立場。其二，審計大模型可能恰恰為我們提供了寶貴的審視和反思人類自我的機會。當我們對大模型可能帶來的價值觀問題憂心忡忡時，我們不妨首先審視下自己。大模型基于對人類數據的預訓練和學習，其本身是人類社會一面難得的“鏡像”。N人類的公共報道和社交內容中已經充斥著大量訴諸情緒、制造懸念、刺激點擊的“點擊誘餌”，其分布比例高于大模型在默認設置下的生成結果，這對我們是一個重要警醒。

第四，人類與大模型在生成“標題黨”特征元素方面既具有一定的相似性（如感嘆號、問號與網絡用語的比例都較高），也存在明顯的差異，特別是大模型生成“標題黨”特征元素中，夸張表達和強迫表達的比例相比人類均顯著更高。大模型會在標題中添加夸張短語，但常常未能充分考慮上下文語境，可能帶來“題文不符”誘導點擊的信息真實性問題，對新聞媒體的公信力造成潛在負面影響，人類在應用大模型時應注意這一點。

第五，本研究證實了文章主題和提示對大模型生成標題的“標題黨”特征傾向的重要影響。在文章主題方面，相較于嚴肅議題文章，大模型在非嚴肅議題文章的標題寫作中表現出更強的“標題黨”特征傾向，這可能源于模型對訓練數據的分布特點的學習。大模型受到人類提示語的影響非常大，提示框架中的角色、洞察（背景）和個性（風格）3個元素均能顯著影響大模型的“標題黨”特征傾向。其中，哪怕是間接的提示（如流量要求）都能帶來較大的變化，直接的提示（角色和風格）的增強效果則更加顯著。相應地，我們也可以通過限制性的風格提示來約束大模型生成“標題黨”的特征傾向。

綜上，本文所做的主要貢獻在于：第一，本文首次在中文語境中，對大模型是否會生成“標題黨”特征傾向這一事關公共傳播的重要問題進行了實證研究，即便放在全球視野，這也在最早的實證研究之列。第二，本文首次對大模型生成“標題黨”的特征傾向進行跨模型和跨人機的比較研究，尤其是揭示了中外大模型的不同表現，以及人類相對于大模型來說（默認狀態下）更強的“標題黨”特征傾向。第三，本文首次從輸入數據和人機交互兩個角度，提出由“主題”和“提示”兩個因素構成的大模型生成“標題黨”特征傾向的解釋模型，特別是基于CRISPE提示框架，系統分析了角色、背景和風格3個元素提示的影響。本研究因此不但可以推進有關大模型新聞傳播學的實證研究，而且對大模型的應用實踐具有啟示。本文的發現提醒我們，在將生成式人工智能和大模型積極應用于內容生產實踐時，應當高度關注其表現，大模型生成的標題應當經過人類的檢驗與校正，特別要看其是否符合事實、表達嚴謹，不能放任助推“標題黨”的泛濫。人類要認識到過度依賴“標題黨”對當代新聞業的影響，通過行動創造更利于高質量內容可見性的機會，服務公共利益與社會福祉。

由于大模型的發展較快，未來研究可以關注大模型在生成“標題黨”特征傾向方面的長期表現，以及人類價值對齊與反饋等對大模型表現的影響。此外，雖然本文選擇了兩個代表性的大模型進行分析，未來研究可以進一步擴大范圍，納入更多的模型，以深化對本研究提出的問題的理解。

（作者周葆華系復旦大學信息與傳播研究中心研究員，新聞學院教授，全球傳播全媒體研究院、國家發展與智能治理綜合實驗室研究員，計算與智能傳播研究中心負責人；張悅系復旦大學新聞學院2022 級碩士研究生）