基于自動文本摘要的中文移動簡訊系統

徐濤（惠州學院計算機科學系，惠州 516007）

基于自動文本摘要的中文移動簡訊系統

徐濤
（惠州學院計算機科學系，惠州 516007）

0　引言

如何更加有效地使用移動終端設備瀏覽和查閱網上的海量信息是當前信息科學和移動互聯網領域的研究熱點之一，與傳統的電腦PC平臺相比，手機等移動終端設備帶給人們極為便利的通訊環境［1-4］，因此開發移動終端新聞簡訊服務平臺具有很高的實用和商業價值。

移動終端設備與傳統的電腦上顯示的新聞有所不同：移動終端設備的網速和屏幕大小明顯受限，因此通常無法將新聞的全文顯示，只能考慮將新聞里面次要、重復的內容刪除，僅保留重點內容。如果采用人工手段進行簡化摘要雖然可行，但明顯會造成額外負擔，如果需要發布大量新聞，會極大的影響新聞發布的進度和時效性，因此采用自動文本摘要技術顯得尤為必要。近年來已經出現了一些自動文本摘要技術，針對網頁文檔結構往往組織和結構散亂、包含主題雜亂無章，網頁文檔摘要領域出現了一些較新的自動摘要技術，具有代表性的在iOS上運行的新聞閱讀類應用Summly，采用了自然語義算法，生成的摘要可將原文凝練為不足400詞。

本文設計了一個基于移動終端設備的中文簡訊系統，采用自動文本分析的方式對新聞生成摘要，可以有效降低人工成本、提高新聞發布的時效。

1　移動簡訊系統的運行平臺構建

移動簡訊系統的運行平臺如圖1所示，自動文本摘要服務器從互聯網上對重要的新聞進行數據采集，生成原始新聞文本的數據文件，然后執行文本自動摘要算法，生成文本摘要后轉發給各移動客戶終端。

圖1　移動簡訊系統運行平臺

2　新聞自動摘要處理框架及原理

新聞文本自動摘要的工作原理如圖2所示，通過互聯網對新聞進行采集得到傳統新聞文本數據，然后進行分詞處理得到一組候選詞集合，在候選詞集合中提取特征詞并計算權重，得到一組帶權重的特征詞集合，然后再計算每個句子的權重，得到帶權重的句子集合，最后計算句子相似度，過濾多余語句，選擇權重最高的句子形成新聞摘要。

圖2　新聞文本自動摘要工作流程圖

3　新聞摘要平臺關鍵技術的原理及分析

作為新聞文本摘要來說，特征詞指的是那些最能代表文本主題的詞語，因此選擇一個有效的方法對新聞文本中的特征詞進行選取顯得尤為必要，許多文獻中已經采取各類方法對特征詞提取以實現自動文本摘要［5-8］。一段新聞文本中出現的大量詞匯基本可分為兩類：功能詞和內容詞，其中功能詞不具備實際意義，又可以認為是虛詞，而內容詞則具備實際意義，可認為是實詞。很明顯，一段新聞文本的主要表達內容需要靠實詞來完成，因此在進行特征詞提取時，重點需要考慮去除和過濾虛詞。至于“的、地、得、和、了”這些助詞基本上大量出現在新聞文本中，可將其視為停用詞。本文使用常用的TF-IDF統計方法實現特征詞的權重評估，具體采用的TF-IDF公式如下：

由于在計算句子權重本項目采取的是側重段落首句和側重首段落，但是在新聞報道中首句有可能會是“某某記者報道”、“XX網X月X日訊”、“XX社北京X 月X日電”等不對新聞內容有影響的新聞文體首句，所以在處理時首先將這一類新聞文體首句過濾。在進行新聞摘要是一般不會考慮納入疑問句、感嘆句之類句式。

一般來說，新聞的標題對新聞正文具有極強的的概括作用，甚至而言，某些重大新聞的標題就直接反映了新聞文本的中心思想，因此在進行句子權重計算的如果結合標題的相似性會產生更好的效果，具體做法可讓權重值參考標題和句子相似度進行加權。

在漢語表達的文本中，一個句子的特征基本可以認為具有以下三類：詞特征、語義特征、句法特征。在語句相似度計算時，需要綜合考慮以上的這三類特征，讓它們進行有機的加權組合和互相補充。

漢語文本的句子可分為核心部分和修飾部分，核心部分可認為是那些能夠句子的語義起至關重要的作用，通常表現為主謂賓結構，而修飾部分則表現為次要，通常表現為定狀補結構。由于主謂賓結構中的主語和賓語往往為名詞或代詞，謂語則多為副詞或形容詞，而因此在進行句子相似度計算時，應當對句子中出現的各類詞語進行詞性標注，然后保留關鍵詞，過濾掉非關鍵詞。

4　結語

本文設計了一個基于移動終端設備的中文簡訊系統，使用自動文本摘要技術，該系統所有的新聞原文和摘要的形成均在服務器上執行，然后將摘要后的新聞文本推送到到安裝相應移動端軟件的移動終端設備上。可以滿足各類即時新聞的快捷簡訊發布，節省人力資源，可以推廣到各類企事業單位公共信息傳播平臺使用。

［1］茆意宏.移動信息服務的內涵與模式［J］.情報科學，2012，30（2）：210-215.

［2］茆意宏.面向用戶需求的圖書館移動信息服務［J］.中國圖書館學報，2012，38（1）：76-86.

［3］楊超，陳璐.基于手機短信的訂餐系統設計與開發［J］.計算機工程與設計，2008，29（2）：472-476.

［4］劉慧，張軍.基于Internet的移動短信互通設計方案［J］.計算機工程與應用，2007，43（31）：5-8.

［5］江開忠，李子成，顧君忠.自動文本摘要方法［J］.計算機工程，2008，34（1）：221-223.

［6］馬漢華，邵志清，過弋.基于認知心理學模型的自動文本摘要生成技術［J］.華東理工大學學報（自然科學版），2009，35（6）：886-891.

［7］余永紅，柏文陽.基于特征項權重自動分解的文本聚類［J］.計算機工程，2011，37（11）：25-27.

［8］張虹.基于自動文本分類的關鍵詞抽取算法［J］.計算機工程，2009，35（12）：145-147.

Mobile Newsletters；Mobile Messaging；Mobile Devices；Automatic Text Summarization

A Chinese Mobile SMS System Based on Automatic Text Summarization

XU Tao
（Department of Computer Science，Huizhou University，Huizhou 516007）

1007-1423（2015）30-0003-03

10.3969/j.issn.1007-1423.2015.30.001

徐濤（1974-），男，山東淄博人，副教授，博士學位，研究方向為移動互聯網信息技術和信息安全技術

2015-09-01

2015-09-25

設計一個基于自動文本摘要的中文移動簡訊系統，采用自動文本分析的方式對互聯網上的新聞信息進行加工提煉后生成摘要，然后推送到移動終端設備，可以有效地降低人工成本、提高新聞發布的時效。

移動簡訊；移動短信；移動終端設備；自動文本摘要

2013年惠州市科技計劃項目（No.2013W20）、惠州學院2014年度教研教改項目（No.JG2014011）、惠州市科技計劃項目（No.2013W12）

Presents a Chinese mobile SMS system based on automatic text summarization，generates a summary of news and information which collect from the Internet after refining procedure then push it to the mobile device.Automatic text summarization can effectively reduce labor costs and improve the timeliness of the news release.