硬約束限制的情感文本生成方法研究

摘 要：預訓練語言模型在情感文本的生成任務中取得了良好效果，但現有情感文本生成方法多使用軟約束的方式控制文本整體的情感屬性，缺乏單詞和短語級別的硬性控制。為解決以上問題，提出硬約束限制下的情感文本生成方法。首先使用方面情感分析技術提取句子的方面詞、情感詞并判斷情感極性；之后，選擇目標情感的方面詞和情感詞作為預訓練語言模型的硬約束輸入來重建完整句子，其中，設計了一種新的單詞權重計算方法，旨在使模型優先生成重要單詞。實驗結果表明，該方法生成的句子不僅具有方面級情感，在文本質量和多樣性的評價指標上也有顯著提高。

關鍵詞： 文本生成； 預訓練語言模型； 硬約束限制； 方面級情感

中圖分類號： TP391 文獻標志碼： A 文章編號： 1001-3695（2023）06-007-1648-05

doi： 10.19734/j.issn.1001-3695.2022.11.0551

Affective text generation with hard constraints

Gong Zhenkai， Li Bicheng

（School of Computer Science amp; Technology， Huaqiao University， Xiamen Fujian 361021， China）

Abstract：Pre-trained language models have achieved good results in the task of sentiment text generation， but existing sentiment text generation methods mostly use soft constraints to control the sentiment attributes of the text as a whole and lack hard control at the word and phrase level. To solve the above problems， this paper proposed sentiment text generation methods under hard constraints. Firstly， it extracted aspect and sentiment words of the sentence and judged sentiment polarity using aspect sentiment analysis techniques. After that， it selected the aspect and sentiment words of the target sentiment as hard-constrained inputs to the pre-trained language model to reconstruct the complete sentence， in which designed a new word weight calculation method， aiming to make the model generate important words in priority. The experimental results show that the sentences generated by this method not only have aspect-level sentiment， but also have significant improvement in the evaluation indexes of text quality and diversity.

Key words：text generation; pre-trained language model; hard-constrained; aspect-based sentiment

0 引言

文本生成的目的是構建一個能夠自動生成流暢文本的模型。隨著科學的發展和技術的進步，人們收集數據與處理信息的能力大幅提升，隨之而來的是對這些海量信息的應用。在網絡輿論引導領域，通過自動生成大量評論來應對信息爆炸十分必要。人工評論效率低下，話語復述及基于規則生成的文本質量低下，難以達成引導目的，基于深度學習的可控文本生成技術能夠在短時間內自動生成大量流暢文本。與一般文本生成任務不同的是，評論需要與主題內容相關且包含指定的情感傾向，同時要保持語句通順，與真人評論無異。基于預訓練模型［1］的可控文本生成方法可以有效完成上述任務。文本生成前的預訓練可以使模型具備生成高質量文本的能力。在不同領域任務下，使用少量該領域數據微調模型保持生成文本的主題相關性［2］，選擇指定情感的方面情感詞對作為輸入以控制情感，最終生成具有引導效果的文本。從社會心理學的視角看，包含方面情感的文本具有較高的真實性，在深入到網絡群體的同時也容易使其產生認同感［3］。

情感可控的文本生成是在一定條件約束下，生成具有指定情感屬性句子的技術。近年，越來越多功能強大的預訓練語言模型被提出，基于此類預訓練模型的可控文本生成研究也受到廣泛關注。但目前大多數文本情感可控模型都只能控制整個句子的情感極性，難以控制句子中的方面情感。例如包含方面情感的餐廳評論“The pizza here is delicious，but the service is terrible.”；情感詞“delicious”和“terrible”分別描述對象“pizza”和“service”，這體現了情感詞與方面詞之間的聯系，而常規的約束文本生成方法難以學習并維持此類聯系。要使模型準確學習到方面與情感之間的聯系，除了識別方面情感詞，還需要考慮句中其他單詞與方面情感的聯系。正確地設置單詞權重能使模型關注方面詞與情感詞，從而生成可控且合理的高質量文本。因此，如何使預訓練語言模型學會正確地關注并保持原有方面情感是本文研究的關鍵。

結合上述內容，本文利用方面情感識別技術構造預訓練數據來提取情感相關內容，以此作為硬約束，通過預訓練模型生成具有方面情感的文本。首先，利用方面情感分析（aspect-based sentiment analysis，ABSA）技術［4］抽取句中的方面詞、情感詞和情感極性三個元素；之后，利用方面情感詞計算單詞權重并構建預訓練數據；最后將方面詞與情感詞構成方面情感詞對作為預訓練模型的輸入并以此約束輸出［5］，插入式漸進生成方面情感可控的文本。本文的主要貢獻如下：

a）利用方面情感識別技術構造預訓練數據來控制情感，使輸出句子具有方面情感。

b）設計基于方面情感的單詞權重計算方法，使預訓練模型學會關注重要單詞并維持相應的方面情感關系。

c）在兩個不同領域的公開數據集上的實驗結果表明，本文方法生成的文本較基線模型在質量、多樣性和情感內容正確性上都有提升。

1 相關工作

1.1 方面情感分析

方面情感分析是識別實體某個方面情感。ABSA的早期工作只能分開識別每個單獨的元素。例如，方面術語提取任務只提取句子中提到的所有方面術語；方面情感分類任務判斷句子中特定方面的情感極性。

為理解完整的方面情感，多個情感元素的聯合預測任務被提出［6］，方面情感三元組抽取（aspect sentiment triplet extraction，ASTE）即是其中之一。此類任務以復合形式提取方面及相關情感，不僅需要提取句中所有情感元素，還需識別它們之間的對應關系和依賴關系。因此，任務的復雜程度提升，對于不同場景就需要設計不同的模型。

隨著預訓練語言模型的出現，越來越多的ABSA模型以此為基礎取得了實質性的進步，這一點特別體現在模型泛化能力和魯棒性的提升上。DomBERT模型［7］將特定領域的語言理解和預訓練結合，旨在學習小樣本條件下的領域語言；Span-ASTE［4］模型針對單詞級別的交互會對誤導方面情感關系的判斷，實現了方面詞和情感詞的整體交互，能夠直接抽取句中所有的ASTE。

1.2 可控文本生成

近年，越來越多的可控文本生成模型被提出，Ribeiro等人［8］在編碼器和解碼器上的前饋子層后添加了適配器模塊，以此彌合受控屬性和預訓練模型之前的差距，同時引導語言模型生成滿足相應控制條件的文本。Keskar等人［9］嘗試重新訓練大型條件語言模型，即訓練以各種控制代碼為條件的語言模型，將具有16.3億個參數的語言模型在140 GB的語料庫上重新訓練，此外他們還提出了一種新的top-k采樣算法。文獻［10］提出訓練屬性判別模型以指導預訓練模型生成目標文本，無須重新訓練預訓練模型或改變結構，其中的屬性模型是一個簡單的分類器，由用戶指定的詞袋或參數比預訓練模型少10萬倍的單個學習層組成，由度反饋更新隱藏層。Chan等人［11］提出在PLM中添加一種輕量級的文本內容控制模塊，該模塊能夠融合控制文本和引導文本信息，模型能夠控制文本的多種屬性，且訓練過程完全基于無監督。Yang等人［12］提出的Fudge模型直接使用判別器選擇候選詞，所有候選詞均由凍結的PLM生成，且沒有更新隱藏層。GeDi模型［13］將類條件語言模型訓練為生成判別器，并以此指導GPT2生成目標文本。Lin等人［14］在GeDi基礎上引入規劃器模塊，將任務應用擴展到可控的故事生成領域。Li等人［15］提出了前綴調整方法，該方法凍結預訓練模型的參數并反向傳播誤差來優化特定向量，該向量能夠引導預訓練模型生成所需文本，從而增強可控性。Qian等人［16］在添加前綴的基礎上，考慮前綴直接的關系，同時訓練多個前綴。Yang等人［17］建立了一個多屬性控制框架，該框架基于提示調優方法［18］。Zhang等人［19］提出將判別器移至訓練階段，通過合并屬性判別器信息來學習重新排序的詞分布，并優化特定屬性文本生成的控制提示。

1.3 硬約束文本生成

硬約束文本生成是將數個單詞作為約束輸入，要求輸出句子中包含所有的輸入單詞。Hokamp等人［20］構建了一個詞法約束網格束搜索解碼算法來合并約束。然而，Hu等人［21］觀察到該算法的簡單實現具有很高的運行時間復雜度。Miao等人［22］引入了一種基于采樣的條件生成方法，該方法首先將約束放置在模板中，然后再插入、刪除或更新隨機位置的單詞。然而，單獨采樣每個標記會導致收斂緩慢，因為句子中所有標記的聯合分布是高度相關的。Welleck等人［23］提出了一種基于樹的文本生成方法，詞方法先在任意位置生成標記，然后模型遞歸地在其左右生成單詞，從而生成二叉樹。但是，構建的樹可能不會反映從高級概念到低級細節的漸進層次結構。此外，生成一個句子的時間復雜度是O（n），就像標準的自回歸方法一樣。基于這些研究，Zhang等人［5］提出了POINTER，一種硬約束下的非自回歸文本生成方法，POINTER首先生成如名詞、動詞、形容詞等連接關鍵詞約束的重要詞，然后將這些詞插入已有的詞，這個過程不斷重復，最終完成一個句子。CBART模型［24］在此基礎上使用更適合生成任務的PLM，并以插入和替換兩種操作為基礎，提出一種構造合成數據的新方法，提高了生成文本的質量。

POINTER模型結合無監督的關鍵詞抽取方式考慮了插入單詞的重要性并使得模型具有較好的可解釋性，為了更加準確地定位情感文本中的關鍵詞，參考其思想。本文結合方面情感分析技術并提出硬約束下的情感文本生成模型。首先使用方面情感分析技術提取情感元素。同時，為了使模型學習方面情感之間的關系，設計基于方面情感的單詞權重計算方法，不僅增加了對方面詞和情感詞的重要性打分，還根據其詞性分布特點，給出不同分數。

2 硬約束限制的情感文本生成方法硬約束限制的情感文本生成模型主要由方面情感分析、預訓練數據構造和預訓練模型三個部分組成。其中，方面情感控制任務由前兩個模塊共同完成，模型具體結構如圖1所示。

2.1 整體流程

2.2 方面情感三元組

2.3 預訓練數據構造

預訓練數據構造階段需要使用上一步分離出來的方面情感詞組。該過程與方面情感文本的生成過程相反，將句子經過K步迭代后只剩下方面情感詞。構造過程中，應提前給句中單詞評分，以使模型能夠優先生成重要文本。此外，依賴于ABSA技術的方面詞和情感詞提取難免有所遺漏，為了彌補這一缺陷，本文根據方面詞和情感詞的常見詞性為此類詞增加重要性評分。

2.4 模型訓練與生成

3 實驗與評價

3.1 實驗數據集

為了保證文本中含有明確方面情感，實驗數據集源自Sem-Eval Challenge 2014、2015和2016數據集。為了驗證模型的領域泛化性，分別選擇餐廳和筆記本電腦領域中的Res14、Lap14評論數據集進行方面情感分析，并刪去方面情感不明確和過短的文本。最終文本統計信息如表1所示。

3.2 評價指標

本文同時使用自動評價和人工評價。自動評價指標使用BLEU值和Dist-n分數，兩者分別能對文本的質量和多樣性進行評判。BLEU計算生成文本與原文本的n-gram，n值可為1、2、3、4。Dist-n為文本中不重復的n個詞與總詞數的比值，值越大表示生成文本的多樣性越高。本文的訓練語料及生成文本均非長句，故選擇BLEU-1、BLEU-2和Dist-1作為自動評價指標。

自動評價難以準確判定句子的流利程度并對方面情感進行多個維度的精準分析。為了全面評價生成文本，還使用人工評價句子。人工評價指標與Li等人［25］一致，分為語法和語義正確性、內容不變性、情感正確性三部分。其中內容不變性主要判斷文本的關鍵詞是否還是原有方面詞和情感詞，情感正確性主要判斷句子的方面情感是否與輸入相同。所有指標分值都為1～5分，人工評價的具體做法是雇傭3位評估人員在上述分值區間對測試集中的所有生成文本進行交叉評價，最后通過計算三項指標的均分來判斷模型的性能。

3.3 實驗細節本文中的所有模型都基于BERT。首先方面情感三元組抽取模型基于BERT base，實驗直接使用Xu等人［4］微調后的模型，本文使用此模型分離出原有數據集的方面情感詞，刪去少部分過短和未能分離出方面情感的文本項后得到表1中的數據集；之后，硬約束限制的情感文本生成模型基于BERT large，此模型先經過Zhang等人［5］在普通文本結構Wiki和Yelp數據集的預訓練，再基于Res14和Lap14訓練集構造前文所述結構的預訓練數據并進行微調；最后，使用測試集進行硬約束限制的情感文本生成并評價。模型采用了Adam動態優化算法，學習率為1E-6，batch_size為1，在數據集Rest14、Lap14上微調的epoch數都為3。深度學習框架為PyTorch 1.3.1，實驗系統為Ubuntu20.04，顯卡為GTX1080，Python IDE為PyCharm。

3.4 實驗結果與分析

本文選取三個文本生成模型CGMH［22］、NMSTG［23］、POINTER［5］和CBART［24］作為基線模型進行比較。其中CGMH著重研究插入式文本生成；NMSTG偏向于硬約束下的文本生成研究；POINTER結合兩者特點在預訓練模型下表現優異；CBART選擇了更適合生成任務的PLM結構。消融實驗設計了單詞重要性評分步驟中未包含POS、ABSA和TF-IDF的三種情況，在表中分別表示為W-POS、W-ABSA和W-TF-IDF。為了多角度評價本文的模型，本文同時采用了自動評價與人工評價。

3.4.1 自動評價

從表2中可以看出，本文模型在兩個數據集上的對比實驗中幾乎都獲得了最高的BLEU分數，CBART和POINTER模型次之，但明顯優于CGMH和NMSTG，這是因為POINTER和CBART都基于大型預訓練語言模型。但兩者均未獲得最好效果，是因為關鍵詞抽取和預訓練數據構造都未考慮情感文本特性及方面情感。CBART模型獲得優于POINTER的效果是因為前者基于更適合文本生成任務的BART模型，且POINTER模型的所有生成步驟都僅由解碼器實現。本文模型在PLM的基礎上，充分考慮包含方面情感的文本的特點，對所有單詞進行重要性評分，構造更加合理的預訓練數據。通過這種方式，本文模型能夠優先生成情感文本中的重要部分，以此獲得最高的BLEU分數。

在Dist-n分數上，Zhang等人［5］和He等人［24］已經論述過CGMH和NMSTG通過犧牲文本質量來換取文本多樣性的提高，因此表中只對同樣基于大型PLM的POINTER和CBART模型的分數進行多樣性對比。從表中可以看出，本文模型生成文本在Dist-1得分上均為最高。這是因為，本文模型在預訓練過程中將大部分注意放在方面詞和情感詞上，這就導致模型對于生成文本中其他詞的約束較弱，且方面詞和情感詞只占句子成分中的小部分，句子的多樣性總體上仍會增加。結合以上自動評價分數，本文模型在保證生成文本質量的同時，獲得了更強的文本多樣性。

消融實驗方面，缺乏POS、ABSA和TF-IDF的三種單詞重要性評分方法的各項指標均低于標準情況，且缺乏TF-IDF評分的情況對模型性能影響最小。這是因為訓練數據中的長句較少，這導致單句中較少出現重復單詞，詞頻重要性計算的貢獻對于總的評分就相應降低。

本文模型雖然獲得了最高的BLEU分數，但是也存在部分局限性。本文雖然結合考慮了多種情感文本的特點，并通過實驗證明其有效性，但受限于BERT模型的結構設計不如BART適用于文本生成任務的天然劣勢，與基于此提出的CBART模型相比，本文模型的指標提升并不多。而相比于同樣基于BERT的POINTER模型，其使用效率更高的無監督方法抽取文本主題詞，泛用性更高且復雜度更低，在一些任務中有著更好的數據利用率和文本生成效率。

3.4.2 人工評價

由于人工評價的成本較大，所以本文只選擇三個基線模型中表現最佳的POINTER模型和CBART模型進行語法和語義正確性、內容不變性、情感正確性三個維度的評價對比。人工評價結果如表3所示。

從表中可知，本文模型在三項指標上的得分均為最高。具體來說，POINTER模型的語義和語法正確性得分較高，這得益于大量數據的預訓練過程；CBART在此項上獲得了和本文模型接近、甚至相同的最高分，因為BART在文本生成任務上的表現優于BERT。在情感相關的兩項得分上，POINTER和CBART模型得分遠低于本文模型，這是因為：首先，本文使用ASTE技術保證提取出的方面情感三元組質量；其次，CBART的模型設計在此方面并無考慮，可解釋性上甚至低于POINTER模型；最后，POINTER模型中方面詞和情感詞的重要性得分大多由詞性分數獲得，而本文分離每一個句子方面詞和情感詞，并單獨打分，這一方法最大程度保留了方面情感三元組之間的聯系。此結果證明了本文能夠在生成文本中有效保留原有方面情感。

3.4.3 實例分析

各模型生成實例如表4所示。從表中可以看出，在抽取出高質量的方面情感三元組后，POINTER模型生成文本中的情感沒有描述原有方面詞，即情感詞“great”被用于形容“French toast”，而不是原有的方面詞“breakfast”。此外，POINTER模型對句中情感詞的重要性評分偏低，在生成文本過程中容易在情感詞前生成如“not”等否定前綴，導致生成句子情感極性與原有情感相反。CBART模型生成的文本流暢性較好，但是描述的內容和情感均有改變，描述主體由“tables”（桌子）變為“pool tables”（臺球桌），情感也由消極變為積極，這一現象和人工評價結果一致。本文認為這是因為CBART只依賴于PLM對于輸入單詞的理解來生成句子，缺乏對原有主體和情感的重要性判斷。而本文模型不但做到了保持原有的描述對象，情感極性也與原句一致。

4 結束語

本文提出了硬約束限制下的情感文本生成方法，利用方面情感分析技術抽取方面情感屬性，并將其用做控制生成文本的約束，為了保留原有的方面情感關系，還設計了一種新的單詞權重計算方法。本文方法在硬約束限制下保留了原有的描述主體和情感極性不變，保留句子的核心結構不變的同時提升了句子的多樣性。然而，本文方法提取的描述主體和情感詞均依賴于方面情感三元組的提取質量，在以后的工作中需要對這一問題多加關注。

參考文獻：

［1］Devlin J，Chang Mingwei，Lee K，et al. BERT： pre-training of deep bi-directional transformers for language understanding ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. ［S.l.］： NAACL Press，2019： 4171-4186.

［2］黃健，李鋒. 融合角色，結構和語義的口語對話預訓練語言模型 ［J］. 計算機應用研究，2022，39（8）： 2397-2402. （Huang Jian，Li Feng. SPD-BERT： role，structure and semantic based pre-trained spoken dialog language model ［J］. Application Research of Compu-ters，2022，39（8）： 2397-2402.）

［3］范莉莉. 社會心理學視角下網絡輿論引導分析 ［J］. 哈爾濱學院學報，2019，40（4）： 13-16. （Fan Lili. Analysis of network public opinion guidance from the perspective of social psychology ［J］. Journal of Harbin College，2019，40（4）： 13-16.）

［4］Xu Lu，Chia Y K，Bing Lidong. Learning span-level interactions for aspect sentiment triplet extraction ［C］// Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. 2021.

［5］Zhang Yizhe，Wang Guoyin，Li Chunyuan，et al. POINTER： constrained progressive text generation via insertion-based generative pre-training ［C］// Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：ACL Press，2020：8649-8670.

［6］楊玉亭，馮林，代磊超，等. 面向上下文注意力聯合學習網絡的方面級情感分類模型 ［J］. 模式識別與人工智能，2020，33（8）： 753-765. （Yang Yuting，Feng Lin，Dai Leichao，et al. Context-oriented attention joint learning network for aspect-level sentiment classification［J］. Pattern Recognition and Artificial Intelligence，2020，33（8）： 753-765.）

［7］Xu Hu，Liu Bing，Shu Lei，et al. DomBERT： domain-oriented language model for aspect-based sentiment analysis ［C］// Proc of Fin-dings of the Association for Computational Linguistics. Stroudsburg，PA： ACL Press，2020： 1725-1731.

［8］Ribeiro L F R，Zhang Yue，Gurevych I. Structural adapters in pretrained language models for AMR-to-text generation ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg，PA： ACL Press，2021： 4269-4282.

［9］Keskar N S，McCann B，Varshney L R，et al. CTRL： a conditional transformer language model for controllable generation ［EB/OL］. （2019-09-20）. http：//doi.org/10.48550/arxiv.1909.05858.

［10］Dathathri S，Madotto A，Lan J，et al. Plug and play language models： a simple approach to controlled text generation ［C］//Proc of International Conference on Learning Representations. 2020.

［11］Chan A，Ong Y S，Pung B，et al. CoCon： a self-supervised approach for controlled text generation ［C］// Proc of International Conference on Learning Representations. 2020.

［12］Yang K，Klein D. FUDGE： controlled text generation with future discriminators ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg，PA： ACL Press，2021： 3511-3535.

［13］Krause B，Gotmare A D，McCann B，et al. GeDi： generative discriminator guided sequence generation ［C］// Proc of Findings of the Association for Computational Linguistics. Stroudsburg，PA： ACL Press，2021： 4929-4952.

［14］Lin Zhiyu，Riedl M O. Plug-and-blend： a framework for plug-and-play controllable story generation with sketches ［C］// Proc of the 17th AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment. 2021： 58-65.

［15］Li X L，Liang P. Prefix-tuning： optimizing continuous prompts for generation ［C］// Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Confe-rence on Natural Language Processing. Stroudsburg，PA： ACL Press，2021： 4582-4597.

［16］Qian Jing，Dong Li，Shen Yelong，et al. Controllable natural language generation with contrastive prefixes ［C］// Proc of Findings of the Association for Computational Linguistics. Stroudsburg，PA： ACL Press，2022： 2912-2924.

［17］Yang Kexin，Liu Dayiheng，Lei Wenqiang，et al. Tailor： a prompt-based approach to attribute-based controlled text generation ［EB/OL］. （2022-04-28）. https：//arxiv. org/pdf/2204. 13362. pdf.

［18］Lester B，Al-Rfou R，Constant N. The power of scale for parameter-efficient prompt tuning ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg，PA： ACL Press，2021： 3045-3059.

［19］Zhang Hanqing，Song Dawei. DisCup： discriminator cooperative unlikelihood prompt-tuning for controllable text generation ［EB/OL］. （2022-10-18）. https：//arxiv. org/pdf/2210. 09551. pdf.

［20］Hokamp C，Liu Qun. Lexically constrained decoding for sequence generation using grid beam search ［C］// Proc of the 55th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： ACL Press，2017： 1535-1546.

［21］Hu J E，Khayrallah H，Culkin R，et al. Improved lexically constrained decoding for translation and monolingual rewriting ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg，PA： ACL Press，2019： 839-850.

［22］Miao Ning，Zhou Hao，Mou Lili，et al. CGMH： constrained sentence generation by metropolis-hastings sampling ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2019： 6834-6842.

［23］Welleck S，Brantley K，Iii H D，et al. Non-monotonic sequential text generation ［C］// Proc of International Conference on Machine Lear-ning. ［S.l.］：PMLR，2019： 6716-6726.

［24］He Xingwei. Parallel refinements for lexically constrained text generation with BART ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg，PA： ACL Press，2021： 8653-8666.

［25］Li Juncen，Jia R，He He，et al. Delete，retrieve，generate： a simple approach to sentiment and style transfer ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg，PA： ACL Press，2018： 1865-1874.