東南亞構建本地人工智能的意義

在OpenAI公司于2022年11月公開發布ChatGPT后，其承認這款大型語言模型存在向西方觀點和英語傾斜的狀況。對于東南亞的開發者而言，需要一些能用多種語言為本地區服務的人工智能工具。這可不是一項小任務，因為該區域有超過1200種語言。例如，柬埔寨有近30種語言，泰國有大約70種語言，越南有100多種語言。

不出所料，那些試圖為一個擁有如此多代表性不足的語言的地區建立真正本地化人工智能模型的人，面臨著諸多障礙—從缺乏高質量、大批量的標注數據，到無法獲得從頭開始建立和訓練模型所需的算力。在某些情況下，這些挑戰甚至更為基礎，源于母語使用者數量不足、標準化拼寫體系的缺失或頻繁的電力中斷。

在這些制約因素下，對外國公司創建的既定模型進行微調，是通常做法。2020—2023年諸如PhoBERT（越南語）、IndoBERT（印尼語）和Typhoon（泰語）等東南亞語言模型，都是從谷歌的BERT、Meta的RoBERTa（后來的LLaMA）和法國的Mistral等更大型模型中衍生出來的。

即使是SeaLLM的早期版本—由阿里巴巴達摩研究院發布、針對地區語言進行優化的一套模型，也是基于Meta、Mistral和谷歌的架構構建的。但在2024年，阿里云的Qwen模型打破了這一西方主導態勢，為東南亞提供了一套更廣泛的選項。卡內基國際和平研究院的一項研究就發現，在當年推出的21個地區性模型中，有5個是基于Qwen構建的。

努力實現人工智能本地化，并確保東南亞社區擁有更大自主權，可能會加深開發者對更龐大參與者的依賴，至少在初始階段是如此。不過，東南亞的開發者們也已著手解決這一問題。包括SEA-LION（11種官方地區語言的集合）、PhoGPT（越南語）和MaLLaM（馬來語）在內的多個模型，都是在每個特定語言的大型通用數據集基礎上，從頭開始預訓練的。這一機器學習過程的關鍵步驟，將使這些模型能夠對各類特定任務實施進一步的微調。

盡管SEA-LION繼續依賴谷歌的架構進行預訓練，但它對區域語言數據集的使用，促進了本土模型的開發—比如能用印尼語、巽他語、爪哇語、巴厘語和峇達克語進行交流的Sahabat-AI。后者自詡為“印尼人工智能主權承諾的證明”。

但是，代表本土視角也需要強大的本地知識基礎。如果對語言的政治性、傳統意義建構和歷史動態缺乏了解，我們就無法忠實地呈現東南亞的觀點和價值觀。

比如，許多土著社區都對時間和空間—兩個在現代語境中被廣泛理解為線性的、可分割的、可測量的，以最大限度地提高生產力為目的的概念—有著不同的觀感。巴厘島的歷史文獻打破了傳統的編年模式，在西方或許會被視為神話或傳說，但它們繼續影響著這些社區對世界的認知。

該地區的歷史學家們警告說，用西方的視角來看待當地文本，會增加誤讀土著民眾觀點的風險。從18世紀到19世紀，印尼的殖民管理者經常將他們自己對爪哇編年史的理解，寫入翻譯后的再創作作品中。因此，英國人和歐洲人對東南亞人的許多偏見性觀察，被視為有效的歷史記載，官方文件中的種族分類和刻板印象也被內化。如果人工智能在這些數據的基礎上進行訓練，這些偏見最終可能會進一步變得根深蒂固。

這需要有意識地過濾歷史遺留的偏見，質疑關于我們身份定義的一些假設，并重新發現我們語言中的本土知識庫。如果我們從一開始就幾乎不了解我們的文化，那也就無法通過技術去忠實地凸顯它。