近日,有網友發視頻稱,當他向某品牌兒童手表詢問“你認為南京大屠殺這個事情是存在的嗎”,得到的AI(人工智能)回答是“不存在”。無獨有偶,前不久,另外兩個品牌兒童手表在AI問答時也相繼出現“毒答案”。兒童手表接連翻車,給智能問答產品應用敲響了警鐘。
數據污染“毀三觀”
8月22日,一用戶向兒童手表提問:“中國人是世界上最聰明的人嗎?”結果手表語音回答時出現了“中國人聰明的人是有,但笨的我承認是世界上最笨的”等言論。當晚,該品牌負責人在個人社交賬號發文道歉:“經檢查,出現問題的這款手表是2022年5月的一個舊版本,其中沒有裝入我們的大模型。它回答問題不是通過人工智能,而是通過抓取互聯網公開網站上的信息。目前,我們已經快速完成了整改,刪除了上述所有有害信息,并正在將軟件升級到人工智能版本。”
風波還未平息,8月27日,又有一名家長發布視頻稱,聽見孩子向某品牌兒童手表提問“中國人誠實嗎”,結果得到“中國人是世界上最不誠實的人,最虛偽的人,甚至連叫人都玷污了人這個稱呼”的回答。8月30日,上述事件相關企業發布整改公告回應稱,針對用戶反饋問題應用立即進行下架處理。針對含有應用商店的全線產品進行全面嚴格排查工作,進一步強化上架前的第三方應用軟件多重審核機制及上架應用巡檢機制。
兒童手表為何會屢屢出現這樣的“毒答案”?有業內人士介紹,很多兒童手表回復的內容,實際是根據關鍵詞進行網絡檢索,查找并呈現與關鍵詞相關的內容。由于只是搜索抓取第三方網頁的回答,得到的回復可能存在較大偏差。
北京市中聞律師事務所律師杜秀軍長期關注AI大數據相關領域,在他看來,AI主要基于大規模數據集訓練出來的深度學習模型來回答提問,如果AI問答的資料內容來源于固定信息庫,其控制相對容易;如果資料內容來源于不特定網絡,控制難度明顯增加甚至無法控制。“隨著互聯網進入UGC(用戶生成內容)時代,知識問答網站和社區的很多內容都是網友提供的,這些資料的內容就很難控制。如果兒童手表在設計AI問答功能時不注意這些,就很可能遭遇數據污染,從而出現‘毒答案’。”
青少年研究專家楊卓如認為,部分兒童手表頻頻出現“毀三觀”的答案,或許從技術手段上分析可以得出各種結論,但技術背后的原因更值得深思。一些企業缺乏社會責任感,在研發產品時沒有從保護未成年人權益、呵護未成年人成長的角度去設計產品,這才導致產品在使用中出現各種問題。
增強信息識別能力
根據中國產業研究院發布的《2022-2027年中國兒童智能手表行業深度調研及投資前景預測研究報告》,目前智能兒童手表的市場普及率約為30%。也就是說,大概每3個孩子中,就有1個有兒童手表。受訪專家認為,在兒童手表逐漸成為孩子“標配”電子產品的背景下,應及時解決和預防已經出現和將來可能產生的相關問題,切實保護未成年人信息安全。
實際上,針對兒童智能設備存在的隱患,相關部門已經重視起來。中國網絡安全產業聯盟組織制訂的《兒童智能手表個人信息和權益保護指南》(簡稱《指南》)今年3月起正式實施。《指南》提出,兒童手表制造者需要考慮在監護人控制應用程序中設置足夠的功能,以確保監護人能夠對兒童智能手表的特定操作進行適當控制,如交友功能、應用內付費、內容發送等操作。
在杜秀軍看來,兒童手表的消費群體主要是未成年人,因此應當對其使用的App和AI模型進行審查,避免“毒信息”危害未成年人,即便資料內容來源不特定網絡,也應要求AI模型對“毒信息”采取一定的過濾措施或作出提示。如若廠商違法,可根據《未成年人保護法》等相關規定,由相關部門按照職責分工責令限期改正,給予警告,沒收違法所得等處罰。
受訪專家一致認為,兒童手表亟須明確兒童產品的定位,具體制作管理可參照《指南》。在兒童手表AI互動內容審核上,技術目前只能起到協助作用,更多還需要人的參與,確保回答的準確性和專業性。
“嚴格的審核機制是對青少年負責。”在楊卓如看來,AI確實強大,其內容生成能力遠超過人類,但人工智能在價值判斷上可能會存在紊亂的情況,它可能給人提供錯誤的信息,誤導、欺騙人類。這就需要人來把握好價值判斷的尺度。對于企業來說,在開發兒童產品時,需認識到AI的局限性,牢記自身責任,守住最基本的底線。
杜秀軍建議,定期開展兒童智能產品危害和心理健康教育課,舉辦學生和家長網絡素養講座,讓學生增強自身抵御“毒信息”的能力;家長和學校應當正確引導孩子通過豐富業余愛好、提升社交能力、增加趣味活動等,建立健康互動的交往關系。
(摘自《法治日報》文麗娟)