
2024年,全球手機市場迎來反彈。市場調研機構Counterpoint的最新報告,2024年全球智能手機銷量同比增長4%。國際數據公司(IDC)預測,2025年中國智能手機市場出貨量將達到2.89億,同比增長1.6%。
市場復蘇之際,AI被手機廠商視為前往下一個時代的船票,紛紛在各自最新的產品中部署大模型,競逐AI賽道。因此這一年也被認為是AI手機元年。
2024年10月24日,OPPO發布搭載ColorOS 15操作系統的旗艦手機Find X8系列,實現了“AI一鍵問屏”功能。在綜合分析用戶指令和屏幕信息后,AI助手可以實現回答、修圖、辦公處理等場景。
隨后的10月28日,蘋果公司上線了全新的AI功能“Apple Intelligence”。
10月29日,小米操作系統澎湃OS2帶來了“AI重塑系統應用”,包括AI寫作、識音、字幕等功能,同時小米智能語音助手“小愛同學”升級為“超級小愛”,成為全生態AI助手,具備記事、精準搜索、跨設備操作等功能。
10月30日,榮耀發布Magic7系列手機,其中內嵌的AI智能體YOYO能夠學習和認知用戶的行為習慣,通過分析理解用戶意圖,自動執行相關操作,如“一句話取消自動扣款”“一句話點2000杯咖啡外賣”。
11月,華為發布了Mate 70 Pro+,其中搭載盤古大模型,可實現AI動態照片、AI互動主題、AI隔空傳送、AI降噪通話等功能。
不只是手機廠商,大模型企業也在展示其操作手機的AI能力。11月29日,在智譜Open Day活動中,該公司CEO(首席執行官)張鵬向公眾展示了其手機助手產品AutoGLM。他僅用一句話指令“幫我在智譜開放日的群聊里發個2萬元的紅包,數量定為100個,紅包名字就叫‘AI給你發的第一個紅包’”,AutoGLM便能自動打開微信,精準選擇紅包數量、設置總金額、修改紅包名稱,最后輸入支付密碼完成發送。
在人工智能的創新浪潮中,手機助手智能化是重要的應用場景與發展方向,正在為人們創造全新的使用體驗,但其間的用戶隱私與數據安全等風險也亟待在發展中得以規范。
2024年關于AI手機一個極具傳播度的熱詞是“2000杯咖啡”。
“幫我點2000杯喝的。”2024年10月30日晚,在榮耀手機新品發布會的現場,時任榮耀CEO趙明使用AI智能體YOYO下單了2000杯瑞幸。一時間,周邊的瑞幸咖啡門店陷入手忙腳亂的忙碌狀態,“自動化”的AI和令瑞幸咖啡門店應接不暇的訂單成為網友關注、調侃的對象。
這一功能被榮耀稱為手機進入“自動駕駛”時代。根據榮耀的介紹,在MagicOS 9.0的支持下,Magic7系列手機不再局限于簡單的指令執行,而是實現了對用戶需求的深度理解和自主決策。
在北京的多家榮耀線下門店,自動點餐功能作為YOYO的亮點之一,被銷售人員反復提及、展示。我們在門店試用了榮耀Magic7,并對YOYO下達指令“幫我點四杯咖啡”,之后YOYO根據用戶習慣提出了多個產品及規格的選擇,并提示用戶需要點擊“開始點單”按鈕后才能夠主動下單。在用戶點擊“開始點單”后,YOYO自動打開外賣軟件搜索瑞幸咖啡,并選擇了搜索結果第一位的門店,下單四杯美式咖啡。在完成自動點單的流程后,屏幕上提示需要用戶手動點擊提交訂單。
記者在多個手機品牌門店試用了其AI手機助手,并給出了相同的指令——“幫我點四杯咖啡”。
以蘋果手機為例,iPhone手機助手在收到指令后在地圖搜索相關門店,并表示可以查詢路線或打電話給門店。
而小米、華為、vivo、OPPO等多個品牌的手機在收到指令后僅僅只能打開外賣軟件頁面,其中部分AI手機助手會在外賣軟件搜索關鍵詞“咖啡”后再停止。
AI手機助手自動點咖啡是如何實現的?
網絡安全機構“知道創宇404實驗室”總監隋剛解釋,端側大模型在手機應用時需要RAG(Retrieval-augmented Generation,檢索增強生成)、微調(Fine-tuning)、智能體(Agent)以及工作流(Workflow)配合私有領域數據實現落地。
“RAG和微調是讓智能體對當前環境的有感知,比如一些規章制度、財務知識等私有領域的知識,主要目的就是越精準越好。智能體相當于是一個代理人。Workflow則是告訴AI助手整體的操作流程。”隋剛說。
隋剛表示,結合上述邏輯對點咖啡進行拆解,會發現這一動作包含幾個業務系統:支付系統;咖啡店的業務接口,主要信息有訂單量、送貨地址,聯系電話等;此外還需要手機的語音識別功能。
隋剛告訴我們,在這一場景下,端側大模型所做的就是:通過大模型將人類的語音、文字等模糊指令變成計算機能理解的精確指令。
某手機廠商的一位端側大模型工程師告訴我們,在這樣的總體運行框架下,AI助手操作手機主要有兩種方式。
第一種是使用手機系統內置的標準API接口調用App,這種方式需經過第三方App許可,較為穩健和安全,也有利于多方獲益。
目前,蘋果和華為都在推出其意圖框架,即標準接口合作方案。這些方案旨在設計統一的合作模式,并在開發者文檔中提供詳細的接入指引。App開發者可以根據自己的需求,自主選擇是否接入這些框架,以及如何接入。開發者還可以決定開放哪些應用場景和接口,以便更好地利用這些平臺提供的功能和服務。
一位手機行業人士表示,盡管一些國產安卓手機廠商也推出了各自的意圖框架,但一方面由于生態號召力不足,需要與App開發者一對一談合作,另一方面因為當前手機端側部署的大模型能力依然有限,不能很好地實現用戶所期待的真正的AI功能,而且速度較慢,因此目前接入的App數量仍相對較少。
因此,它們選擇另一種能短期見效,但對用戶而言存在風險的方式——調用手機系統的無障礙功能。
據谷歌開發者官網介紹,無障礙服務(AccessibilityService)是一種系統級別的API,旨在輔助殘障人士更便捷地使用安卓設備及應用。它能夠代表應用與用戶進行交互,比如將文本內容轉換成語音朗讀,或者在用戶將鼠標指針懸停于屏幕上的關鍵區域時,給予用戶觸覺反饋。
安卓官方文檔中對無障礙服務的使用有著明確規范,強調無障礙權限的用途僅限于協助殘障用戶更好地操作安卓設備和應用。此外,該權限的啟用需由用戶在設備的設置選項中主動開啟,以確保用戶對權限的使用有清晰認知和明確授權。
智能助手使用的識屏、模擬點擊,均為無障礙權限范疇。據安卓幫助官方文檔介紹,無障礙服務的主要功能有:使用屏幕閱讀器,即通過輕觸和語音反饋功能與設備進行互動;更改顯示設置,例如使用屏幕放大功能、開啟深色主題或顏色反轉功能等;互動控件,例如開關控制、自動點擊等;音頻和字幕,例如放大周圍說話聲和設備上音頻的聲音,更改字幕格式等。
無障礙功能的初衷是為了讓殘障人士得以與健全人一樣使用智能手機,但有時卻被濫用在用戶使用的其他軟件中。由于無障礙功能強大,一些人借此開發出了自動關閉彈窗廣告、搶紅包、搶票等軟件,成為被灰黑產利用的主要技術漏洞之一,違背了無障礙功能的初心。
此前,已有濫用無障礙功能的相關案例。
福建省龍巖市中級人民法院2019年的一份判決書顯示,多位被告開發的“超級雷神”應用程序,在未經授權的情況下,利用無障礙功能增加了“自動搶紅包”等功能,構成侵入計算機信息系統程序罪,其中三名被告獲刑三年。
2021年,百豪公司利用無障礙權限及監聽消息通知等功能,開發出的自動搶紅包外掛“紅包獵手”“多多搶紅包”。這一行為被杭州鐵路運輸法院認定為構成不正當競爭,一審判處賠償騰訊公司70萬元,二審、終審均維持原判。
谷歌曾多次限制App使用無障礙功能。早在2017年時,谷歌就曾要求開發者在使用無障礙功能時,必須嚴格限制權限;同時必須明確描述使用無障礙功能的目的,否則將拒絕開發者的使用請求。
在2022年的安卓13中,谷歌再次縮窄使用范圍,拒絕側載的App使用無障礙功能。當用戶要開啟授權時,安卓系統會提示“為了您的安全,此設置當前不可用”。2024年,谷歌又在新版本的安卓系統中新增了“增強確認模式”,使側載App更難以使用無障礙權限。
但值得注意的是,谷歌的限制囿于App層面,由于手機廠商可以充分個性化定制操作系統,谷歌無法監管手機廠商如何使用無障礙權限。
無障礙權限近乎于手機系統級別的最高權限,開啟后,手機廠商或App能夠監控整個系統的運行,甚至完全控制手機。
過往曾有多起惡意程序借由無障礙權限盜取資金的案例。
2021年,一款安卓木馬應用SharkBot將自己隱藏在“RecoverFiles”的文件恢復工具中,一旦安裝,就會以改進功能的幌子,要求開啟無障礙訪問權限。隨后它通過自動填充網銀App中的字段、繞過App設置的身份驗證機制,實現了資金竊取。
2024年3月,360手機衛士發現,一批色情App通過誘導用戶安裝“xx加速器”“xx高速下載助手”等,實則是遠程操控的木馬應用。這類應用被下載后,會引導用戶開啟無障礙權限,隨后監控頂層頁面和鍵盤,竊取支付密碼、設備解鎖密碼,并將信息上傳到遠程操控的后臺。在監聽到用戶半小時未使用手機后,木馬應用會偷偷點開轉賬網頁,輸入轉賬密碼,甚至完成后清理瀏覽器的痕跡,再自動卸載。
一位不愿具名的網絡安全人士表示,在沒有AI大模型的年代,對單個App開啟無障礙權限的風險已經很高,而如果有大模型加持,手機系統一旦默認開啟了無障礙權限,將會帶來極大的風險。通過讀屏(截屏)方式,用戶手機頁面上所有信息一覽無余,甚至包括通過金融App安全鍵盤輸入的銀行支付密碼。大模型還可以通過進一步分析,獲得用戶的身份、定位等敏感信息。
這位人士擔心,一旦黑客控制了手機端側AI,例如使用了Prompt(提示詞)注入攻擊,便可通過誘導智能助手訪問惡意網站,并下載精心構造的惡意程序,導致用戶終端被遠程控制,獲取個人隱私,甚至資金被盜。
隋剛表示,目前來看,借用無障礙權限“走捷徑”的一些AI手機蘊含著巨大的安全風險。AI可以通過數學函數公式對人類的聲音進行克隆。而在人類與大模型的交互過程中,基本沒有鑒權等安全措施,唯一的鑒權點是輸入手機屏幕解鎖密碼以及支付密碼時。“實際上,輸入支付密碼也可以委托給智能體。”隋剛說。
隨著AI技術飛速發展,手機智能助手作為其中重要的應用場景,也暴露出了一些新型監管盲區問題。
雖然目前相關部門尚未出臺專門針對手機智能助手的監管政策,但根據已有的政策法規,可以大致梳理出相關的監管要點。
首先,智能助手本身屬于App應用,與其他第三方App一樣,都要受到現有App監管規范約束。
2021年,國家網信辦、工信部、公安部、市場監管總局四部門制訂《常見類型移動互聯網應用程序必要個人信息范圍規定》中明確,App包括移動智能終端預置、下載安裝的應用軟件。
就此而言,手機出廠自帶的手機智能助手也是App,與第三方App一樣需要遵循App監管規則。
然而,通過實測發現,盡管目前市面上大部分手機智能助手需要用戶授權后才可以輔助接管手機,也提供了關閉授權的按鈕,如華為、小米、vivo等,但也有一些手機廠商未嚴格遵守個人信息收集的相關規定。比如,榮耀MagicOS 9.0上的YOYO智能助手,開啟無障礙權限,并不需要用戶授權,也有沒有提供關閉選項。
在榮耀2024年9月30日更新的《關于YOYO助理與隱私的聲明》中,“設備權限調用”部分未標明YOYO助理使用了讀屏、模擬點擊等無障礙權限。同時,設置中也沒有提供管理YOYO助理權限的選項,但并不妨礙該App使用讀屏和模擬點擊等無障礙功能。
即使是榮耀端側AI相關的“榮耀AI·基礎服務”“情景感知”兩項功能,用戶均可以選擇開啟或關閉無障礙權限,但YOYO助理卻無法選擇。此外,綜合對比榮耀YOYO、榮耀信息及其他手機智能助手的權限開啟按鈕后,可以發現,榮耀YOYO向用戶開放的權限選擇有限。
也就是說,YOYO助理實際上獲得了超越一般App的系統級特權。《網絡安全法》《數據安全法》《個人信息保護法》均強調,網絡產品、服務具有收集用戶信息功能的,其提供者應當向用戶明確告知并取得同意。
而根據2019年11月上述四部門印發的《App違法違規收集使用個人信息行為認定方法》,以下行為被認定為“未經用戶同意收集使用個人信息”:征得用戶同意前就開始收集個人信息或打開可收集個人信息的權限;用戶明確表示不同意后,仍收集個人信息或打開可收集個人信息的權限,或頻繁征求用戶同意、干擾用戶正常使用。
其次,手機智能助手的重大更新,也已涉及新的涉詐風險或數據安全風險問題。
在App層面,此類安全風險評估早已啟動。多位App開發企業相關負責人表示,自2024年4月1日起,App等電信和互聯網業務若涉及重大業務功能更新,如業務提供的功能模塊、使用方式、信息傳播方式或渠道等發生較大變化時,應當啟動涉詐風險安全評估,并上報工信部。
2024年10月1日,中國通信標準化協會還頒布了《電信領域數據安全風險評估規范》,指出評估團隊應綜合分析數據處理活動存在的安全風險。數據一旦遭到篡改、破壞、泄露或者非法獲取、非法利用,可能對國家安全、公共利益產生的影響及影響程度。
而一些手機智能助手的AI功能更新后,因開啟了無障礙權限,數據泄漏、財產轉移等詐騙風險將大大提升。不僅如此,個人數據、App數據的規模化泄漏亦有可能造成重大網絡安全事故。
但是,這些手機智能助手App在上架前是否通過涉詐安全風險及數據安全風險評估,尚不可知。
再次,智能助手對于第三方APP的數據侵入引發的數據安全風險需引起重點關注。
根據《網絡數據安全管理條例》第十二條規定,兩個以上的網絡數據處理者共同決定個人信息和重要數據的處理目的和處理方式的,應當約定各自的權利和義務。第十八條規定,網絡數據處理者使用自動化工具訪問、收集網絡數據,應當評估對網絡服務帶來的影響,不得非法侵入他人網絡,不得干擾網絡服務正常運行。如果智能助手通過調用無障礙權限獲取數據,模擬點擊方案未經第三方App許可,則違反了上述數據收集處理規范,相關數據安全責任也難以被清晰界定。
例如,通過手機智能助手點外賣、充會員,若出現售后糾紛,是手機廠商負責還是外賣平臺負責?更嚴重的情況,若通過手機助手轉賬匯款,出現差錯,是手機廠商負責還是金融類App負責?再有,開啟無障礙權限后的網絡安全風險極高,如果用戶手機被黑客劫持,盜取錢財或個人隱私、商業機密,應該由手機廠商還是App負責?
事實上,早在2017年,中國互聯網協會就發布了《移動智能終端應用軟件分發服務自律公約》(下稱《自律公約》),首批簽署者包括華為、小米、OPPO、vivo、騰訊、阿里、百度、360等16家成員單位。為了防止未來可能發生的不正當競爭手段,在《自律公約》的公平競爭規則中明確了不得濫用無障礙功能,就是防止對這一為殘障人士特別設計的特殊權限,被用作干擾、破壞或者侵入他人產品的渠道。
在大模型時代,端側AI及其智能助手是不容忽視的應用創新場景,但為實現AI功能,有的手機廠商選擇了無障礙這種“技術捷徑”,可能給用戶隱私帶來風險,并可能侵犯第三方App合法權益。
因此,有業內人士建議,手機智能助手調用第三方App應該嚴格合規、采用標準接口合作模式。同時,明確手機智能助手與第三方App的平等地位,嚴格參照App相關監管要求,規范其對個人信息的收集和處理,并對其進行數據安全監管。
“手機智能助手實現‘智能駕駛’的今天,安全仍是底線,要把選擇權真正交給用戶。”上述業內人士表示。