基于iOS平臺AR與ML的古詩App設計

楊帆 朱麗進

摘要：基于iOS[1]移動操作系統中的增強現實（Augmented Reality）[2]和機器學習（Machine Learning）[3]技術，與中華傳統文化古詩將結合，設計了一款集聽說讀畫考為一體的應用程序—畫中詩App。該App充滿趣味性和創作性，既能陶冶用戶的文學素養，又可以培養想象力和創造力。

關鍵詞：iOS;AR;ML;古詩;App

中圖分類號：TP311? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）11-0058-04

1 前言

畫中詩是一款基于ARKit[4]、Core ML[5-6]以及PencilKit[7]技術實現，輔助青少年兒童學習傳統古詩文化的App。該App以虛擬游戲為載體，增強學習的趣味性，用人工智能技術讓古詩文化與現實相融合，用視聽感官來加深對古詩的記憶，同時包含豐富的古詩注釋、譯文、朗讀功能。畫中詩App集聽、說、讀、畫、考為一體，用戶可以全身心參與古詩學習，解決了古詩學習相對枯燥乏味難以理解的問題，提升用戶對古詩學習興趣。

2 整體設計

App主要分為4大模塊，分別為用戶模塊、古詩學習模塊、擂臺賽模塊和特色模塊，各個模塊的主要功能如下：

1） 用戶模塊：該模塊主要包含登錄和注冊功能、設置功能、收藏功能，可以簽到、查看和修改個人資料，引入家長計劃控制孩子的學習時間和學習進度。

2） 古詩學習模塊：該模塊包含山水田園詩、邊塞征戰詩、思鄉懷旅詩、詠物懷志詩、友人送別詩五大古詩主題的視頻講解、朗誦古詩、古詩釋文。

3） 擂臺賽模塊：該模塊包含以游戲為載體的三種學習方式：你畫我猜功能、以畫選詩功能、填字游戲。

4） 特色模塊：該模塊包含基于AR的朗讀者，基于ML的火眼金睛和基于PencilKit的創作屋三個功能。

3 詳細設計

3.1 用戶模塊設計

點擊App后會進入登錄界面，如圖1所示，該App給用戶提供了三種方式開啟古詩學習旅程：用戶可以使用手機號配合驗證碼進行登錄，也可以使用注冊的用戶名和密碼進行登錄，還可以通過微信或者QQ進行登錄。如果不想登錄，可以點擊游客登錄先了解一下App功能再決定是否注冊使用。

登錄成功后的主界面為山水田園詩界面，如圖2所示，App的默認界面為山水田園詩界面。其中的簽到功能將記錄用戶每周的簽到情況。該App還引入家長計劃，即家長可以為孩子制定學習古詩計劃，為避免孩子過度沉迷和囫圇吞棗，家長制定的每天古詩學習計劃不能超過3首。

用戶點擊主頁的頭像可以進入個人資料界面，在該界面選擇各個功能點進入各子功能界面，如圖3所示。用戶頭像上標有學習頭銜，該頭銜是根據用戶解鎖的古詩數量兌換而來。頭銜采用古代科舉考試制度的頭銜從低到高為：白丁、童生、秀才、舉人、貢士、進士、探花、榜眼、狀元，更加契合古詩的意境。

3.2 古詩學習模塊設計

在主界面，用戶可以手指左滑畫軸切換古詩主題，然后在設置中選擇學習難度：按年級劃分為一到六年級。每個年級都有五大主題的必學古詩，每個主題相關的必學古詩學習完成后可以解鎖拓展古詩。

該App把古詩劃分為五大主題來讓用戶學習古詩分別為：山水田園詩、友人送別詩、詠物懷古詩、思鄉懷旅詩、邊塞征戰詩。以山水田園詩主題為例，點擊中間山水田園詩圖片按鈕進入解鎖古詩關卡界面，如圖4所示。然后點擊黃色圖書的圖片按鈕解鎖古詩開始學習，如圖5所示。

古詩學習的默認界面為看古詩的視頻界面，如圖6所示。App提供看古詩、讀古詩、注釋、譯文四個方面全方位的學習，輔助掌握古詩，并且可以利用創作屋來完成古詩的詩意創作。

用戶可以點擊界面下方的功能按鈕開啟古詩學習的各功能，圖6為看古詩界面，包含一個視頻的古詩解說。圖7為讀古詩界面，包含古詩的全文和拼音。圖8為注釋界面，對古詩中的重難點字詞進行了解釋。圖9為譯文界面，對古詩全文進行了白話文翻譯。

3.3 擂臺賽模塊設計

點擊主頁的“擂臺賽”圖標按鈕進入擂臺賽選擇關卡功能界面，用于測試用戶對古詩的掌握程度，如圖10所示。擂臺賽按難度分為初級、中級和高級，用戶選擇相應的難度進行攻擂挑戰。挑戰關卡分為兩關：你畫我猜和詩句填填樂。完成每個關卡的比拼可以獲得相應的積分獎勵。

點擊“你畫我猜”圖片按鈕進入你畫我猜功能界面，如圖11所示。App會隨機根據用戶當天解鎖的古詩發布圖片，在規定時間內答出與該圖片相關的詩句，答對可以獲得相應的積分獎勵。

點擊“愛上填填樂”圖片按鈕進入愛上填填樂功能界面，如圖12所示。App隨機根據用戶當天所解鎖的古詩發布題，用戶需在規定時間內把古詩缺少的字補充完整，每連成一句詩可以獲得相應的積分獎勵。

擂臺賽模塊獲得的積分進行累計，用戶可以使用積分解鎖人物，500積分兌換一次，但限制用戶每天在每個關卡只有3次挑戰機會。

3.4 特色功能設計

特色功能模塊分為三個：火眼金睛、朗讀者、創作屋。

3.4.1 基于ML的火眼金睛

火眼金睛功能讓用戶可以通過相機拍下身邊的美景，然后配合ML的圖像的識別功能識別圖片的主要元素，并為圖片的主要元素配上詩句，用戶通過手機拍照就能知曉蘊含在身邊的詩意。

用戶點擊主頁的“火眼金睛”圖標按鈕，進入火眼金睛功能主界面，如圖13所示。然后點擊“點擊進入”按鈕，進入圖片選擇界面，用戶可以通過拍攝照片也可以從相冊中選取圖片進行識別，如圖14所示。

圖片選擇以后，會通過云端的人工智能和本地的端智能進行識別推測，界面如圖15所示。如果識別成功，App會在界面顯示與之相關的詩句，如圖16所示。

Core ML是Apple提供的機器學習框架，在App中將使用Apple已經訓練好的模型，搭配著用戶所拍攝下來的靜態照片，利用模型去偵測照片里的各項元素，有了照片元素資訊后該App將會與該App內建的資料庫進行比對，挑選出詩詞中含有最多相似元素的詩詞，并且呈現給用戶閱讀。

在模型的部分，使用YOLOv3訓練模型，該模型可以識別照片中的物件，除了YOLOv3模型以外，還需要搭配YOLOv3-Tiny訓練模型，該模型可以偵測到物體較小的元素，讓辨識出來的內容更加精準。該功能讓用戶可以擁有全新的方式來欣賞古詩詞，也可以啟發用戶的靈感，嘗試睹物吟詩的樂趣。

3.4.2 基于AR的朗讀者

朗讀者功能使用AR技術設計一位可以出現在現實場景中的人物，用戶使用該功能可以和AR人物一起互動學習。區別于2D平面人物效果，AR人物出現在現實場景中，給用戶一種更加直觀的視覺體驗同時也更能提高用戶的學習興趣。家長用戶可以把AR人物陪伴用戶吟詩的過程錄制成視頻保存到相冊中記錄孩子學習風采，同時家長也可以將視頻分享到朋友圈讓更多人看到孩子的風采。

用戶點擊主頁的“朗讀者”圖標按鈕，進入朗讀者功能主界面，如圖17所示。該功能使用AR技術讓AR人物出現在現實場景中，陪伴用戶吟詩。選擇“點擊進入” 按鈕，長按屏幕可以召喚AR人物，如圖18所示。用戶可以使用攝像頭將與AR人物互動的過程錄制成視頻，該功能的主要操作說明如圖19、圖20、圖21所示。

該功能首先需要將建立好的3D模型透過Converter轉成USDZ格式，讓模型能夠在ARKit的視圖中順利呈現，在3D 模型在畫面呈現的同時，利用媒體播放器將已經錄制好的古詩語音信息與模型的動作同步出現在畫面中，以虛實結合的方式引領用戶激發學習興趣，使古詩之美能永遠流傳。

該功能使用iPad最新搭配LiDAR激光雷達掃描儀來實現，LiDAR激光雷達掃描儀能夠獲取物件的深度感測信息，有了距離的感測，可以在ARKit的場景內準確地顯示朗讀者的3D模型，模型距離鏡頭的距離會與使用者距離鏡頭的距離相等，映照出真實人物與虛擬人物對談的效果。

3.4.3 基于PencilKit的創作屋

創作屋功能是讓用戶利用Apple Pencil在創作屋中發揮想象力完成自己對古詩所蘊含的詩意或詩境的繪畫。繪畫作品會保存到用戶的“個人作品展”中方便用戶觀看，同時用戶也可以把作品分享到微信朋友和QQ好友。創作屋分為三個模塊：新手教程、文思泉涌和別有天地。用戶可以根據自己對古詩的理解，在創作屋功能點中，使用該App提供的素材或者自己繪畫的素材，繪畫出古詩的意境。該功能不僅讓用戶更好地使用 Apple Pencil來培養用戶的創造力和想象力，還可以讓家長有更好的陪伴經驗與用戶一同學習。

點擊主頁的“創作屋”圖標按鈕，進入創作主界面，如圖22所示。點擊“開始使用”按鈕后，在界面跳出的創作選項中選擇其中一個選項完成古詩詩意創作，如圖23所示。創作完成的作品可以分享給QQ或微信好友，圖24所示為“創作屋”文思泉涌模塊界面。該界面的下方提供各種畫筆和色彩的選擇，用戶可以搭配PencilKit進行創作，將創意的畫作通過筆觸完美地呈現出來。當用戶完成古詩的創作后，App會將用戶的圖畫轉換成圖片，用戶可以選擇將自己的創作分享到第三方平臺，與朋友共同欣賞創作的詩情畫意。

4 總結

文化是一個國家、一個民族的靈魂。文化興，國運興;文化強，民族強。中華民族的偉大復興需要高度的文化自信和文化繁榮。詩文是中國傳統文化的精華，該App從傳統文化中的古詩出發，利用了ARKit、Core ML、PencilKit等技術讓古詩不再難以理解、學習不再枯燥無味。隨著移動設備的普及和人工智能技術的發展，中華傳統文化可以與其相結合，利用科技成果來更好地弘揚和傳承傳統文化。

參考文獻：

[1] Apple.Human Interface Guidelines[EB/OL].[2021-03-04].https：//developer.apple.com/design/human-interface-guidelines/ios.

[2] 朱淼良， 姚遠， 蔣云良. 增強現實綜述[J].中國圖象圖形學報，2004（7）：3-10.

[3] 王玨，石純一.機器學習研究[J].廣西師范大學學報（自然科學版），2003（2）：1-15.

[4] Apple.Augmented Reality[EB/OL].[2021-03-04].https：//developer.apple.com/augmented-reality.

[5] Apple.Machine Learning[EB/OL].[2021-03-04].https：//developer.apple.com/machine-learning.

[6] Apple.Create ML[EB/OL].[2021-03-04].https：//developer.apple.com/machine-learning/create-ml.

[7] Apple.PencilKit[EB/OL].[2021-03-04].https：//developer.apple.com/documentation/pencilkit.

收稿日期：2021-07-23

基金項目：安徽省教育廳自然科學重點研究項目《AR 及 Core ML 技術在古詩 App“繪傳承”中的應用研究》（KJ2020A1082） ;安徽省教育廳教學團隊項目《移動應用開發教學團隊》（2020jxtd093） ;安徽商貿職業技術學院科研項目《基于“建模+交互”技術路徑的虛擬現實漫游系統開發》（2020KYZ03）

作者簡介：楊帆（1989—），男，安徽懷寧人，講師，碩士，主要研究方向為移動應用開發;朱麗進（1986—），女，安徽廬江人，講師，碩士，主要研究方向為交互式UI設計。