基于低代碼的智能媒資檢索邏輯流設(shè)計(jì)與實(shí)現(xiàn)

鐘家輝

（浙江廣播電視集團(tuán)，浙江 杭州 310005）

0 引言

智能媒資管理系統(tǒng)是具備智能審核、分析及多模態(tài)檢索等能力的媒資管理系統(tǒng)，是具備集成非編、收錄及轉(zhuǎn)碼分發(fā)等功能的生產(chǎn)制作系統(tǒng)。在浙江省宣傳部對(duì)重大文化平臺(tái)的計(jì)劃驅(qū)動(dòng)下，浙江廣播電視集團(tuán)自主研發(fā)了智能生產(chǎn)制作系統(tǒng)。該系統(tǒng)利用低代碼平臺(tái)快速構(gòu)建頁面交互，自定義研發(fā)組件模式研發(fā)新型頁面交互模塊，利用集成平臺(tái)即服務(wù)（Integration Platform as a Service，IPaaS）能力打通各業(yè)務(wù)子系統(tǒng)，實(shí)現(xiàn)智能驅(qū)動(dòng)生產(chǎn)的能力。

本文針對(duì)智能媒資管理系統(tǒng)，設(shè)計(jì)了一種以媒資智能識(shí)別后攜帶的非結(jié)構(gòu)化智能識(shí)別標(biāo)簽、人臉、語音數(shù)據(jù)為數(shù)據(jù)模型基礎(chǔ)，結(jié)合低代碼開發(fā)平臺(tái)進(jìn)行多層級(jí)、多維度的智能化實(shí)體檢索邏輯流。邏輯流串聯(lián)了應(yīng)用內(nèi)的頁面模型和數(shù)據(jù)模型，能夠達(dá)到應(yīng)用內(nèi)的邏輯交互效果，實(shí)現(xiàn)多層級(jí)檢索業(yè)務(wù)功能。

1 低代碼開發(fā)平臺(tái)

低代碼開發(fā)平臺(tái)通常是指應(yīng)用平臺(tái)即服務(wù)（Application Platform as a Service，APaaS）產(chǎn)品，是近年來快速發(fā)展的一種軟件開發(fā)方式。低代碼開發(fā)是一種通過可視化進(jìn)行應(yīng)用程序開發(fā)的方法，使具有不同經(jīng)驗(yàn)水平的開發(fā)人員可以通過圖形化的用戶界面，使用拖拽組件和模型驅(qū)動(dòng)的邏輯來創(chuàng)建網(wǎng)頁和移動(dòng)應(yīng)用程序[1]。隨著數(shù)字化轉(zhuǎn)型的加速和企業(yè)對(duì)數(shù)字化應(yīng)用的需求增加，低代碼開發(fā)平臺(tái)的市場需求在不斷增長。據(jù)市場研究公司Gartner 預(yù)測，到2024 年，應(yīng)用軟件開發(fā)活動(dòng)當(dāng)中的65%將通過低代碼方式完成[2]，全球低代碼開發(fā)平臺(tái)市場規(guī)模將達(dá)到270 億美元，年復(fù)合增長率將超過20%。越來越多的企業(yè)和組織正在采用低代碼開發(fā)平臺(tái)來加速應(yīng)用程序的開發(fā)和部署，降低開發(fā)成本和時(shí)間，提高業(yè)務(wù)創(chuàng)新和數(shù)字化轉(zhuǎn)型的能力。與傳統(tǒng)軟件開發(fā)方式進(jìn)行類比，低代碼開發(fā)平臺(tái)整合軟件開發(fā)和部署所需的集成開發(fā)環(huán)境（Integrated Development Environment，IDE）、服務(wù)器和數(shù)據(jù)庫管理工具，適用于軟件開發(fā)的全生命周期。低代碼技術(shù)大幅降低軟件開發(fā)和部署的技術(shù)門檻，具有開發(fā)速度快、開發(fā)成本低、對(duì)開發(fā)人員代碼水平要求不高，開發(fā)完成后無須進(jìn)行測試，開發(fā)過程中業(yè)務(wù)部門和開發(fā)部門可共同創(chuàng)建、迭代和發(fā)布應(yīng)用程序等特點(diǎn)，可更輕松地應(yīng)對(duì)由業(yè)務(wù)部門發(fā)起的大量需求，對(duì)不同場景的應(yīng)用進(jìn)行更合理的人力資源配置，使業(yè)務(wù)人員有更高的參與度和研發(fā)的匹配度[3]。

2 業(yè)務(wù)需求分析及設(shè)計(jì)

2.1 檢索業(yè)務(wù)需求分析

傳統(tǒng)媒資系統(tǒng)主要依賴人工方式通過主觀判斷來完成內(nèi)容主題的分離和描述。因此，系統(tǒng)受人為因素影響較大，得到的編目信息無法全面、客觀地展現(xiàn)素材的內(nèi)容和特征，以致編目質(zhì)量不高，難以得到有效控制[4]。傳統(tǒng)查詢方式存在以下問題：檢索信息只檢索已進(jìn)行人工編目的媒資素材，未編目完成的媒資素材或編目不全的素材無法檢索；不同編目人員針對(duì)媒資內(nèi)容所標(biāo)注的編目標(biāo)簽定義存在個(gè)體化的差異；傳統(tǒng)檢索頁面只通過文本的檢索形式通過分詞器進(jìn)行詞匯拆分進(jìn)而模糊檢索，無法精準(zhǔn)、有效地檢索出對(duì)應(yīng)的媒資素材；常見檢索頁面交互邏輯無法滿足高并發(fā)、高業(yè)務(wù)數(shù)據(jù)量的業(yè)務(wù)場景，檢索條件增加或檢索層面疊加往往導(dǎo)致系統(tǒng)檢索變慢甚至出現(xiàn)無響應(yīng)的情況。

針對(duì)上述傳統(tǒng)媒資系統(tǒng)檢索的問題，結(jié)合用戶使用習(xí)慣，本文從實(shí)際需求出發(fā)，確定以下4 個(gè)檢索業(yè)務(wù)需求。

（1）檢索支持聚合智能識(shí)別結(jié)果，通過邏輯流進(jìn)行智能識(shí)別數(shù)據(jù)拆分、保存、歸類及統(tǒng)計(jì)。

（2）檢索支持返回多維度分類后的媒資多層面檢索條件，并返回對(duì)應(yīng)檢索枚舉項(xiàng)關(guān)聯(lián)的媒資素材數(shù)量。

（3）檢索頁面應(yīng)支持多維度、多樣化的檢索形式，如通過含有人臉的圖片進(jìn)行針對(duì)媒資中相關(guān)出鏡任務(wù)的檢索。

（4）檢索頁面設(shè)計(jì)應(yīng)采用更高效的邏輯交互形式進(jìn)行頁面渲染及底層數(shù)據(jù)交互，提高檢索效率。

2.2 智能媒資業(yè)務(wù)流程設(shè)計(jì)

智能媒資系統(tǒng)利用人工智能技術(shù)，對(duì)視頻內(nèi)容做細(xì)顆粒度拆解，實(shí)現(xiàn)視頻自動(dòng)分類、打標(biāo)簽，智能提取封面等自動(dòng)生成數(shù)據(jù)信息，智能化豐富視頻編目[5]，其工作原理是采用視頻內(nèi)容分析、圖像處理、語音識(shí)別及光學(xué)字符識(shí)別等多種信息處理手段將非結(jié)構(gòu)化的文本、圖像、音頻及視頻轉(zhuǎn)化為結(jié)構(gòu)化的特征數(shù)據(jù)[6]。智能媒資系統(tǒng)具有自動(dòng)化、智能化、個(gè)性化等特點(diǎn)，幫助用戶快速找到所需的媒體資源，提高工作效率。本文設(shè)計(jì)了一種基于底層大模型，高顆粒度級(jí)別理解媒資內(nèi)容，通過提取語義分析數(shù)據(jù)并結(jié)合標(biāo)簽、人臉、語音及字幕等數(shù)據(jù)形式，實(shí)現(xiàn)以文搜圖、以圖搜圖的多種檢索形態(tài)的智能媒資業(yè)務(wù)流程，如圖1 所示。

圖1 智能媒資業(yè)務(wù)流程設(shè)計(jì)

2.3 檢索業(yè)務(wù)流程設(shè)計(jì)

根據(jù)上述業(yè)務(wù)需求，本文設(shè)計(jì)以下相關(guān)業(yè)務(wù)流程：前端頁面按照數(shù)據(jù)類型進(jìn)行前端頁面搭建及渲染，檢索引擎提供智能化檢索功能，邏輯流引擎驅(qū)動(dòng)并關(guān)聯(lián)前端頁面與檢索引擎之間的前端交互、數(shù)據(jù)處理、數(shù)據(jù)傳遞及頁面渲染；邏輯流引擎作為中樞串聯(lián)起前端與后端之間的交互，不同于傳統(tǒng)流程設(shè)計(jì)過程中前后端直接交互的形式，極大地提高了應(yīng)用檢索效率，降低了應(yīng)用搭建難度和調(diào)試過程中的報(bào)錯(cuò)率。詳細(xì)情況如圖2 所示。

圖2 整體業(yè)務(wù)流程設(shè)計(jì)圖

2.4 邏輯流設(shè)計(jì)

本節(jié)以整體設(shè)計(jì)需求為基礎(chǔ)，預(yù)設(shè)計(jì)以下兩個(gè)邏輯流的功能。

2.4.1 支持?jǐn)?shù)據(jù)拆分、聚合處理邏輯流設(shè)計(jì)

對(duì)于需求點(diǎn)（1）、需求點(diǎn)（2）、需求點(diǎn)（3），邏輯流引擎設(shè)計(jì)提供多層級(jí)智能化檢索數(shù)據(jù)統(tǒng)一數(shù)據(jù)聚合并行處理能力。用戶點(diǎn)擊多個(gè)檢索條件的同時(shí)，渲染處理返回檢索數(shù)據(jù)同時(shí)需要更新檢索后的新一輪檢索層面數(shù)據(jù)，經(jīng)過邏輯流處理后，把智能化數(shù)據(jù)統(tǒng)一歸類、拆解后匹配前端頁面的展現(xiàn)類型，更具象、清晰地展示不同層面的統(tǒng)計(jì)數(shù)據(jù)。針對(duì)熱門人臉層面數(shù)據(jù)，需要轉(zhuǎn)換人臉圖片格式，支持根據(jù)檢索引擎中返回的人物關(guān)聯(lián)素材數(shù)量進(jìn)行倒序排序，并支持點(diǎn)擊某張人臉時(shí)添加某人物關(guān)聯(lián)查詢至檢索條件；針對(duì)專題層面數(shù)據(jù)，需先查詢租戶專題庫中已添加的默認(rèn)專題配置，包括專題封面、專題權(quán)重及專題有效期等，檢索返回的專題層面需根據(jù)相應(yīng)配置項(xiàng)進(jìn)行默認(rèn)圖片渲染及顯隱控制；針對(duì)詞云層面數(shù)據(jù)，需要根據(jù)詞云權(quán)重控制詞云組件文字的顏色及大小。通過數(shù)據(jù)處理，分類、并行處理熱門人臉、專題層面等數(shù)據(jù)，一次性渲染頁面數(shù)據(jù)。

2.4.2 自更新機(jī)制邏輯流設(shè)計(jì)

對(duì)于上述需求點(diǎn)（4），前端邏輯流引擎設(shè)計(jì)提供高效化前端頁面內(nèi)存實(shí)體數(shù)據(jù)的自更新機(jī)制。前端頁面完成用戶檢索動(dòng)作時(shí)，需搭建一套自更新、自渲染的邏輯流自動(dòng)觸發(fā)機(jī)制，自助觸發(fā)相應(yīng)后端邏輯流傳遞頁面層面檢索條件、請(qǐng)求檢索引擎返回?cái)?shù)據(jù)、渲染檢索后媒資素材展示頁面。

預(yù)設(shè)計(jì)通過構(gòu)建一種頁面內(nèi)存實(shí)體關(guān)聯(lián)關(guān)系的形式，把頁面檢索條件如標(biāo)題、已選中的熱門人臉、專題等層面合并為一個(gè)檢索條件內(nèi)存實(shí)體，名為“檢索條件”；新建一個(gè)空內(nèi)存實(shí)體名為“檢索ROOT”與之關(guān)聯(lián)，并建立一對(duì)一或多對(duì)多的關(guān)聯(lián)關(guān)系，以“檢索ROOT”為頁面最外層實(shí)體對(duì)象數(shù)據(jù)進(jìn)行頁面搭建。頁面中的“檢索條件”實(shí)體由于頁面交互發(fā)生變化時(shí)，更新“檢索條件”與“檢索ROOT”的關(guān)聯(lián)關(guān)系。當(dāng)關(guān)聯(lián)關(guān)系發(fā)生改變，“檢索ROOT”同時(shí)被認(rèn)定為更新，頁面中所有以其為輸入?yún)?shù)的邏輯流將被動(dòng)觸發(fā)更新，達(dá)到觸發(fā)檢索請(qǐng)求及數(shù)據(jù)更新渲染的效果，與之關(guān)聯(lián)的檢索結(jié)果也將觸發(fā)更新。具體內(nèi)存實(shí)體設(shè)計(jì)如圖3 所示，自更新機(jī)制頁面、邏輯流、內(nèi)存實(shí)體數(shù)據(jù)框架設(shè)計(jì)如圖4 所示。

圖3 自更新邏輯流內(nèi)存實(shí)體設(shè)計(jì)樣例

圖4 自更新機(jī)制設(shè)計(jì)框架圖

3 業(yè)務(wù)實(shí)現(xiàn)及驗(yàn)證

3.1 邏輯流設(shè)計(jì)實(shí)現(xiàn)及驗(yàn)證

3.1.1 層面數(shù)據(jù)處理邏輯流實(shí)現(xiàn)

本節(jié)在系統(tǒng)中搭建、實(shí)現(xiàn)了對(duì)于“人物場景”層面的數(shù)據(jù)處理，邏輯流中對(duì)數(shù)據(jù)進(jìn)行了分頁處理，如圖5 所示。步驟中創(chuàng)建了默認(rèn)為0 的循環(huán)次數(shù)，隨即對(duì)于智能化數(shù)據(jù)進(jìn)行循環(huán)處理。循環(huán)中，首先根據(jù)mod（$循環(huán)次數(shù)，5）=0 判斷本次循環(huán)是否為新一頁的數(shù)據(jù)循環(huán)，如是，則新建分頁對(duì)象，并關(guān)聯(lián)人物場景對(duì)象至新頁對(duì)象；如不是，則在已有分頁頁數(shù)的集合中循環(huán)查找當(dāng)頁對(duì)象，并關(guān)聯(lián)人物場景對(duì)象至本頁，根據(jù)循環(huán)次數(shù)/每頁數(shù)量值為當(dāng)前頁數(shù)的形式進(jìn)行邏輯流的數(shù)據(jù)分頁。

圖5 人物場景層面數(shù)據(jù)處理邏輯流

同理，對(duì)于素材“入庫年份”層面數(shù)據(jù)進(jìn)行類似的處理。入庫年份中存在當(dāng)年篩選條件時(shí)，單獨(dú)標(biāo)記了當(dāng)年層面，并傳遞給前端固定顯示，如圖6 所示。

圖6 入庫年份層面數(shù)據(jù)處理邏輯流

3.1.2 自更新邏輯流實(shí)現(xiàn)

根據(jù)設(shè)計(jì)方案，本文構(gòu)造并實(shí)現(xiàn)了一種可觸發(fā)頁面自渲染、邏輯流自驅(qū)動(dòng)的自更新邏輯流，如圖7 所示。此邏輯流中，輸入?yún)?shù)為“檢索ROOT”空對(duì)象，只包含與檢索條件對(duì)象的關(guān)聯(lián)關(guān)系，根據(jù)關(guān)聯(lián)查詢出相應(yīng)“檢索條件”對(duì)象，重新定義名為“NewRetrieveResult”的新“檢索條件”對(duì)象，以此新對(duì)象修改原“檢索ROOT”對(duì)象，更新原有關(guān)聯(lián)關(guān)系，達(dá)到觸發(fā)整體頁面更新的效果。

圖7 自更新邏輯流

3.1.3 智能媒資頁面與功能成果展示

通過相關(guān)邏輯流的設(shè)計(jì)與實(shí)現(xiàn)，本文完成了智能媒資頁面搭建與相關(guān)功能的實(shí)現(xiàn)。系統(tǒng)利用特征的查重檢索，減少因媒資冗余而引起的不必要的存儲(chǔ)成本，或避免因重復(fù)資訊造成的信息流內(nèi)容質(zhì)量低下的問題，賦予用戶多模態(tài)的高效、精準(zhǔn)、智能的搜索能力。用戶可通過點(diǎn)擊熱門人臉信息、熱門關(guān)鍵詞以及下方的智能標(biāo)簽信息進(jìn)行多維度、多模態(tài)的智能檢索，如圖8 所示。

圖8 智能媒資智能標(biāo)簽層面檢索模式和檢索返回

4 結(jié)語

本文依托“Z 視介”智能媒資后臺(tái)管理系統(tǒng)，系統(tǒng)已支持浙江廣播電視集團(tuán)電視劇、綜藝、動(dòng)漫等多類型專題節(jié)目素材智能化數(shù)據(jù)檢索，引入新形式、新架構(gòu)的智能化媒資多層級(jí)檢索邏輯流，極大地提高了系統(tǒng)檢索效率，縮短了響應(yīng)時(shí)間，為用戶提供了更快速、精準(zhǔn)、便捷的媒資檢索系統(tǒng)。