穿越時空的畫卷

“吁……畜牲!往哪跑?”趕驢少年喝道，“老人家!別怕別怕，您腳前面有條凳子，慢著……”

“哎哎哎，這橋啊!擠得越來越不像樣了……難為我這瞎老頭子，過趟橋真不容易啊!”

一老一少的對白，夾著些許河南口音的普通話，伴隨著盲人用竹杖探地聲、驢子受驚后的嘶鳴聲、和著橋上小販的吆喝聲、橋下船工的喊話聲、看熱鬧的起哄聲、橋下嘩嘩的河水聲……800多年前汴京虹橋上的繁華盛景撲面而來，北宋張擇端精心繪制的《清明上河圖》中一角市井風隋躍然眼前。

這不是在做夢，更不是在拍電視劇。而是由故宮博物院、微軟亞洲研究院和北京大學合作研發、精心打造的“走進清明上河圖”沉浸式數字音畫展示項目。6月23日，這一項目正式完成，今后觀眾在參觀故宮時，可以通過數字音畫的方式欣賞到北宋汴京的社會盛況。

《清明上河圖》是北京故宮博物院收藏的國寶級藏品，是現存的唯一把北宋的城市生活面貌、生活狀態清晰描繪的畫作，具有很高歷史價值和考證價值。它猶如一個長長的電影鏡頭般，從早春的郊野一直搖到城內市井中的深宅大院。泛黃的絹，細膩的筆觸，我們曾經聽說過它，可能看到過它的復制品，卻從來沒有真正去感受過它。

“走進清明上河圖”項目以觀眾體驗為核心，以視覺和聽覺沉浸的方式，采用超高清晰的數字影像最大程度地再現了原作的所有細節。穿越時空，置身市井繁華，讓我們一起“走進”清明上河圖，體驗背后同樣富有魅力的技術細節。

原味歷史

《清明上河圖》橫528.7厘米、縱24.8厘米。5米多長的畫卷中畫有500多個人物，各種牲畜60多匹，大小船只20多只，房屋樓閣30多棟，推車乘轎也有20多件，在方寸之間，重現歷史、讓觀眾感受歷史、且不改變原作一分一毫，這并不容易。

“數字清明上河圖”的研發過程始終以故宮博物院內、外的文物專家的研究為指引。微軟亞洲研究院首先按照史學專家的建議，把整幅圖畫分成了51個場景，700多段人物對話，并請專業配音演員配音，基于對歷史的遵循，配音演員在對場景的詮釋過程中，人物普通話中略帶河南口音。

在微軟亞洲研究院主管研究員徐迎慶的介紹中，數字化的經典畫卷在眼前徐徐展開：在無用戶交互時，數字清明上河圖會在雄壯交響樂的烘托下從右向左打開，引人入境，此為畫卷層，隨著畫面的播放，進入交互瀏覽的部分，生動的自然環境音效描繪了村野、田園、集市、街巷、大河、激流、險灘等場景音讓人仿佛置身其中；進入故事層，一個個生動詼諧的對話講述一個個有趣的故事，所點之處，就像在看一場情景劇，具體到對象層，聲音就能關聯到故事層中的每個任務或對象。

據徐迎慶介紹，基于散點透視的繪畫展示系統主要采用四項核心技術：基于散點透視的空間幾何模型，基于層次圖結構的立體聲時空標注模型、千兆級圖像及其多媒體數據的實時呈現、以及視聽覺感知一致的交互多媒體展示系統。

音畫汴京

與西方畫很大的不同是，中國畫中有許多個消失點，畫面中，畫家的視角是隨意移動的，因而產生了多個消失點，即散點透視。這樣，畫家可以打破空間的局限，從多個角度描繪客觀景物。清明上河圖卷就是中國繪畫中散點透視的運用的典范，如何還原《清明上河圖》所描繪的人間百態呢?

“作者在畫中的視角并不是連貫的，而是會隨時變換視點。首先，會通過把握不同物體的相對位置，來營造一種向后退縮的錯覺。同一場景中的人物、動物、樹木、建筑按照一個統一的傾斜度來排列，確保任何一處畫面本身的地面是連貫的。同時，對于前后物體之間形成迭壓關系，會利用筆墨的濃淡加強兩者之間的距離感，使人產生兩者位于同一縱深方向但遠、近不同的錯覺。”微軟亞洲研究院主管研究員徐迎慶解釋道。

研究計算機的人首先要講究算法，而算法都是基于幾何、基于數學的。但是，散點透視是沒有一個數學模型的，怎么辦?

必須提出新的散點透視幾何模型，實現全局的、連貫的三維空間和快速計算。“音畫系統希望讓人身臨其境，而在幾何關系上就難以實現聲音的淡入淡出等三維效果。我們必須提出一個新的散點透視的解決方案，能夠重建出全圖的連貫的三維空間來；另外，還要快速計算。我們的目的主要是在散點透視的空間，得到圖像上每一個聲源的幾何空間位置，這樣當參觀者走近的時候，就能夠精確的知道，應該走到哪了，聲音在哪里。”徐迎慶對記者介紹。

原作者的不同視角就是對畫中立體聲進行空間定位的前提。先確定畫家對局部場景的仰角，然后，通過把畫中不同視角的對象投影在統一的地平面，進而確定物體的空間位置和場景間距離。為了實現場景和對應音樂的實時調用，又在不同層次的畫中分為1800多塊，進行交互式操作的時候，系統就會把它最臨近的一些圖像都調進來，而不是所有的圖像，這有效地保障了效率。對于音頻文件，分別規定播放的順序和停留時間，這樣用戶在交互的時候就可以聽到根據層次圖結構而組織的故事了。

數字化生存

走進清明上河圖項目提供了一種身臨其境的體驗方式和對文化遺產的理解渠道。

以虹橋片段為例，《走進清明上河圖》項目中使用了百余條聲音素材來再現這一場景。在聲音布局的整體節奏上，一方面著力渲染虹橋場景緊張、熱鬧的氛圍，一方面盡量貼近原作緊湊中猶帶從容的感覺，遵循畫面內斂的、“勁發而不露”的古典品質。在人物對白中，盡可能在簡短的語言中將圖中的歷史信息表達出來。

“‘走進清明上河圖’項目，不僅用高精度的數字圖像如實再現其藝術觀賞魅力，更融入了數字技術的新內涵：交互性與沉浸感。古老文化與現代技術完美結合在了一起，觀眾可以在多點觸摸屏上瀏覽高清晰的《清明上河圖》影像，任意放大、縮小和移動。同時，配合畫面實時合成的聲音素材，構建出逼真的立體空間環境，使觀眾猶如置身北宋時期的汴梁城，聆聽市井喧嘩、人物故事。”故宮博物院常務副院長李季表示。

微軟亞洲研究院和北京大學從技術上提供支持，從采集圖像到考慮方案，接下來的實施、測試和安裝，項目用了一年時間完成，當最終匯報的時候，故宮博物院的項目負責人難耐激動之情，“這個就是我們想要的，我們這么多年一直想要這樣一個系統。”

“此次與故宮博物院和北京大學展開合作是博物館、企業以及高校依托各自優勢共同推動文化遺產保護與傳承的有益嘗試。我深信，這一科技與人文交匯、多方協作創新的有益嘗試會為今后文化遺產的保護工作開啟一個新的篇章，希望在不久的將來我們能看到更多故宮的傳世珍寶以數字方式呈現給大家。”微軟亞洲研究院院長洪小文說。

“這只是一個起點。”徐迎慶對記者表示，他們的后續工作就是把應用于清明上河圖的技術推廣至其他散點透視古畫，并進一步完善和提高標注系統的自動化程度。文化遺產的數字化生存讓更多的人接觸到古人的智慧、民族經典。而對于一個專注與創新的公司來說，技術此刻的價值不僅意味著顛覆，在某些方面，它讓人類更好地感知當下的，過去的和未來的世界。