人工智能及智能化影像之技術與應用

張樹武

【摘? ?要】 結合我國新一代人工智能發展規劃，簡要剖析人工智能的內涵和發展現狀，并解析智能化影像技術的主要應用 方向。

【關鍵詞】 人工智能;智能化影像;技術;應用

文章編號： 10.3969/j.issn.1674-8239.2018.09.003

近年來，人工智能已成為信息技術及應用領域最熱門的名詞。那么，如何定義人工智能？作為文化領域智能化技術的主要代表——智能化影像又有哪些特征？筆者將結合我國新一代人工智能發展規劃，簡要剖析人工智能的內涵和發展現狀，并解析智能化影像技術的主要應用方向。

1? 人工智能國家發展戰略

2017年7月8日，經中央政治局常委會、國務院常務會議審議通過，國務院印發《新一代人工智能發展規劃》（國發〔2017〕35 號）。《規劃》指出：“當前，世界主要發達國家把發展人工智能作為提升國家競爭力、維護國家安全的重大戰略，人工智能作為新一輪產業變革的核心驅動力，已經成為國際科技競爭的新焦點，是未來經濟發展的新引擎”。

《規劃》描繪了未來十幾年我國人工智能發展的藍圖，確立了“三步走”目標：到2020年人工智能總體技術和應用與世界先進水平同步;到2025年人工智能基礎理論實現重大突破、技術與應用部分達到世界領先水平;到2030年人工智能理論、技術與應用總體達到世界領先水平，成為世界主要人工智能創新中心。

《規劃》提出6個方面重點任務：一是構建開放協同的人工智能科技創新體系，從前沿基礎理論、關鍵共性技術、創新平臺、高端人才隊伍等方面強化部署;二是培育高端高效的智能經濟，發展人工智能新興產業，推進產業智能化升級，打造人工智能創新高地;三是建設安全便捷的智能社會，發展高效智能服務，提高社會治理智能化水平，利用人工智能提升公共安全保障能力，促進社會交往的共享互信;四是加強人工智能領域軍民融合，促進人工智能技術軍民雙向轉化、軍民創新資源共建共享;五是構建泛在安全高效的智能化基礎設施體系，加強網絡、大數據、高效能計算等基礎設施的建設升級;六是前瞻布局重大科技項目，針對新一代人工智能特有的重大基礎理論和共性關鍵技術瓶頸，加強整體統籌，形成以新一代人工智能重大科技項目為核心、統籌當前和未來研發任務布局的人工智能項目群。

圍繞《規劃》的總體部署，各部門和地方正在加緊貫徹落實相關政策措施，加快部署相關方向發展計劃，搶占人工智能發展的先機和制高點。

2? 理解人工智能內涵

所謂人工智能，就是使機器能夠模擬、延伸和擴展類人智能的理論、方法、技術及應用系統。歸納下來，它主要包括三方面的內容。首先是對人及動物組織機理的研究，主要剖析活體動物的大腦功能組織機制及肢體運動結構。二是認知智能，即分析腦及肢體活動內在規律及物理原理，建立類腦的思維組織與理解模型及肢體運動仿生模型，這包括了思維科學、認知學、語言學、心理學及仿生學等多個門類及跨學科的研究。三是感知智能，與認知智能相對應，感知智能主要從腦及肢體活動外在表現來識別、計算和模擬仿真人類的智能，主要采用的是統計和模式學習的計算方法，并不要求一定具有物理意義上的原理解釋。

隨著計算機處理能力的快速增長和感知智能技術的重大突破，機器與人類比較，在計算和分析處理海量數據的效率優勢日益明顯，在某些方面超越了類人智能，逐步形成了特有的機器智能。人工智能的外延逐步擴大，從單一的模擬類人智能延伸、擴展，形成了人機混合智能。另一方面，從腦思維活動和肢體運動兩種不同的智能模擬形態也衍生形成了智能計算和智能機器人兩個學術研究門類。

因此，綜合來講，所謂的“智能”就是使機器有實時識別和判斷的能力，有自適應決策和行動的機制（圖1）。

3? 人工智能發展現狀與趨勢

自1956年“人工智能”概念提出以來，人工智能發展經歷了60余年的曲折發展歷程。到目前其發展狀況可以概括為如下四點。

3.1? 腦功能組織機理研究尚處于理論探索階段

腦神經組織機理研究是利用各種成像技術及電生理技術在宏觀、介觀及微觀尺度上建立人腦和動物腦的腦區、神經元群或神經元之間的連接圖（腦網絡），在此基礎上研究腦網絡拓撲結構、腦網絡的動力學屬性、腦功能及功能異常的腦網絡表征、腦網絡的遺傳基礎，并對腦網絡進行建模和仿真，以及實現這些目標所要的超級計算平臺（圖2）。

3.2? 認知智能逐步被發現和應用

從人類的語言組織、視聽認知及表達、思維推理及記憶等方面，研究自然語言結構化分析、人的視覺注意機制、聽覺及發音機理、自主學習記憶及知識推理等理論與方法，構建以自主學習為核心的多腦區協同認知腦計算模型，使機器具備人腦的多種認知能力及其協同機制（圖3）。

同時，模擬人及動物運動機理的仿生運動學研究取得一定突破，智能機器人成為仿生運動學研究及應用的重要載體。國內外科學家都在探索不同于螺旋槳推進的其他高效率、機動靈活的水下推進方式。“仿生機器魚”（圖4）作為魚類推進機理和機器人技術的結合點，為研制新型的水下航行器提供了一種新思路。

日本的機械臂（圖5）采用了“生物混合（biohybrid）”設計，模擬人類手指的結構和功能，用兩組大鼠肌肉來控制機械臂關節。而且，這個使用了活體肌肉的機械指，還能相互協作，提起重量更大的東西。

3.3? 以統計模式學習為代表的感知智能取得重要突破，成為人工智能應用創新的理論基礎

統計模式學習通過基于海量計算的數值模擬逼近、概率判定和自適應學習不斷修正和改善感知智能模型，隨著深度神經網絡學習算法的重要突破，其對視音頻及語言的識別與認識性能取得大幅提高，不斷逼近到類人的感知程度，而被產業界逐步認可、接受和應用。

深度神經網絡與強化學習的結合，能夠使得AlphaGo超過人類頂尖棋手，進一步通過強化學習，AlphaZero可以不依賴人類知識無師自通，使機器自主智能超越單純的類人智能。

生成對抗學習（GAN）基本思想源自博弈論的二人零和博弈，分別構建模式識別生成器和判別器，通過相互博弈優化生成器和判別器，通過對抗式訓練增強了協同判別能力。

3.4? 類腦與計算感知混合的機器自主智能將成為未來“智慧社會”的主要源泉

借助信息技術的飛速發展，人類社會已從單純的現實社會過渡為數字化社會，進而發展到現在的信息化社會。隨著類腦與計算感知混合的機器自主智能的飛速發展，AI向社會各行各業快速滲透融合，進而重塑整個社會的發展。人類社會在不久的將來將進入超越人類智慧的人機混合和虛實結合的“智慧化社會”。

事實上，AI熱的再次興起與以云計算、大數據、物聯網、5G為代表的現代信息技術快速發展密不可分，它是未來信息技術發展的核心突破點。可以說，“新一代人工智能”是以現代信息技術為基礎，面向未來智慧化社會構建的技術應用綜合集成體（圖6）。

總體來講，當前人工智能理論與技術發展迅猛，無論是基礎理論創新、關鍵技術突破，還是規模產業應用，都取得了豐碩的成果。人工智能因其廣闊的應用前景和重大的戰略意義，近年來日益得到社會各界的高度關注。但真正的理論突破尚未到來，產業應用尚處在初級階段，仍存在諸多瓶頸、盲區和局限。路漫漫其修遠兮！

4? 解析智能化影像

這里所講的智能化影像（Visual Entertainment）是指將計算機圖形學、計算視覺、虛擬現實、三維數字化、媒體大數據等具有變革性的人工智能新技術綜合應用于影視、演藝等文化娛樂領域，為新時期文化創新發展提供源泉和動力，提升文化的創作力、表現力、感染力和傳播力。事實上，文化娛樂是當前人工智能技術最具代表性的應用領域之一。智能化影像涉及到人工智能諸多應用技術，結合文化娛樂實際應用場景，智能化影像具體表現可歸納為創作流程可視化、內容展現沉浸化、網絡傳播透明化和技術裝備智能化四個方面。

4.1? 創作流程可視化

智能化技術使文化娛樂產品的創作和制作流程發生了革命性變革，通過可視化交互技術，大大提高了文化創作的效率和質量、降低了制作成本（圖7）。

《鼠膽英雄》電影全篇預演

北京電影學院未來影像高精尖創新中心（AICFVE）采用大規模、大范圍外景的快速獲取與資產生成、多人VR協同創意環境與交互、多人光混動捕混合現實、數字排演、演出場景建模與設備參數仿真等智能化虛擬預演技術為電影《鼠膽英雄》進行了全篇預演（圖8），提升了電影制作的效率和質量。

2018 平昌冬奧會“北京8分鐘”

北京電影學院和北京理工大學團隊合作承擔2018平昌冬奧會“北京8分鐘”彩排技術支持工作，在參與表演創意設計和彩排的8個多月的過程中，針對“8分鐘”表演參演要素多、創意過程復雜、排練關聯度高的特點，利用影視虛擬制作技術和數字表演與仿真技術，專門研發了《創意設計全景虛擬仿真系統》和《訓練彩排與數字驗證系統》，保證了前期創意設計與現場排練工作的順利進行（圖9）。

歌劇《馬克·波羅》

“絲綢之路國際劇院聯盟”原創歌劇《馬可·波羅》，主要用到了預演和自動跟蹤兩大功能（圖10），可以在預演里進行虛擬與實際舞臺1：1比例搭建和舞臺整體效果演示，同時可以根據劇本進行場景變化預覽走位、素材視覺預覽編排、流程走臺編排、實時預覽編程等，極大地方便了國際合作團隊的異地工作，加深了國際藝術交流和技術合作;也簡化了舞臺上的工作，縮短了裝臺合成時間，提高了舞臺利用率和整體工作效率。

4.2? 內容展現沉浸化

鄧麗君全息真人秀

日本綜藝《金sma》去年的一期節目中，利用3D投影技術“復活”了鄧麗君，并獻唱了一首《我只在乎你》的日文版《時の流れに身をまかせ》。一首歌結束后，“鄧麗君”消失。盡管在電視播出中增加了后期編輯合成技術處理，但其不同角度的逼真效果仍為人稱道（圖11）。

MSG Sphere 未來體驗中心

MSG Sphere作為麥迪遜廣場花園的增強型沉浸式體驗中心，正在試圖打造成為下一代演出場館。其最大的特色是擁有一塊約15 000 m2的球形LED，能夠提供極為沉浸的視聽體驗。從外表來看，它采用球體設計，球體外表面擁有LED屏幕，能夠在不同的場景活動中顯示不同的畫面。而在其內部則擁有一塊約15 793 m2的LED屏幕。據介紹，MSG 計劃采用10臺8K攝像機來捕獲360°全景視頻，以此獲得更高清的畫面。Sphere內部還采用了一套自適應聲學系統，其特點是能夠把聲音傳遞至指定的區域，并且也能夠將聲音以均勻的音量從舞臺擴展出去，不會受到場館內人員的影響，人們總是能夠聽到更清晰的、高保真的聲音。此外，場館內部還具有基于氣味的嗅覺系統和具有物理觸覺的地板反饋系統，以此來進一步提升沉浸感（圖12）。

上海迪士尼 4D 影像超感官互動體驗 （圖13）

4.3? 網絡傳播透明化

侵權盜版是影響文化內容產品網絡化傳播的最嚴重問題之一。數字版權水印標識技術可實現文化內容作品網絡化傳播全過程透明化追蹤，媒體指紋技術和版權大數據分析有助于網絡侵權的鑒別和取證。中國科學院自動化研究所開發的全媒體版權監測平臺可實現包括音、視、圖、文等媒體類型作品在各類網絡平臺上的多維度全時段監測（圖14），可保障內容作品在授權、使用、傳播各途徑的版權價值最大化。該平臺已應用于騰訊企鵝號以及國內多家地方衛視和影視公司的熱門綜藝視頻版權監測。

4.4? 技術裝備智能化

歌劇《馬克.波羅》

歌劇《馬可·波羅》的舞美設計方案出自于英國“設計大牛”盧克·霍爾斯，最大的設計亮點就是旋轉舞臺（圖15），他表示旋轉的舞臺象征著“文明的進程”與“文化的交融”。該劇將視頻技術與機械運動有機結合，這個系統的特點就是能同時控制燈光、投影畫面、舞臺轉盤等多個技術模塊。

燈光追蹤（ClayPaky）

在 2018 德國法蘭克福國際舞臺燈光及音響技術展覽會上，ClayPaky 展出了一款 ZAC-EYE 離線追光燈產品。Zac-Eye的3D傳感器可以檢測舞臺上的多個人形，并將其區分開（圖16）。演員可以在場景中自由移動，并被3D傳感器檢測到，連接的燈具進行實時跟蹤，可以完全替代追光師的手工操作。視覺跟蹤是計算視覺領域的一項基礎研究，已經具有了較成熟的算法，但在舞臺智能化裝備中還是剛剛開始應用。相信未來會有更多的智能化技術應用在舞臺裝備中，提升舞臺裝備的自動化和智能化水平。

此外，還有像生物特征識別、語音控制、語言分析、智能機器人等諸多較成熟的模式識別與機器視覺智能化技術可以應用在智能化影像中，“智能+影像”將會成為文化應用領域的核心技術支撐（圖17）。

4.5? 部分前瞻性技術探索

基于浸入變換的三維物體重建（AICFVE-SIGGRAPH2017）

利用物體排水體積等于物體體積這一簡單觀測巧妙地將表面重建問題轉換為體積問題。通過液體技術重建出來的模型與原始的三維模型幾乎一模一樣，由此開啟了非光學三維形狀獲取技術的新世界的大門。《Dip Transform for 3D Shape Reconstruction》入選 SIGGRAPH2017 大會，并被大會官方選為重點推薦的六篇論文之一，獲得了全球媒體的廣泛轉載。

基于渦流解算流體模擬（Xinxin Zhang etal，SIGGRAPH-Asia 2014）

張心欣等提出的基于渦流解算流體模擬（IVOCK）算法可以近似仿真模擬煙霧、海嘯等流體動力學運動軌跡，在美國主流特效論壇CG Channel上，將張心欣與奧斯卡技術獎獲得者Robert Bridson共同研發的IVOCK模擬算法評為2015 年計算機圖形圖像年會（SIGGRAPH）的高亮。

場景燈光自適應變換（Relighting）

照明是攝制過程中非常重要的一環，攝影就是用光進行造型的藝術，照明的效率與效果直接影響著最終的攝制質量。AICFVE 中心的研究人員正在嘗試研究高效的軟硬件燈光自適應匹配技術。

5? 結語

人工智能讓社會充滿智慧！智能化影像讓文化炫麗多彩！

注：本報告部分圖片和內容取自中科院自動化所、譚鐵牛院士、北京電影學院未來影像高精尖創新中心及公共網絡相關研究報告。謹此致謝！

Artificial Intelligence and Smart Images

- Technology and Application

ZHANG Shu-wu

（Institute of Automation， Chinese Academy of Sciences， Beijing 100190， China）

【Abstract】Taking the development plan for China's new generation of artificial intelligence into consideration， this report will briefly analyze the connotation and status quo of artificial intelligence， and analyze the main applications of visual entertainment technology.

【Key Words】artificial intelligence; smart images; technology; application

In recent years， artificial intelligence has become the hottest term in the field of information technology and its application. So how do we define artificial intelligence？ What are the characteristics of visual entertainment， the main representative of intelligent technology in the cultural field？ Taking the development plan for China's new generation of artificial intelligence into consideration， this report will briefly analyze the connotation and status quo of artificial intelligence， and analyze the main applications of visual entertainment technology.

1? National Development Strategy for Artificial Intelligence

On July 8， 2017， the State Council issued the Development Plan for a New Generation of Artificial Intelligence （[2017] No. 35）， which was reviewed and approved by the Standing Committee of the Political Bureau of the CPC Central Committee and the Executive Meeting of the State Council. The plan pointed out that "currently， the world's major developed countries regard the development of artificial intelligence as a major strategy to enhance national competitiveness and safeguard national security. Artificial intelligence， as the core driving force of a new round of industrial transformation， has become a new focus of international science and technology competition. It is the new engine for future economic development."

The plan draws the blueprint for the development of artificial intelligence in China in the next decade， and establishes the "three-step" goal： by 2020， the overall technology and application of artificial intelligence will be synchronized with the world's advanced level. By 2025， a major breakthrough will be achieved in the basic theory of artificial intelligence， and the country will lead the world in terms of its technology and application. By 2030， China will be a world leader in the theory， technology and application of artificial intelligence and become a major artificial intelligence innovation center in the world.

The plan proposes six key tasks： the first one is to build an open and collaborative artificial intelligence technology innovation system. The second one is to cultivate a high-end and efficient intelligent economy. The third one is to build a safe and convenient intelligent society. The fourth one is to strengthen the integration of military and civilian in the field of artificial intelligence. The fifth one is to build a ubiquitous and efficient intelligent infrastructure system. The sixth one is to arrange major scientific and technological projects with foresight.

2? Understanding the meaning of artificial intelligence

The so-called artificial intelligence is the theory， method， technology and application system that enables machines to simulate， extend and expand humanoid intelligence. In summary， it mainly includes three aspects. The first one is the study of the mechanism of human and animal tissues， which mainly analyzes the brain function organization mechanism and limb movement structure of living animals. The second one is cognitive intelligence， which analyzes the internal laws and physical principles of brain activities and limb movements， and establishes brain-like thinking organization and understanding models and bionic limb movement models. It involves several categories of researches and interdisciplinary ones， like thinking science， cognitive science， linguistics， psychology and bionics. The third one is perceptual intelligence， which is the counterpart of cognitive intelligence. Perceptual intelligence mainly recognizes， calculates and simulates human intelligence by the external manifestations of brain activities and limb movements. It mainly uses statistical and pattern learning calculation methods， and does not necessarily require a theoretical explanation in the physical terms.

With the rapid growth of computer processing capability and major breakthroughs in perceptual intelligence technology， machines have an increasingly obvious advantage in calculating， processing and analyzing massive data over humans. In some respects， they have surpassed humanoid intelligence and gradually formed unique machine intelligence. The extension of artificial intelligence has gradually expanded from the simple simulation of humanoid intelligence to a hybrid of human and machine intelligence. On the other hand， two academic research categories， intelligent computing and intelligent robots， have developed from the two different intelligent simulation forms of brain thinking activities and limb movements.

Therefore， in general， the so-called "intelligence" is to endow the machine with real-time recognition and judgment abilities and the mechanism of adaptive decision-making and action.

3? Status quo and trends of artificial intelligence development

Since the concept of “artificial intelligence” was put forward in 1956， the development of artificial intelligence has experienced a winding development process of more than 60 years. Up to now， its development status can be summarized into the following four points.

3.1? Research on brain function organization mechanism is still at the stage of theoretical exploration

3.2? Cognitive intelligence is gradually discovered and applied

3.3? Important breakthroughs have been made in perceptual intelligence represented by statistical pattern learning， which has become the theoretical basis for innovation in artificial intelligence applications

3.4? Autonomous machine intelligence with brain-like and computational perception will become the main source of the future "smart society"

As information technology develops rapidly， human society has transitioned from a simple real society to a digital society， and has developed into the current information society. With the rapid development of autonomous machine intelligence that features a mixture of brain-like and computational perception， AI rapidly penetrates and integrates into all walks of life in society and reshapes the development of society as a whole. In the near future， human society will become a "smart society" of man-machine hybrids and a combination of virtual and real worlds， which go beyond human wisdom.

In fact， the resurgence of AI fever is inseparable from the rapid development of modern information technology represented by cloud computing， big data， Internet of Things， and 5G. It is the core breakthrough point for the development of information technology in the future. It can be said that "a new generation of artificial intelligence" is an integration of technology applications based on modern information technology and built for the future intelligent society.

Generally speaking， the current theories and technologies of artificial intelligence are booming. Whether in terms of basic theoretical innovation， key technology breakthroughs or sizeable industry applications， it has achieved fruitful results. Due to its broad application prospects and significant strategic significance， artificial intelligence has received increasing attention from all walks of life in recent years. However， the real theoretical breakthrough has not yet been made， and the industrial applications are still at the initial stage. There are still many bottlenecks， blind spots and limitations. There is still a long way to go！

4? Analysis of visual entertainment

Visual entertainment discussed here refers to the comprehensive application of new innovative AI technologies such as computer graphics， computational vision， virtual reality， three-dimensional digitization and media big data in the cultural and entertainment fields such as film and television， performing arts， and so on. It provides the source and power for the cultural innovation and development in the new era and enhances the creativity， expressiveness， appeal and communication of culture. In fact， cultural entertainment is one of the most representative applications of artificial intelligence technology. Visual entertainment involves many application technologies of artificial intelligence. Combined with the real application scenarios of cultural entertainment， the specific elements of visual entertainment can be summarized into four aspects： visualized creation process， immersed content presentation， transparent network communication and intelligent technical equipment.

4.1? Visualized creation process

The intelligent technology has revolutionized the creation and production process of cultural and entertainment products. Through visual interaction technology， the efficiency and quality of cultural creation has been greatly improved， and the production cost has been reduced.

4.2? Immersed content presentation

4.3? Transparent network communication

Infringement and piracy are among the most serious problems that affect the networked dissemination of cultural content products. Digital copyright watermarking technology can transparently track the whole process of the network transmission of cultural content products. Media fingerprint technology and copyright big data analysis are helpful for the identification and evidence obtainment of network infringement. The all-media copyright monitoring platform developed by the Institute of Automation of the Chinese Academy of Sciences can realize multi-dimensional and full-time monitoring of several media types including audio， video， graphics and text works on various network platforms， which can guarantee the maximization of copyright value in the authorization， use and dissemination of content works. The platform has been applied to Tencent QQ and the monitoring of popular variety video rights of many local satellite TV and film companies.

4.4? Intelligent technical equipment

In addition， many more mature pattern recognition and machine vision intelligence technologies such as biometrics， voice control， language analysis and intelligent robots can be applied to visual entertainment. “Intelligence + imaging” will become the core technical support for cultural applications.

4.5? Exploration of some forward-looking technologies

Dip Transform for 3D Shape reconstruction （AICFVE-SIGGRAPH2017）

The simple observation that the object's drainage volume is equal to the volume of the object helps transform the surface reconstruction problem into a volume problem. The model reconstructed by liquid technology is almost identical to the original three-dimensional model， thus opening the door to a new world of non-optical three-dimensional shape acquisition technology.

Fluid simulation based on vortex calculation （Xinxin Zhang et al， SIGGRAPH-Asia 2014）

The vortex-based fluid simulation （IVOCK， Integrated Vorticity of Convective Kinematics） algorithm proposed by Zhang Xinxin et al. can simulate the hydrodynamic motion trajectories such as smoke and tsunami.

Adaptive transformation of scene lighting （Relighting）

Lighting is a very important part of the filming process. Photography is the art of modeling with light. The efficiency and effect of lighting directly affect the final filming quality. Researchers at the AICFVE Center are researching on efficient adaptive hardware and software lighting matching techniques.

5? Conclusion

Artificial intelligence makes society full of wisdom！ Visual entertainment makes culture dazzling and colorful！