還記得電影《銀翼殺手2049》里面的經(jīng)典一幕嗎？AI角色JOI從周到、暖心的知己，快速轉(zhuǎn)換成靦腆而富有魅力的女子。從這個鏡頭之后，觀眾就明白原來JOI是一個認知虛擬人全息影像，也是男主角K殘酷的生活中唯一一個有意義的關(guān)系。

 

▲ 電影《銀翼殺手2049》

 

前段時間，我們?yōu)榇蠹規(guī)砹岁P(guān)于虛擬人的認知科普、商業(yè)價值探索與應(yīng)用的系列文章——【未來進行時-1 | 歡迎來到虛擬人時代！】和【未來進行時-2 | 虛擬人多場景應(yīng)用 賦能品牌強勢破圈】，今天再接再厲推出第三篇-黑科技篇 ——

 

“因為黑科技才是讓虛擬人前進的驅(qū)動力，這些黑科技正在變得越來越酷炫，或者越來越簡單，并成為虛擬人得以在未來被廣泛應(yīng)用的基礎(chǔ)”。

 

在進行黑科技介紹之前，讓我們一起來學(xué)習(xí)當前一個非常重要的研究成果“科特勒最新的研究成果：營銷5.0”

 

營銷5.0的核心，

 

是科技+人文，

 

給營銷帶來重大新驅(qū)動。

 

這其中，“人文”和IP緊密相關(guān)，從內(nèi)容營銷到社交營銷，從全新品牌打造到成熟品牌迭代更新，都離不開IP化的推動。而“科技”是關(guān)鍵的幕后推手，如果沒有科技的變革和推動，讓過去彼此分離的商業(yè)經(jīng)營與文創(chuàng)內(nèi)容緊密結(jié)合起來，就談不上營銷和品牌的迭代。

▲ 過去：企業(yè)的商業(yè)運營是商業(yè)運營和文創(chuàng)內(nèi)容的聯(lián)系，只能靠廣告、公關(guān)等來結(jié)合。

現(xiàn)在與未來：商業(yè)運營和文創(chuàng)內(nèi)容之間形成彼此需要、高度融合的關(guān)系，中間的催化劑是不斷變革發(fā)展的黑科技。

 

之前我們了解到虛擬人的商業(yè)運用是借助新科技讓商業(yè)經(jīng)營與IP文創(chuàng)融合的顯著代表，接下來我們將逐一介紹驅(qū)動虛擬人飛速發(fā)展背后的黑科技，及其可能帶來一些變革。

 

一

虛擬人

數(shù)字人大家庭

 

虛擬人與數(shù)字人兩個概念多數(shù)時候可以通用，相比之下，虛擬人更側(cè)重其在外觀、智能等方面與人的相似性，在難辨真假的同時可以進行交互。

 

對于虛擬人的技術(shù)分類，我們可以從風格、創(chuàng)作主體、應(yīng)用場景、驅(qū)動方式幾個方面進行了解：

 

▲ 虛擬人\數(shù)字人大家庭

?按照美術(shù)風格分：可以大體劃分為高保真風格、寫實風格與卡通渲染。其中寫實與卡通是一種譜系而非存在涇渭分明的界線，而卡通風格也可進一步細分，比如美式卡通、韓系風格、二次元風格等。

?按創(chuàng)作主體分：虛擬角色的創(chuàng)造者，包括專業(yè)創(chuàng)作者從創(chuàng)意想象出發(fā)，經(jīng)過2D原畫—3D建模—綁定—動畫等流程制作出的，屬于PGC類型；一般用戶通過專業(yè)的平臺工具，將自己的照片、視頻上傳后自動化生成，或組合已有的面部特征、修改參數(shù)進行“捏人”的，屬于UGC類型。

?按應(yīng)用場景分：虛擬人可延展的場景極廣，包括泛娛樂偶像、直播帶貨、虛擬陪伴、虛擬客服、教育培訓(xùn)、文旅城鎮(zhèn)、博物館、影視制作等等。

?按驅(qū)動方式分：也就是讓角色動起來的方式，這里有可以手動調(diào)整動畫的關(guān)鍵幀，再平滑模擬出過渡幀，實現(xiàn)角色動畫；或像MMD（MikuMikuDance，虛擬角色跳舞）那樣，導(dǎo)入預(yù)先制作好的動畫方案，讓角色模型舞動起來；還可以通過面部、身體動作捕捉，將真實運動映射到虛擬角色的身體，部分虛擬主播、虛擬偶像就采用這種方案。

 

二，

從很像到很真

影視級照片建模技術(shù)

 

制作實時渲染、高保真、可交互的數(shù)字人類，需要影視、游戲兩個領(lǐng)域技術(shù)的取長補短。

 

通過傳統(tǒng)流程制作出的游戲角色，仍與真人在細節(jié)上有一定差距。角色制作遵循一條由虛向?qū)嵉穆窂剑话懔鞒虨?D原畫設(shè)計—3D建模—貼圖—骨骼綁定—動畫制作。

 

基于顯卡運算能力和引擎渲染能力的不斷攀升，寫實風格的角色效果正不斷向影視級靠近：角色可使用的面數(shù)不斷增加，材質(zhì)提升，細節(jié)完善，這從《古墓麗影》系列主角勞拉的形象變化可見一斑。

 

▲歷代勞拉，越發(fā)真實

 

這屬于photogrammetry（攝影測量法）的范疇，即使用單個場景拍攝的多張不同角度照片來重建3D空間中的 CG 模型?；貞浵隆逗诳偷蹏分械淖訌棔r間特效，現(xiàn)場有多臺攝像機，用不同角度的影像重建出可360°旋轉(zhuǎn)的場景。

 

▲《黑客帝國》子彈時間

 

Light stage技術(shù)正是通過構(gòu)造相機陣列，以多角度、高精度照片，既還原拍攝人物的三維結(jié)構(gòu)，也獲取面部的反射信息，從而能在不同環(huán)境光下重構(gòu)人臉模型光效。

 

Light stage在不斷迭代中解決了技術(shù)和工程難點，包括高精度皮膚紋理合成、光照與環(huán)境隨時統(tǒng)一、更準確快速的采集過程。

 

▲ Light stage5 ，《本杰明巴頓奇事》《蜘蛛俠3》《阿凡達》等均使用過

 

來自影視的照相建模、高精度3D掃描、面部和動作捕捉相關(guān)技術(shù)，已經(jīng)應(yīng)用到游戲的實時渲染領(lǐng)域，為表現(xiàn)力帶來飛躍。

 

接下來，如何進一步滿足虛擬人實時交互的需求呢，比如，讓演員的表情與虛擬人達成“神同步”？多個技術(shù)團隊展開了探索。

 

 三，

從形似到有神：

AI助力多樣化人物驅(qū)動

 

為了讓虛擬人和我們自然地交流互動，騰訊NExT Studios與AI Lab在虛擬人Siren（演員實時表情動作驅(qū)動）—Siren AI（語音文字驅(qū)動）—Matt AI（更真實情感表達）項目歷程中，逐步探索“秀外慧中”的全方位能力。

 

2018 年 5 月， Siren 驚艷亮相，激起了人們對虛擬人技術(shù)的無限暢想。

 

Siren的特性是實時表情動作驅(qū)動，涉及多方向的技術(shù)突破，在多國企業(yè)協(xié)同合作下完成：美國的Epic發(fā)起和協(xié)調(diào)項目，以Unreal引擎整合模型、貼圖、動作等數(shù)據(jù)資源；塞爾維亞的3Lateral制作高精度人物模型，同時建立綁定，為演員和虛擬人的同步搭建轉(zhuǎn)換橋梁；英國的Cubic Motion，負責實時的表情捕捉；NExT作為項目所有者，提供基于Unreal引擎的高質(zhì)量的人物渲染，也積極參與研發(fā)的全過程。

 

▲ Siren（塞任）意為古希臘傳說中半人半鳥的女海妖。而她的面部形象，來自于中國的女演員姜冰潔。

 

技術(shù)的進步讓Siren擁有了逼真的3D形象，我們能否進而賦予她精致有趣的“靈魂”呢？

 

2018 年下半年的 Siren AI 項目，旨在讓虛擬人不止步于“提線木偶”，將智能音箱、語音助手、與人自主交互的能力賦予Siren，讓她獨立做到能聽、會說。

 

這涉及多個AI研究和工程領(lǐng)域，包括語音識別（ASR）、自然語言處理（NLP），語音合成（TTS），語音驅(qū)動面部動畫（ADFA）。難點集中在最后一步，核心是利用AI訓(xùn)練出語音/文字和面部模型肌肉控制間的對應(yīng)關(guān)系，然后進入渲染引擎、驅(qū)動虛擬人。

 

▲ 原理展示

 

2019年，NExT自主制作了男性虛擬人Matt，自主完成一整套高保真虛擬人的研發(fā)流程，并探索語音自驅(qū)動且能表達情緒的虛擬人技術(shù)，將語音、情感、生動的面部表情緊密關(guān)聯(lián)起來。

▲ Matt AI 一個讓語音驅(qū)動的虛擬人能表達情感

 

為此，團隊建立了一套精確的面部動捕流程，以不同情感下的動作捕捉，來訓(xùn)練語音驅(qū)動模型，最終構(gòu)造了一個長約20個小時、13339條語句的，包含語音、面部運動和身體運動的多模態(tài)訓(xùn)練數(shù)據(jù)集。在Siren AI 基礎(chǔ)上，增加情感維度數(shù)據(jù)，讓Matt擁有微笑、蹙眉等微表情，多了更自然的“人情味”。

 

▲ Matt AI訓(xùn)練過程的示意圖

 

未來，讓虛擬人表現(xiàn)更自然的驅(qū)動方式會更多樣化。

 

特別是面部表情、眼神、肌肉運動的細膩流暢，這既需要更多的真實數(shù)據(jù)、更優(yōu)質(zhì)的算法，也需要生物學(xué)、圖形學(xué)、影視學(xué)等多方跨界支持。

 

軀體動作的加強也是未來方向，個性化的動作組合能彰顯虛擬人迥異的性格，增加親和力和可信度，這對虛擬主持、主播、客服等需要和直面用戶的領(lǐng)域十分重要。此外，我們也看到了從用遙感和按鍵來“操作”角色，到實時動補、語音和文字帶動角色的技術(shù)變化，相信未來也會有更多更直觀、適合每個人的驅(qū)動方式出現(xiàn)。

 

當一個亦真亦幻的世界離我們不會太遠時，真實人與虛擬人交織的狀態(tài)也就成為必然

 

▲ HBO美劇《西部世界》中的機器“接待員”Dolores

 

隨著虛擬人技術(shù)的突飛猛進，越來越多的C端消費者和B端用戶對這一領(lǐng)域開始充滿熱情。虛擬人IP以其高識別度、靈活性、交互性和可控性，在企業(yè)與未來消費者的溝通互動中發(fā)揮了至關(guān)重要的價值意義。

 

與此同時，虛擬人在開發(fā)完成后邊際成本低、邊際收益高的特點也不會給企業(yè)帶來沉重負擔，有著輕量化運營特點的虛擬人IP反而能夠給企業(yè)帶來更多可能性——譬如除廣告營銷外，它們還能化身客服人員及時與消費者答疑互動。

 

因此我們不妨大膽猜測，在不遠的將來，虛擬人有望成為各大企業(yè)、品牌和機構(gòu)的標配應(yīng)用形象。

 

▲ 虛擬人AYAYI參加嬌蘭活動

 

作為構(gòu)建虛擬人IP應(yīng)用生態(tài)圈中的重要一環(huán)，在水一方接下來也將長期為各企業(yè)品牌主提供全棧式的虛擬IP形象打造服務(wù) ——

 

從掃描、建模、綁定、動畫制作，到實時驅(qū)動二次元或者真人CG角色，全環(huán)節(jié)高質(zhì)量的制作與緊密配合，賦予虛擬人、虛擬IP形象靈動自如的能力，推動品牌虛擬代言人、虛擬偶像合作等商業(yè)場景的廣泛應(yīng)用，全力以赴助力企業(yè)完成品牌影響力和產(chǎn)品力的跨次元破圈。

 

 

2021年會是虛擬人發(fā)展的重要拐點嗎？

 

這個問題也許很難在當下給出明確的答案，畢竟科技的發(fā)展速度往往超乎我們的預(yù)期。但可以肯定的是，在技術(shù)、資本和市場的多重同步支撐下，更高品質(zhì)的虛擬人時代正向我們加速靠近。（完）