網易互娛AI Lab虛拟偶像技術，驚豔亮相浙江衛視跨年晚會

　　2020年12月31日晚,“美好有你”2021年浙江衛視跨年晚會精彩上演。網易互娛AI Lab與可以傳媒聯合打造的數字女孩“萬一”,在晚會中首次驚豔亮相,其逼真細膩的表情和靈動自然的神态變化,令人眼前一亮。以數字人物替代真人進行節目演出,将炫酷的虛拟偶像技術與大膽的内容創意相結合,日漸成熟的AI制作技術,為即時性、現場感強的直播類晚會帶來了一種全新的呈現模式。

　　在浙江衛視跨年晚會中穿插的四條下節預告VCR中,萬一化身AR世界裡的虛拟助手,出演了在跨年夜這天與四個人物之間發生的小故事。雖然是數字人,但萬一的形态堪比真人。從表情上看,這個青春可愛的女孩高度還原了真人的神态,她的眼神、唇動、眉毛、甚至法令紋等表情變化都細緻入微。說話時,她的每一個字都能精準匹配相應的口型。在不同的語境下,不論是天真機靈、嘟嘴生氣,還是驚訝好奇的多種情緒變化,萬一都能生動演繹、精準表達。而這一切,都離不開網易互娛AI Lab的AIxFace面部動捕技術的強力支撐。

　　AIxFace是網易互娛AI Lab開發的輕量級面部動捕系統,不同于傳統的面部動捕技術,AIxFace無需複雜專業的動作捕捉場地和設備,也不需要設置任何面部标記點,隻需要一個單目攝像頭,就可以實時将演員的面部表情遷移到數字女孩萬一的臉上,并實現舌頭、視線、口型等表情細節變化的精準跟蹤。虛拟偶像的面部表情向來是粉絲衡量其表現力的重要标準,然而為了實現高水準的神态變化,其耗費的技術成本通常比較高昂,這也是虛拟偶像行業的關鍵門檻之一。借助AIxFace,萬一的表情動畫在動捕階段就可以基本實時展現出最終的效果,這能夠大幅節省制作時間和成本,給後期渲染等環節預留更多的空間,最終達到晚會所呈現的動畫效果。

　　除了動畫制作,AIxFace憑借其實時驅動的特性,還能夠幫助虛拟偶像真正“打破次元壁”。過去,由于技術局限,傳統的虛拟偶像即便可以通過全息技術進行線下演出,但也難以根據實況與粉絲進行互動。通過AIxFace,虛拟偶像可實現在直播等場景與觀衆實時互動,在與粉絲拉近距離的同時能确保準确而傳神的表情變化,增強情緒的感染力和真實感。在萬一項目之前,AIxFace已成功幫助多個虛拟人物實現直播互動,例如《第五人格》Bilibili秃秃杯遊戲決賽的虛拟偵探主播,首秀即突破60萬人氣值。

　　網易互娛AI Lab成立于2017年,是遊戲行業領先的人工智能實驗室,除了緻力于遊戲場景下的AI落地研究以外,同時也提供虛拟偶像相關的人工智能技術支持,如面部表情動捕、視頻動捕和音樂自動生成舞蹈動畫等。網易互娛AI Lab希望通過領先的人工智能技術不斷提升虛拟偶像内容生成的智能化程度,進一步增強虛拟偶像的精細度、真實感和交互能力,從而促進其商業模式逐漸走向多元化。未來,虛拟偶像不僅可以活躍在當下已非常普遍的影視、遊戲、直播領域,也能夠逐漸擴展至金融、教育、醫療等更加廣闊的應用場景。