要是英偉達真的已經達到瞭這樣的技術,托尼覺得人類進入到《 刀劍神域 》以及《 頭號玩傢 》的世界也不會太遠瞭。
那到底是咋回事兒呢?
帶著強烈的好奇心,托尼從頭到尾去看瞭一下英偉達發佈在計算機圖形圖像特別興趣小組 SIGGRAPH 在今年的特別會議上,所發佈的視頻。
這是一支英偉達出的宣傳片,標題是 “ Connecting in the Metaverse : The Making of the GTC Keynote ” ( 連接元宇宙, GTC 主題演講是怎麼制作的。 )
裡面有關 “ 空氣老黃 ” 的部分大概是這樣的。
在 2020 年推出 RTX30 系列顯卡的時候,老黃第一次用到瞭自傢的廚房來當作自己的演講背景,也誕生瞭把顯卡從烤箱裡拿出來的名場景。
盡管這個創意很棒,但老黃覺得,“ 廚房發佈會 ” ( kitchen Keynote )還有進步的空間,畢竟觀眾都喜歡有新鮮感的東西。
於是在今年的英偉達發佈會之前,老黃就給自傢的團隊派瞭任務,讓他們整個新活,最好能秀秀肌肉。
而這段創意,就是是老黃在介紹自傢的 ARM CPU 時,加上的轉場特效以及後面的硬件介紹。
轉場效果▼
根據這支官方影片給出的信息,托尼認為整場發佈會除瞭這段之外,別的應該都是真人實拍。
而為瞭完成廚房 “ 百變金剛 ” 的特效,制作團隊在老黃傢廚房的角角落落,拍瞭上百張的照片取材,並把老黃廚房裡的所有物件都做瞭精細的建模。
動畫建模 ▼
他們還調皮的在其中一些物件上做瞭點彩蛋,比如他們在咖啡研磨器上打上瞭 Nvidia 的字樣。。。
把橄欖油罐子的名稱改為瞭自傢的 AI 訓練軟件 “ Tao ” 。。。
最搞笑的是他們還在背景裡放瞭一個老黃的樂高小人。
當然廚房的變化,是在為接下來的大場面做鋪墊。
可以確定的是,在這個遠景鏡頭中介紹 CPU 時出現的老黃,是建模合成的假老黃。
這段內容要是不仔細看,也確實不知道是真人,當時托尼看的時候,還以為這個場景隻是簡單的綠幕摳圖特效。
當然,至於廚房裡的老黃是不是 “ 假 ” 的,現在似乎引起瞭一些爭議。
但實際上,制作團隊真的是用建模和渲染的方式,造出瞭這麼一個“ 空氣老黃 ” ,而渲染出一個活動的人,要比渲染靜態的廚房要難上許多。
這個效果的呈現和現在電影和遊戲中真人摳圖 CG 的流程差不多,首先需要給老黃本人來一通 360 度無死角的 3D 掃描拍攝,包括瞭臉部和全身。
甚至還給老黃的皮衣單獨做瞭掃描。。。
在有瞭基礎的身體信息之後,再把這些照片導入電腦,建出瞭一個老黃的模型,為瞭讓這個模型做到以假亂真,英偉達拿出來自己的看傢本領——用 AI 來訓練 “ 空氣老黃 ” 的面部表情。
托尼感覺這個過程有點像前一陣大火的“ Deepfake ” 換臉技術,隻不過他們是把老黃真實的照片結合到老黃的模型臉上,真上加真,最後的呈現效果也更像那麼回事瞭。
他們還用到瞭一個叫 Audio2Face 的軟件,讓老黃臉部的模型肌肉,能隨著他說話的聲音來做出變化。
至於身體的的動作,則是請瞭一位演員來模仿老黃在說話時的動作、形態,在用專業的設備捕捉完一系列的動作之後,“ 空氣老黃 ” 就進入到最後的渲染階段瞭。
巧瞭,這部分又是英偉達的強項,在用自傢的光線追蹤調整完效果之後,英偉達直接調用最不缺的 GPU 算力,分分鐘把“ 空氣老黃 ” 打造到最佳狀態。
大傢發現瞭沒有,這支影片表面上是在解密英偉達發佈會的幕後制作,實際是秀瞭一波大肌肉。
繁雜的操作加上不同專業軟件之間的協同,正常制作那麼一個特效,肯定要花上不少功夫。
那為什麼英偉達可以做的那麼高效呢?猝不及防的東西來瞭。
這是因為英偉達官方打造瞭一個叫 Omniverse 的平臺,專門為各種圖形處理軟件,提供瞭很強的技術支持。
這個軟件的靈感來自於一個叫“ Metaverse 元宇宙 ” 的概念,它原是指一個平行於現實世界的虛擬世界,所有現實世界的人,在這個虛擬世界都會有一個分身,很多輕小說和二次元作品都沿用過這樣的世界觀。
川原礫: “ 這個我熟! ” ▼
說出來你可能不信, “ 元宇宙 ” 這個概念這兩年在互聯網上的熱度真的
很高,Facebook的 CEO 紮克伯格還特意建立瞭一開發小組,劍指未來。
之前差評君有科普過相關的內容,想要瞭解 “ 元宇宙 ” 的同學可以跳轉閱讀一下。
而英偉達的 Omniverse ,是把打造“ 元宇宙 ” 的這些軟件工具,一個個都串聯瞭起來,提升創造虛擬世界的效率。
有一說一托尼覺得這個創意還挺吸引人的。
雖然說現在我們離那樣的世界還很遠,但 Omniverse 平臺上的功能,也確實站在瞭生產者的角度在思考問題。
比如說在汽車行業,它就有著不小的作用。
Omniverse 在寶馬那,把它的超級工廠整個渲染出來,渲染的畫面也極其逼真,包括各種材質上的燈光,以及工廠裡工作的工人,都原原本本的渲染出來。
這還沒有結束, Omniverse 搭配 AI 還能對工廠的配置策略進行優化,針對不同的車型,能隨時對流水線進行模塊化的修改,從而更加準確的提高工廠的生產效率。
除瞭模擬造車,它還能模擬汽車試驗。
比如可以在 Omniverse 裡模擬汽車的風洞試驗,獲取風阻系數參數和各項測試數據。除此之外,它還能真實模擬出各類試驗,既可以幫助車企節省試驗成本,還能簡化開發流程。
相比於做汽車試驗,接下來這個訓練自動駕駛就更厲害瞭。
目前汽車自動駕駛的數據采集,需要在實際的場景和道路進行,並且反復多次的訓練,費時費力。
而 Omniverse 可以建立出更加特征鮮明的真實環境,在虛擬環境中進行加快自動駕駛算法的測試和視覺學習。
再舉個例子來說,當前依靠端到端策略的自動駕駛車型,往往更加依賴車輛的視覺識別系統。
但它們經常會把路邊廣告牌的人像照片識別成真正的人,然後記錄在冊,這會大大降低視覺系統的訓練效率。
而 Omniverse 所建立的模擬道路環境,並不會把路邊的人像廣告牌去掉,而是加強廣告牌人像的特征,讓 AI 能更好的分辨人和人像,就是分清什麼是真人什麼是人的照片。
之所以說它可以打造“ 元宇宙 ”,可能本質上還是因為它描繪的未來足夠強大,也足夠方便。
它不僅打通瞭各個專業領域 3D 建模軟件的互通操作,還開放瞭統一的 API ,讓使用者們可以直接在平臺上修改內容、替換素材。
這對於內容生產者來說, Omniverse 避免瞭來回導出大素材量文件時的風險。
另一方面, Omniverse 上的素材庫和渲染功能,極大的緩解瞭建模軟件臃腫難用的現狀。
就拿建築軟件 Sketchup 草圖大師來說,要是想在建完模之後進行渲染,大都會安裝一個叫 V-Ray 的插件。
用過的都知道, V-Ray 版本的匹配問題以及時不時的崩潰,經常讓使用者欲哭無淚。
而且 V-Ray 在渲染的時沒法做到實時預覽,每次都需要先渲一張小圖看效果,然後調整參數進行修改,並需要自己去添加素材資源。
而 Omniverse 上強大的實時渲染器和豐富的素材庫,要是真的有想英偉達宣傳的那麼強大,那麼對於創作者來說,這功勞不亞於盜取火種的普羅米修斯。
目前在 Omniverse 上,它支持Ps 、虛幻引擎、 Unity 、 Maya 瑪雅、 Sketchup 草圖大師、 Rhino 犀牛、 Revit 等繪圖、建模軟件,涵蓋瞭建築、遊戲、工業設計、影視等各行各業。。。
對於圖形工作者來說,屬實是一大福音。
總的來說,英偉達構造的 Omniverse 在未來的前景,真的無可限量。