谷歌又搞事了，基于燈光技術(shù)的三維捕捉黑科技！

　　「燈光」在影視作品、游戲和虛擬環(huán)境中的作用至關(guān)重要，它是一種重要的造型手段，在影片中起著傳達(dá)信息、表達(dá)情緒、烘托氣氛、刻畫人物性格和心理變化等作用。它影響著影片基調(diào)的形成和影片風(fēng)格的展現(xiàn)，與影片基調(diào)形成對(duì)立統(tǒng)一的關(guān)系，與其它造型手段結(jié)合表現(xiàn)影片的節(jié)奏和旋律。

　　影視作品里許多特效場(chǎng)景都需要借助綠幕完成，在技術(shù)不過硬的時(shí)候，常會(huì)發(fā)生「五毛特效」的慘案。

　　想要復(fù)制完美的光效更是個(gè)難題。隨著計(jì)算機(jī)視覺技術(shù)的演進(jìn)，計(jì)算機(jī)已經(jīng)能夠比較「自然」地還原人臉形狀、皮膚紋路，但是在模擬燈光條件這一塊還是缺乏寫實(shí)感。

　　而谷歌最近公布了一項(xiàng)基于燈光的全新技術(shù)——Relightables。能夠完美解決這一點(diǎn)。

　　Relightables 系統(tǒng)工作流程可分為三個(gè)部分：捕捉、重建和渲染。

　　該系統(tǒng)的核心依賴于一個(gè)包含多視角(主動(dòng))立體深度傳感器的燈光球面裝置，球面裝置安裝有 331 個(gè)可編程的燈以及 90 個(gè)高分辨率 12.4MP 重建相機(jī)。

　　捕捉人體所用的相機(jī)包含 32 個(gè)紅外(IR)相機(jī)和 58 個(gè) RGB 相機(jī)。紅外傳感器提供準(zhǔn)確、可信賴的 3D 數(shù)據(jù)，RGB 相機(jī)捕捉高質(zhì)量幾何法線貼圖和紋理。這些相機(jī)以 60Hz 的頻率記錄原始視頻，研究者基于球面梯度照明交替使用兩種不同的照明條件。

　　接下來，研究者將數(shù)據(jù)上傳到公共存儲(chǔ)庫中，第一個(gè)階段是生成每個(gè)「機(jī)位」的深度圖、分割圖和 3D 網(wǎng)格 [Kazhdan 和 Hoppe 2013]。

　　他們用一個(gè)對(duì)齊算法來處理重建網(wǎng)格的序列，如此一來，長(zhǎng)的子序列就可以共享常見的三角定位(triangulation)。研究者提出了一種新的方法來解決關(guān)鍵幀的選擇問題，將其轉(zhuǎn)變?yōu)橐粋€(gè) MRF 推理問題來解決。每個(gè)獨(dú)特的三角定位都被參數(shù)化為普通的 2D 紋理空間，該空間可以和所有共享該三角定位的幀共享。

　　最后每個(gè)網(wǎng)格都有兩個(gè)可用的梯度球形照明圖像，從中可以生成反照率、法線、光澤度和環(huán)境光遮擋圖。這些圖與標(biāo)準(zhǔn)渲染引擎兼容，可用在任何設(shè)定的光線條件下重新生成渲染圖像。

　　谷歌這個(gè)全新的系統(tǒng)可以完美還原人物周圍的光影效果，使得合成的影像看起來更加逼真?？梢詿o縫地將捕捉到的人體融合到現(xiàn)實(shí)世界中或電影、游戲等中的數(shù)字場(chǎng)景。它可能會(huì)徹底變革 3D 捕獲技術(shù)領(lǐng)域。