谷歌的混合現(xiàn)實(shí)技術(shù)可讓VR設(shè)備的玩家重新露面

在 YouTube 上的混合實(shí)現(xiàn)視頻都非常好玩，能看到玩家如何在 VR 世界里暢游，其中一個(gè)例子就是 Conan O'Brien 到訪 YouTube 的 VR 實(shí)驗(yàn)室時(shí)在 Tilt Brush 應(yīng)用里創(chuàng)作。不過這種視頻在拍攝時(shí)還是有個(gè)小問題，就是玩家的面孔都會被 VR 設(shè)備遮蓋著，谷歌研究團(tuán)隊(duì)和 Daydream 實(shí)驗(yàn)室就聯(lián)合一起想辦法，結(jié)果就想到了利用機(jī)器學(xué)習(xí)、3D 電腦視覺和進(jìn)階渲染技術(shù)的互相配合來解決問題。

為了把視頻中的 VR 設(shè)備「拿走」，拍攝前需要先用相機(jī)掃描玩家的面孔，并以動(dòng)態(tài) 3D 模型來重構(gòu)不同角度的表現(xiàn)。然后就是利用眼部追蹤技術(shù)來偵測視頻里，玩家的眼應(yīng)該望向哪方，也就是上圖 HTC Vive 上的白色標(biāo)簽。谷歌和 Daydream 聯(lián)合一起想出的這套技巧能讓 3D 模型能還原真人的面孔，但玩家卻不需要完全脫下 VR 設(shè)備。完成品就像上圖右下角所顯示的，把原來被 Vive 遮住的部分給透明化。

一如所料的，這技巧能讓 YouTuber 們簡化后制的工作。當(dāng)日后 VR 設(shè)備和相關(guān)的應(yīng)用都成為主流之后，拍攝人們游玩 VR 內(nèi)容的視頻就會變得更傳神、更有趣了。