一臺iPhone就能拍大片，攝影和建模師又要被卷了。互聯(lián)網(wǎng)+
導(dǎo)讀
最近國外有個博主發(fā)了一段非?？犰诺囊曨l。
最近國外有個博主發(fā)了一段非常酷炫的視頻。
最近國外有個博主發(fā)了一段非常酷炫的視頻。
視頻里，攝影鏡頭仿佛搭上了筋斗云，以各種不可思議的角度在車內(nèi)車外飛來飛去，汽車周邊的場景就像進(jìn)入了多元宇宙一般瞬間變換。。。
短短幾十秒的視頻，靠著這瘋狂的運(yùn)鏡，還有流暢的場景變換，竟收獲了超過40萬的播放量。
而在評論區(qū)，圍觀群眾除了對這個視頻發(fā)出贊揚(yáng)之外，還有一些人對這個制作過程產(chǎn)生了好奇，開始猜測這個視頻到底是怎么做出來的。
于是我拿著這個視頻去找了咱們公司的攝影師，問他能不能也給咱也拍一個這類視頻？
結(jié)果，攝影師看了這個視頻，直呼不可能！
說這個肯定是用了什么特效去做的，要么做了什么剪輯，你要是能在現(xiàn)實里直接拍出這種效果，他當(dāng)場辭職！這個攝影師干不了了。
確實啊，咱們再回頭看看這個博主的推文，有提到這個視頻是采用一個叫做 NeRF 的最新技術(shù)制作的，并在文末@了一個叫 “ LumalabsAI ” 的賬號。
好家伙，這名字，看來又是 AI 整的活！
于是咱順著這個“LumalabsAI”的賬號，摸到了它的官網(wǎng)。
首先映入眼簾的，就是它們的宣傳視頻，有一說一，這個宣傳視頻里的運(yùn)鏡，確實是有點那味了。
而所有的這些效果，都是由 LumalabsAI 開發(fā)的一個叫做 “ LumaAI ” 的 APP 來做的。
在這款應(yīng)用的簡介中，它是這么介紹自己的：
“Luma 是一種通過 AI 使用 iPhone 創(chuàng)建令人難以置信的逼真 3D 的新方法。無論您身在何處，都可以輕松捕捉產(chǎn)品、物體、風(fēng)景和場景。從您的捕捉中創(chuàng)建電影產(chǎn)品視頻、TikTok 和現(xiàn)實中不可能的相機(jī)移動，或者只是重溫那一刻。無需激光雷達(dá)或花哨的捕捉設(shè)備，您只需要一部 iPhone 11 或更新機(jī)型。”
簡單來說，就是只要你有一部蘋果 11 以上型號的手機(jī)，那你只需要給場景周圍拍一些照片，就能利用這個 APP 生成拍照現(xiàn)場的 3D 場景。
看到這么簡單，世超也有點心動了，于是也立馬下載了一個來試試。
打開應(yīng)用，對著箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成了一個這樣的場景。
整個場景雖然在遠(yuǎn)處缺少照片信息的地方效果不大行，但是近處對焦部分，整個橘子和箱子的細(xì)節(jié)還是非常還原的。
在它的官網(wǎng)中還有很多用戶上傳的場景演示。
比如下面這個銅象畫面，如果不告訴你，很難發(fā)現(xiàn)這居然是一個 3D 場景。
因為它不僅完美的還原了小象的細(xì)節(jié)，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復(fù)現(xiàn)了。
LumaAI 除了能還原銅像這種小場景外，它甚至還能給你還原使用航拍機(jī)拍攝的超大范圍場景。
比如就有用戶使用航拍機(jī)拍攝了一個小鎮(zhèn)的全景，然后使用 LumaAI 將這整個小鎮(zhèn) 3D 還原，看看這效果，就突出一個“真”。
使用 LumaAI 創(chuàng)建出這些 3D 場景后，接下來只需要把場景置入 3D 軟件，然后添加一個虛擬攝像機(jī)，剩下的效果呈現(xiàn)，就看這些創(chuàng)作者的創(chuàng)意啦。
就像這個油管博主，他為了滿足自己變大的愛好，生成了一個場景，然后把自己身體放大，做出了一個類似巨人入侵的特效。
除了重建 3D 場景外，LumaAI 還能對單個 3D 模型重建，比如通過拍照直接生成高達(dá)模型，再放到虛幻引擎里，整個場景瞬間就有了科技感。
這種建模方式相比傳統(tǒng)一點一線的建模方式，那可省了不少功夫。
其實像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 里的 Polycam 就能通過蘋果自帶的雷達(dá)掃描，來估算距離和點云信息，從而重建出一個 3D 場景。
但 LumaAI 不僅不依賴?yán)走_(dá)掃描，效果還這么好。這其中離不開這么一個技術(shù)，也就是開頭那個博主提到的 NeRF（神經(jīng)網(wǎng)絡(luò)輻射場）。
這個 NeRF 最早發(fā)布于 2020 年的 ECCV 會議，不但囊獲了當(dāng)年的最佳論文，還成功的以一己之力，開啟了計算機(jī)視覺的另一個研究方向。
NeRF 的基本原理就是通過一大堆帶有位置信息的 2D 照片，來訓(xùn)練得出一個神經(jīng)輻射場模型。
通過這個模型，就能得出任意視角下的清晰照片，這也就意味著，你能通過這個訓(xùn)練好的模型，重建出 3D 場景了。
而且這個論文自發(fā)布后，以 NeRF 為基礎(chǔ)的各種分支方向的技術(shù)也如雨后春筍般冒了出來。
華盛頓大學(xué)和谷歌就聯(lián)合提出了 HumanNeRF，主要用于人體 3D 重建，
還有用于場景風(fēng)格遷移的 StylizedNeRF，通過拍攝照片，生成 3D 圖，然后再對整個場景風(fēng)格進(jìn)行轉(zhuǎn)換，變成自己想要的風(fēng)格。
還有東京大學(xué)提出的動畫方向的 NeRF，這個項目就不單單是生成一個靜態(tài)的場景了，它甚至可以把運(yùn)動的角色和物體都給你生成出來。
像這類的分支研究，已經(jīng)多到一篇文章寫不下來了，世超就不再這里一一展示了。
不過世超是巴不得 NeRF 這個方向的研究越來越卷，畢竟只需要通過照片就能生成一整個復(fù)雜的 3D 場景，這對于生產(chǎn)力解放的幫助可不要太大。
去年 Epic 收購的公司 Capturingreality，它們的產(chǎn)品主打的就是通過照片來生成高精度模型。
這種只需要一部手機(jī)，就能把現(xiàn)實搬進(jìn)虛擬世界的技術(shù)，在未來，不僅僅是制作視頻的自由度更高。
游戲行業(yè)，工業(yè)場景，甚至是在線教育，都可能迎來翻天覆地的變化。
到時候，虛擬和現(xiàn)實，可就真的傻傻分不清楚了。
撰文：晚上吃早飯 編輯：江江&面線封面：萱萱
圖片、資料來源：
Why THIS is the Future of Imagery (and Nobody Knows it Yet)
Lumalabs.AI
capturingreality.com
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
www.matthewtancik.com
于是我拿著這個視頻去找了咱們公司的攝影師，問他能不能也給咱也拍一個這類視頻？
結(jié)果，攝影師看了這個視頻，直呼不可能！
說這個肯定是用了什么特效去做的，要么做了什么剪輯，你要是能在現(xiàn)實里直接拍出這種效果，他當(dāng)場辭職！這個攝影師干不了了。
確實啊，咱們再回頭看看這個博主的推文，有提到這個視頻是采用一個叫做 NeRF 的最新技術(shù)制作的，并在文末@了一個叫 “ LumalabsAI ” 的賬號。
好家伙，這名字，看來又是 AI 整的活！
于是咱順著這個“LumalabsAI”的賬號，摸到了它的官網(wǎng)。
首先映入眼簾的，就是它們的宣傳視頻，有一說一，這個宣傳視頻里的運(yùn)鏡，確實是有點那味了。
而所有的這些效果，都是由 LumalabsAI 開發(fā)的一個叫做 “ LumaAI ” 的 APP 來做的。
在這款應(yīng)用的簡介中，它是這么介紹自己的：
“Luma 是一種通過 AI 使用 iPhone 創(chuàng)建令人難以置信的逼真 3D 的新方法。無論您身在何處，都可以輕松捕捉產(chǎn)品、物體、風(fēng)景和場景。從您的捕捉中創(chuàng)建電影產(chǎn)品視頻、TikTok 和現(xiàn)實中不可能的相機(jī)移動，或者只是重溫那一刻。無需激光雷達(dá)或花哨的捕捉設(shè)備，您只需要一部 iPhone 11 或更新機(jī)型。”
簡單來說，就是只要你有一部蘋果 11 以上型號的手機(jī)，那你只需要給場景周圍拍一些照片，就能利用這個 APP 生成拍照現(xiàn)場的 3D 場景。
看到這么簡單，世超也有點心動了，于是也立馬下載了一個來試試。
打開應(yīng)用，對著箱子上的橘子一頓卡卡亂拍，不出幾分鐘，就生成了一個這樣的場景。
整個場景雖然在遠(yuǎn)處缺少照片信息的地方效果不大行，但是近處對焦部分，整個橘子和箱子的細(xì)節(jié)還是非常還原的。
在它的官網(wǎng)中還有很多用戶上傳的場景演示。
比如下面這個銅象畫面，如果不告訴你，很難發(fā)現(xiàn)這居然是一個 3D 場景。
因為它不僅完美的還原了小象的細(xì)節(jié)，周圍的光照，陰影，甚至連透明玻璃的效果，都給完整復(fù)現(xiàn)了。
LumaAI 除了能還原銅像這種小場景外，它甚至還能給你還原使用航拍機(jī)拍攝的超大范圍場景。
比如就有用戶使用航拍機(jī)拍攝了一個小鎮(zhèn)的全景，然后使用 LumaAI 將這整個小鎮(zhèn) 3D 還原，看看這效果，就突出一個“真”。
使用 LumaAI 創(chuàng)建出這些 3D 場景后，接下來只需要把場景置入 3D 軟件，然后添加一個虛擬攝像機(jī)，剩下的效果呈現(xiàn)，就看這些創(chuàng)作者的創(chuàng)意啦。
就像這個油管博主，他為了滿足自己變大的愛好，生成了一個場景，然后把自己身體放大，做出了一個類似巨人入侵的特效。
除了重建 3D 場景外，LumaAI 還能對單個 3D 模型重建，比如通過拍照直接生成高達(dá)模型，再放到虛幻引擎里，整個場景瞬間就有了科技感。
這種建模方式相比傳統(tǒng)一點一線的建模方式，那可省了不少功夫。
其實像 LumaAI 這種做 3D 重建的軟件也不少，在 AppStore 里的 Polycam 就能通過蘋果自帶的雷達(dá)掃描，來估算距離和點云信息，從而重建出一個 3D 場景。
但 LumaAI 不僅不依賴?yán)走_(dá)掃描，效果還這么好。這其中離不開這么一個技術(shù)，也就是開頭那個博主提到的 NeRF（神經(jīng)網(wǎng)絡(luò)輻射場）。
這個 NeRF 最早發(fā)布于 2020 年的 ECCV 會議，不但囊獲了當(dāng)年的最佳論文，還成功的以一己之力，開啟了計算機(jī)視覺的另一個研究方向。
NeRF 的基本原理就是通過一大堆帶有位置信息的 2D 照片，來訓(xùn)練得出一個神經(jīng)輻射場模型。
通過這個模型，就能得出任意視角下的清晰照片，這也就意味著，你能通過這個訓(xùn)練好的模型，重建出 3D 場景了。
而且這個論文自發(fā)布后，以 NeRF 為基礎(chǔ)的各種分支方向的技術(shù)也如雨后春筍般冒了出來。
華盛頓大學(xué)和谷歌就聯(lián)合提出了 HumanNeRF，主要用于人體 3D 重建，
還有用于場景風(fēng)格遷移的 StylizedNeRF，通過拍攝照片，生成 3D 圖，然后再對整個場景風(fēng)格進(jìn)行轉(zhuǎn)換，變成自己想要的風(fēng)格。
還有東京大學(xué)提出的動畫方向的 NeRF，這個項目就不單單是生成一個靜態(tài)的場景了，它甚至可以把運(yùn)動的角色和物體都給你生成出來。
像這類的分支研究，已經(jīng)多到一篇文章寫不下來了，世超就不再這里一一展示了。
不過世超是巴不得 NeRF 這個方向的研究越來越卷，畢竟只需要通過照片就能生成一整個復(fù)雜的 3D 場景，這對于生產(chǎn)力解放的幫助可不要太大。
去年 Epic 收購的公司 Capturingreality，它們的產(chǎn)品主打的就是通過照片來生成高精度模型。
這種只需要一部手機(jī)，就能把現(xiàn)實搬進(jìn)虛擬世界的技術(shù)，在未來，不僅僅是制作視頻的自由度更高。
游戲行業(yè)，工業(yè)場景，甚至是在線教育，都可能迎來翻天覆地的變化。
到時候，虛擬和現(xiàn)實，可就真的傻傻分不清楚了。
撰文：晚上吃早飯 編輯：江江&面線封面：萱萱
圖片、資料來源：
Why THIS is the Future of Imagery (and Nobody Knows it Yet)
Lumalabs.AI
capturingreality.com
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
www.matthewtancik.com
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會明確標(biāo)注作者和來源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請轉(zhuǎn)載時務(wù)必注明文章作者和"來源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
