索尼前沿虛擬制作技術(shù)讓經(jīng)典芭蕾舞劇《天鵝湖》再煥生機(jī)

    索尼PCL的創(chuàng)意設(shè)施“清澄白河BASE”，是一個(gè)充分活用索尼技術(shù)的視頻制作工作室。 近日，該工作室制作了一部基于經(jīng)典芭蕾舞劇《天鵝湖》的短片 ，并將其發(fā)布在索尼官方社交平臺(tái)上。我們與負(fù)責(zé)策劃和制作這部視頻的團(tuán)隊(duì)進(jìn)行了對(duì)話(huà)，了解了這部作品背后的創(chuàng)作過(guò)程。

△菅野尚子(右)，索尼公司技術(shù)研發(fā)實(shí)驗(yàn)室

    內(nèi)容技術(shù)研發(fā)本部空間影像技術(shù)開(kāi)發(fā)部;

    大賀英資(左)，

    索尼PCL視覺(jué)解決方案本部?jī)?nèi)容創(chuàng)作部

    在這部短片中，芭蕾舞者們?cè)谄届o的、霧氣彌漫的湖邊模仿天鵝的動(dòng)作，優(yōu)雅地同步舞動(dòng)，四周環(huán)繞著茂密的森林。觀(guān)眾可能會(huì)好奇，傳統(tǒng)的芭蕾舞是如何在這樣自然開(kāi)闊的環(huán)境中上演的。事實(shí)上，整部影片是在清澄白河BASE的虛擬制作影棚內(nèi)拍攝的。

    虛擬制作（VP）是一種電影拍攝方法，它將虛擬場(chǎng)景投射到LED屏幕上，并同時(shí)拍攝前方的真實(shí)演員或物體，實(shí)時(shí)合成真實(shí)與虛擬的畫(huà)面。 參與該項(xiàng)目的工程師菅野久子解釋道：“索尼的許多最新技術(shù)都被應(yīng)用于打破現(xiàn)實(shí)與虛擬之間的界限中，使最終的作品看起來(lái)更加真實(shí)�！�

    索尼前沿技術(shù)應(yīng)用于

    經(jīng)典芭蕾舞劇《天鵝湖》

    導(dǎo)演大賀英資表示，制作基于《天鵝湖》的電影靈感來(lái)源于他在百老匯以及其他舞臺(tái)劇中看到的前沿技術(shù)應(yīng)用。

    “我們將這次挑戰(zhàn)看作展示清澄白河BASE在視頻制作方面的技術(shù)水平的一種方式，同時(shí)也看看如何通過(guò)虛擬制作（VP）和體積捕捉等技術(shù)，將大家熟知的傳統(tǒng)舞臺(tái)劇轉(zhuǎn)變?yōu)橐环N全新的形式。 ”

△推遠(yuǎn)的鏡頭(使用體積捕捉技術(shù))

△拉近的鏡頭(使用虛擬制作技術(shù))

    索尼對(duì)這場(chǎng)演出制作進(jìn)行了特別規(guī)劃，將影像技術(shù)融入表演的每個(gè)元素。 例如，在一個(gè)奇幻鏡頭(如上所示)中，攝像機(jī)聚焦于穿越霧靄的舞者。大賀解釋道：“我們希望在攝像機(jī)穿過(guò)晨霧時(shí)，從使用體積捕捉技術(shù)拍攝的3D CG舞者切換到在LED屏幕前跳舞的真人舞者，達(dá)到一種自然的效果�！�

    體積捕捉技術(shù)通過(guò)在影棚天花板和墻壁上安裝超過(guò)100個(gè)攝像機(jī)，從多個(gè)角度捕捉對(duì)象，并將圖像轉(zhuǎn)換為3D數(shù)字?jǐn)?shù)據(jù)，從而實(shí)現(xiàn)高質(zhì)量的3D CG影像重現(xiàn)。與傳統(tǒng)技術(shù)不同的是，這項(xiàng)技術(shù)能夠自由地呈現(xiàn)那些未被攝像機(jī)直接捕捉的視角。

    大賀說(shuō)：“在拍攝這個(gè)場(chǎng)景時(shí)，我希望將攝像機(jī)的運(yùn)動(dòng)設(shè)計(jì)得盡可能宏大和廣闊，以展示舞臺(tái)上無(wú)法實(shí)現(xiàn)的縱深感�！绷硪环矫妫�如果攝像機(jī)的運(yùn)動(dòng)幅度過(guò)大，虛擬制作需要的LED屏幕就無(wú)法覆蓋整個(gè)背景圖像。因此，需要插入使用體積捕捉技術(shù)生成的舞者的3D CG影像，以實(shí)現(xiàn)逼真的視覺(jué)效果。

△清澄白河BASE的VP影棚(上)

    和體積捕捉影棚(下)。

    體積捕捉影棚于2022年安裝在VP影棚旁邊，

    2023年VP影棚得到了升級(jí)，

    增加了擴(kuò)展的LED屏幕等

    菅野表示：“清澄白河BASE是少數(shù)幾個(gè)VP影棚和體積捕捉影棚位于同一樓層、緊鄰而設(shè)的工作室之一�！边@種優(yōu)勢(shì)也在《天鵝湖》的拍攝中得到了充分利用。

    索尼中國(guó)資訊

    受藝術(shù)家反饋啟發(fā)的

    實(shí)時(shí)摳像技術(shù)開(kāi)發(fā)

    除了VP和體積捕捉技術(shù)之外，這部短片還融合了索尼的新技術(shù)——實(shí)時(shí)摳像（Live Keying）。 這種技術(shù)廣泛應(yīng)用于現(xiàn)場(chǎng)音樂(lè)會(huì)舞臺(tái)制作中，能夠?qū)崟r(shí)隔離圖像中的物體，并將其即時(shí)顯示在背景LED屏幕上，無(wú)論是在影棚還是舞臺(tái)上。

△菅野尚子，索尼公司技術(shù)研發(fā)實(shí)驗(yàn)室

    內(nèi)容技術(shù)研發(fā)本部空間影像技術(shù)開(kāi)發(fā)部

    傳統(tǒng)的視頻處理技術(shù)在背景圖像發(fā)生劇烈變化或主體大幅移動(dòng)的情況下，通常難以準(zhǔn)確提取人物輪廓。然而，索尼的實(shí)時(shí)摳像技術(shù)通過(guò)索尼的特殊傳感器，使這一目標(biāo)成為可能。

    作為該技術(shù)開(kāi)發(fā)者之一，菅野強(qiáng)調(diào)：“實(shí)時(shí)摳像技術(shù)特別適合用于背景圖像生動(dòng)變化的VP制作�！�

△通過(guò)使用實(shí)時(shí)摳像技術(shù)，

    舞者在LED屏幕前表演的視覺(jué)數(shù)據(jù)

    被實(shí)時(shí)捕捉并投射攝到屏幕上

    開(kāi)發(fā)這一技術(shù)的動(dòng)力來(lái)自菅野收到的一位藝術(shù)家的需求。她工作的一部分就是陪同藝術(shù)家前往演出現(xiàn)場(chǎng)，為演唱會(huì)提供技術(shù)支持，她經(jīng)常在現(xiàn)場(chǎng)收到藝術(shù)家和工作人員的反饋和要求。“在排練期間，我聽(tīng)到一位藝術(shù)家隨口提到，‘如果能做到像實(shí)時(shí)摳像技術(shù)那樣的效果就好了’，這讓我開(kāi)始了這項(xiàng)技術(shù)的研發(fā)�！�

    菅野解釋說(shuō)，將這項(xiàng)技術(shù)融入《天鵝湖》視頻制作的決定，源于她希望“更多的現(xiàn)場(chǎng)音樂(lè)表演能使用實(shí)時(shí)摳像技術(shù)，并且希望增加更多將該技術(shù)與VP共同使用的案例”。

    技術(shù)帶來(lái)全新的

    現(xiàn)場(chǎng)溝通方式

    在視頻制作中，所有參與拍攝的工作人員需要共享導(dǎo)演所構(gòu)想的視覺(jué)圖像。

    大賀表示，在這次制作中使用VP技術(shù)，也讓他能夠輕松地將自己的創(chuàng)作構(gòu)想實(shí)時(shí)傳達(dá)給舞者。“在傳統(tǒng)情況下，當(dāng)我們計(jì)劃在背景中使用CG圖像時(shí)，需要使用綠幕拍攝。然而，使用LED屏幕實(shí)時(shí)顯示背景圖像，演員更容易直觀(guān)地理解場(chǎng)景內(nèi)容，也有助于他們更好地進(jìn)入角色�！�

△大賀英資，

    索尼PCL視覺(jué)解決方案本部?jī)?nèi)容創(chuàng)作部

    大賀表示，許多舞者都評(píng)論說(shuō)，使用這種技術(shù)幫助他們更好地完成了表演。

    在CG拍攝中，最常提到的困難之一就是燈光調(diào)整。在視頻編輯過(guò)程中，必須將現(xiàn)實(shí)拍攝的圖像與CG圖像的光線(xiàn)角度和亮度進(jìn)行匹配，以實(shí)現(xiàn)畫(huà)面的一致。然而，由于負(fù)責(zé)拍攝的工作人員不一定熟悉CG，往往需要花費(fèi)大量時(shí)間調(diào)整真實(shí)圖像和CG圖像的燈光。

    大賀解釋道：“即使我們改變舞者的燈光，實(shí)時(shí)摳像技術(shù)也能讓我們將舞者的圖像實(shí)時(shí)投射到背景的LED屏幕上。這減少了CG后期處理的需求，并大大提高了效率。 ”

    在清澄白河BASE， 貼近創(chuàng)作者，

    實(shí)現(xiàn)他們的創(chuàng)作愿景

    雖然這些前沿技術(shù)減少了拍攝的障礙，大賀回憶道，他也感受到了因高度自由而帶來(lái)的不知所措�！拔夷軌蛟诂F(xiàn)場(chǎng)和技術(shù)開(kāi)發(fā)人員討論拍攝中的各種困難，讓我們能夠巧妙地使用技術(shù)來(lái)實(shí)現(xiàn)我設(shè)想的畫(huà)面效果。”他補(bǔ)充道：“這是只有索尼才能承擔(dān)的項(xiàng)目�！�

    對(duì)于菅野來(lái)說(shuō)，她從工程師的角度表達(dá)了自己的熱情：“我希望繼續(xù)通過(guò)直臨現(xiàn)場(chǎng)，直接聽(tīng)取創(chuàng)作者的聲音，提供有助于創(chuàng)作的技術(shù)�！�

    展望未來(lái)，大賀表示：“我愿意將與公司外部創(chuàng)作者合作視頻制作時(shí)獲得的經(jīng)驗(yàn)，用來(lái)與索尼的工程師一起在清澄白河BASE開(kāi)發(fā)更好的解決方案。”