易科 |中國傳媒大學(xué)課程回顧-沉浸聲系統(tǒng)在節(jié)目制作中的應(yīng)用

　　音頻技術(shù)的發(fā)展在過去幾十年的時(shí)間里，讓人們的聽覺體驗(yàn)從單聲道擴(kuò)展到立體聲和環(huán)繞聲，并且向帶有高度信息的沉浸聲系統(tǒng)快速進(jìn)化。為了讓年輕的音頻行業(yè)從業(yè)者能夠緊跟技術(shù)的快速更迭，易科國際的沉浸聲技術(shù)團(tuán)隊(duì)于2022年5月26日，為中國傳媒大學(xué)的學(xué)生們進(jìn)行了一次題為《沉浸聲系統(tǒng)在節(jié)目制作中的應(yīng)用》的主題講座。

　　講座開始，中國傳媒大學(xué)音樂與錄音藝術(shù)學(xué)院教師賁小龍老師做了開場(chǎng)白，易科國際市場(chǎng)營銷中心高級(jí)總監(jiān)冀翔則介紹了易科國際的沉浸聲技術(shù)團(tuán)隊(duì)成員以及其位于深圳總部的沉浸聲系統(tǒng)實(shí)驗(yàn)及體驗(yàn)空間。

　　Part　1

　　本次講座分為三大模塊：沉浸聲系統(tǒng)基本概念梳理、節(jié)目的制作與交付流程以及沉浸聲系統(tǒng)在應(yīng)用中的相關(guān)注意事項(xiàng)。易科國際高級(jí)品牌經(jīng)理徐若克從同學(xué)們較為熟悉的立體聲和環(huán)繞聲拾音制式說起，如AB，M/S，X/Y，Hamasaki Square，F(xiàn)ukata Tree等，讓同學(xué)們對(duì)錄音制作從前期拾音到后期制作，直到最后交付節(jié)目的整體流程有一個(gè)整體的把握，也為后續(xù)的沉浸聲節(jié)目制作和節(jié)目交付埋下伏筆。

　　隨后，徐若克解釋了“基于聲道(Channel-Based)”和“基于對(duì)象(Object-Based)”的概念，對(duì)比了二者之間的異同。

　　基于聲道對(duì)于揚(yáng)聲器布局有著標(biāo)準(zhǔn)化的限制和要求，比如5.1環(huán)繞聲系統(tǒng)對(duì)于揚(yáng)聲器的布局要求必須符合ITU-R BS.2159-9標(biāo)準(zhǔn)(官方鏈接https://www.itu.int/pub/R-REP-BS.2159-9-2022)。

　　基于對(duì)象則是在音頻文件的基礎(chǔ)上賦予了更多的元數(shù)據(jù)，如空間坐標(biāo)信息、聲學(xué)特性等。基于對(duì)象和基于聲道二者之間并不是相互對(duì)立的“競(jìng)爭(zhēng)”關(guān)系，在不同應(yīng)用場(chǎng)景之下，作為音頻工程師會(huì)選擇更為合適的制作系統(tǒng)。對(duì)于從制作到最終節(jié)目的交付，揚(yáng)聲器布局遵循統(tǒng)一標(biāo)準(zhǔn)并且保持一致的場(chǎng)景，基于聲道的系統(tǒng)有著明顯的優(yōu)勢(shì);若節(jié)目的制作環(huán)境和交付端無法保證揚(yáng)聲器布局的統(tǒng)一，那么為了節(jié)目遷移的一致性，基于對(duì)象的制作則有更大的優(yōu)勢(shì)，目前市場(chǎng)上的一些現(xiàn)場(chǎng)演出以及互動(dòng)性較強(qiáng)的節(jié)目都是采用這一制作系統(tǒng)完成的。針對(duì)如何在基于聲道和基于對(duì)象這兩種系統(tǒng)之間做出正確的選擇，除了上述的應(yīng)用場(chǎng)景外，沉浸聲引擎自身的渲染算法也是另一重要考量因素，如基于強(qiáng)度的VBAP，DBAP，基于延時(shí)的WFS算法，他們對(duì)于靜態(tài)和動(dòng)態(tài)聲源的渲染上，對(duì)于系統(tǒng)資源的消耗有著各自的優(yōu)勢(shì)和不足，需要在系統(tǒng)設(shè)計(jì)過程中綜合考量。

　　接下來，徐若克針對(duì)SARA引擎的核心算法WFS做了進(jìn)一步的介紹，從WFS的理論模型到實(shí)際應(yīng)用中一些難以實(shí)施的特點(diǎn)，讓同學(xué)們不僅能夠明白WFS算法的優(yōu)勢(shì)，同時(shí)也能夠看到其在應(yīng)用層面的局限性。SARA引擎的自適應(yīng)波場(chǎng)合成渲染算法，其核心來自于WFS算法，并在及基礎(chǔ)上做出改良和優(yōu)化，所以在原有WFS的優(yōu)勢(shì)上，進(jìn)一步減少了系統(tǒng)中所需揚(yáng)聲器的數(shù)量，更夠更好的實(shí)現(xiàn)垂直定位，在音色保持一致的前提下，靈活地在點(diǎn)聲源和平面波之間進(jìn)行切換。

　　易科國際解決方案經(jīng)理汪道瀾在易科總部的五樓為同學(xué)們展示了SARA引擎的操作界面和簡易的工作流程。從建立一個(gè)沉浸聲系統(tǒng)工程，調(diào)整房間尺寸，建立揚(yáng)聲器坐標(biāo)，選擇揚(yáng)聲器類型(Spatial, Reinforcement, Sub)，到針對(duì)引擎SFF格式元數(shù)據(jù)的播放器進(jìn)行了功能展示，讓同學(xué)們?cè)趯?duì)于沉浸聲系統(tǒng)有了一定的理論層面認(rèn)知之后，能夠在引擎操作頁面能夠更加直觀的感受到整個(gè)沉浸聲系統(tǒng)被建立起來的過程，以及在實(shí)際應(yīng)用過程中，針對(duì)不同揚(yáng)聲器布局，靈活且快速的比例調(diào)整。

　　Part　2

　　徐若克針對(duì)沉浸聲節(jié)目的制作和交付流程做了較為詳細(xì)的分享。當(dāng)節(jié)目進(jìn)入沉浸聲的制作時(shí)，大致上可以將制作方式歸為完全基于對(duì)象、基于聲道制作加上基于對(duì)象渲染、混合制作加上基于對(duì)象渲染這三種方式。首先，針對(duì)完全基于對(duì)象的制作方式，從制作端到節(jié)目交付端，全程都有沉浸聲引擎的參與。在制作環(huán)節(jié)，工程師大多都是基于一個(gè)標(biāo)準(zhǔn)的揚(yáng)聲器布局完成節(jié)目的監(jiān)聽，沉浸聲引擎作為制作環(huán)節(jié)的渲染工具，為工程師提供了基于標(biāo)準(zhǔn)揚(yáng)聲器布局的監(jiān)聽信號(hào)，而非最終交付的信號(hào)。當(dāng)節(jié)目制作完成到了交付端的時(shí)候，唯一需要調(diào)整的就是交付端新的揚(yáng)聲器布局，這個(gè)布局需要重新導(dǎo)入沉浸聲引擎當(dāng)中，引擎接受同樣的節(jié)目源，重新根據(jù)新場(chǎng)地的揚(yáng)聲器布局進(jìn)行渲染，完成節(jié)目的交付?；诼暤乐谱骷由匣趯?duì)象渲染可以讓節(jié)目制作人員保留原有的制作流程和操作習(xí)慣，并且在制作環(huán)節(jié)可以允許沉浸聲引擎不參與其中，此時(shí)制作人員聽到和最終輸出的文件既是監(jiān)聽信號(hào)又是交付信號(hào)。當(dāng)制作完成之后到了交付場(chǎng)地，同樣的，沉浸聲引擎會(huì)根據(jù)場(chǎng)地的揚(yáng)聲器布局模型，針對(duì)完成的節(jié)目信號(hào)進(jìn)行渲染?；旌现谱骷由匣趯?duì)象渲染這中方式，在制作環(huán)節(jié)即引入了沉浸聲引擎。大部分的信號(hào)可以通過工作站的固定母線輸出至引擎，少數(shù)需要做特殊效果的通道可以直接輸出給引擎。在交付環(huán)節(jié)，此時(shí)的元數(shù)據(jù)既來自制作端引擎，又包含基于聲道的揚(yáng)聲器布局，引擎基于新的揚(yáng)聲器布局完成節(jié)目的渲染并將信號(hào)輸出給揚(yáng)聲器系統(tǒng)。

　　當(dāng)演出現(xiàn)場(chǎng)不具備特定揚(yáng)聲器布局的安裝條件時(shí)，沉浸聲引擎基于場(chǎng)地中揚(yáng)聲器模型來渲染出虛擬揚(yáng)聲器來滿足特定重放要求的節(jié)目，就顯得非常重要。徐若克以2021年11月易科國際在星海音樂廳完成的22.2聲道，8K超高清放映系列活動(dòng) 為例，和同學(xué)們分享沉浸聲引擎在真實(shí)場(chǎng)景下的應(yīng)用，團(tuán)隊(duì)遇到的困難和對(duì)應(yīng)措施，進(jìn)一步強(qiáng)化了沉浸聲系統(tǒng)來渲染和還原虛擬揚(yáng)聲器的概念。

　　Part　3

　　沉浸聲系統(tǒng)在實(shí)際應(yīng)用中，除了提供核心運(yùn)算的沉浸聲引擎，還有很多其他設(shè)備的參與，比如調(diào)音臺(tái)、數(shù)字信號(hào)轉(zhuǎn)換器、交換機(jī)、功放、揚(yáng)聲器等。當(dāng)面對(duì)(設(shè)計(jì))一套沉浸聲時(shí)，我們需要全面了解各自設(shè)備在系統(tǒng)當(dāng)中的角色。徐若克從網(wǎng)絡(luò)規(guī)劃，時(shí)鐘規(guī)劃的角度幫助同學(xué)們進(jìn)一步了解了在應(yīng)用層面會(huì)遇到的一些問題和注意事項(xiàng)。當(dāng)我們采用Dante™作為信號(hào)傳輸鏈路的時(shí)候，我們需要明確將哪些設(shè)備規(guī)劃在統(tǒng)一網(wǎng)段下。比如沉浸聲主機(jī)，MADI/Dane轉(zhuǎn)換盒，控制電腦需要在統(tǒng)一網(wǎng)段，以便進(jìn)行沉浸聲引擎的操作管理，Dante™信號(hào)流的路由監(jiān)測(cè)。如果系統(tǒng)中有調(diào)音臺(tái)和其他基于AoIP的設(shè)備，那么我們也需要將他們接入沉浸聲引擎所在的網(wǎng)段之下。

　　同時(shí)，在數(shù)字音頻當(dāng)中，時(shí)鐘這一重要元素是不可忽略的。以SARA引擎為例的沉浸聲系統(tǒng)當(dāng)中，沉浸聲引擎未必都是做主時(shí)鐘的。根據(jù)調(diào)音臺(tái)在系統(tǒng)中的角色變化，工程師可以將調(diào)音臺(tái)作為主時(shí)鐘。沉浸聲引擎和后級(jí)的其他設(shè)備都可以再整個(gè)系統(tǒng)當(dāng)中以從屬狀態(tài)跟隨主時(shí)鐘，實(shí)現(xiàn)數(shù)字信號(hào)的同步。由于系統(tǒng)中Dante™信號(hào)的存在，我們還需要考慮Dante™系統(tǒng)的主時(shí)鐘(Master)和從設(shè)備(Slave)，此處的案例當(dāng)中，是以MADI/Dante信號(hào)轉(zhuǎn)換器作為Dante™系統(tǒng)的Dante™時(shí)鐘。

　　在講座進(jìn)行過程中，同學(xué)們都紛紛提出了關(guān)于系統(tǒng)設(shè)計(jì)和場(chǎng)地建模等多方面的問題，冀翔老師也一一進(jìn)行了解答，同學(xué)們也在這短短的3個(gè)多小時(shí)的課程中有所收獲。目前，由于疫情防控的相關(guān)政策要求，同學(xué)們無法親臨北京易科分公司實(shí)際上手感受這套沉浸聲系統(tǒng)。

　　傳媒大學(xué)賁小龍老師表示：“沉浸聲制作現(xiàn)在已經(jīng)滲透到“聲音行業(yè)”的各個(gè)域，無論是基礎(chǔ)研究、影視、音樂、游戲當(dāng)然還有現(xiàn)場(chǎng)擴(kuò)聲。這次非常榮幸的能夠邀請(qǐng)到易科國際的三位老師給我們做這樣一次技術(shù)分享。在現(xiàn)場(chǎng)擴(kuò)聲中沉浸聲的制作對(duì)我們來說還是一個(gè)新興事物，通過對(duì)沉浸聲節(jié)目的制作與交付以及沉浸聲系統(tǒng)的重放等環(huán)節(jié)對(duì)同學(xué)們進(jìn)行演示、講解，能夠幫助大家更好的理解課堂上老師講授的原理及現(xiàn)場(chǎng)制作中沉浸聲系統(tǒng)的應(yīng)用現(xiàn)狀。唯一的遺憾就是由于疫情原因無法按原定計(jì)劃帶著同學(xué)們到展廳內(nèi)體驗(yàn)沉浸聲制作系統(tǒng)，待疫情緩和希望能夠有機(jī)會(huì)帶領(lǐng)同學(xué)們到現(xiàn)場(chǎng)進(jìn)行學(xué)習(xí)實(shí)踐。最后還要再次感謝易科的三位老師能夠?yàn)橥瑢W(xué)們提供這次寶貴的學(xué)習(xí)機(jī)會(huì)。”

　　通過這次的線上課程，相信能夠讓更多的同學(xué)能夠?qū)Τ两曄到y(tǒng)及其應(yīng)用有更多的興趣，希望他們未來也能為音頻行業(yè)，尤其是沉浸聲的制作和實(shí)踐注入更多的新鮮血液。