《現(xiàn)代電影技術》｜沉浸式球幕影院中沉浸聲系統(tǒng)的應用

　　沉浸式球幕影院是沉浸式視頻主要呈現(xiàn)形態(tài)之一。根據(jù)觀看方式的不同，沉浸式球幕影院又可以分為穹頂式、傾斜式和垂直式。近年來，將球幕和動感座椅、飛行平臺結合的飛行影院越來越受歡迎，它以強烈的視覺沉浸感、聲音包圍感給觀眾留下了深刻的印象。沉浸式球幕影院除了要實現(xiàn)視覺的沉浸感，還應該實現(xiàn)聲音的沉浸感。本文梳理了沉浸聲的概念及其技術路線，調研總結了20多家應用了沉浸聲系統(tǒng)的球幕影院，闡述了沉浸聲系統(tǒng)設計的主要內容，初步回答了如何在沉浸式球幕影院中實現(xiàn)聲音的沉浸感這一技術問題。

　　關鍵詞

　　沉浸式視頻  球幕影院  飛行影院  沉浸聲  三維聲  全景聲

　　1 概述

　　2020年8月，國家廣播電視總局提出了“高新視頻”的概念，旨在推動5G環(huán)境下“更高技術格式、更新應用場景、更美視聽體驗”的新業(yè)態(tài)，沉浸式視頻是高新視頻的重要組成部分。在《5G高新視頻-沉浸式視頻技術白皮書(2020)》中提到，球幕、環(huán)幕、沉浸式CAVE是沉浸式視頻最主要的呈現(xiàn)形態(tài)，而其中球幕是最符合人眼曲面透視規(guī)律的一種呈現(xiàn)形式[1] 。沉浸式球幕影院本是特種影院的一種，多見于天文館、科技館等科普場館。近年來，將球幕和動感座椅、飛行平臺結合的飛行影院越來越受到觀眾的歡迎，它以強烈的視覺沉浸感、聲音包圍感給觀眾留下了深刻的印象，懸空的推出式座椅和震動、墜落、吹風、噴水、撓癢等多種特效，配合影片動作情節(jié)可以產生豐富多樣的體感，為觀眾帶來前所未有的沉浸式觀影體驗。

　　沉浸式球幕影院坐落在一個鋼結構球體內，觀眾置身其中，被半球形銀幕或切掉部分的碗形幕所包圍。根據(jù)觀看方式的不同，球幕又可以分為穹頂式、傾斜式和垂直式：穹頂式球幕，觀眾一般仰躺著觀看，如天文館星象廳里的球幕;傾斜式球幕，觀眾一般坐在階梯座椅上觀看，如IMAX球幕影院;垂直式球幕，觀眾一般坐在懸掛座椅上或站立在觀景平臺上觀看，如飛行影院[1] 。

　　沉浸式球幕影院的視頻系統(tǒng)通過一臺或多臺投影機，在球形銀幕上投影出完整連續(xù)的畫面，表現(xiàn)出高分辨率、廣視角范圍的顯示效果，帶來強烈的沉浸感與真實感。目前新建的球幕影院，畫面分辨率達到8K，對于180°水平視場角的球幕而言，7200的水平分辨率對應的最小像素夾角為1.5弧分，符合國際天文館協(xié)會(IPS)對球幕“精確辨別”的建議[1] [2] 。此外，由于曲面透視的原理，球幕本身可以較好地實現(xiàn)裸眼立體的效果，還有的球幕影院加入了3D立體效果，如夢幻長城球幕影院和“720穿越飛船”項目。因此從視場角、分辨率、立體效果等幾個方面來看，沉浸式球幕影院的視覺沉浸感已經(jīng)實現(xiàn)得比較成熟，那聽覺的沉浸感如何實現(xiàn)呢?本文旨在探討在沉浸式球幕影院中實現(xiàn)聲音沉浸感的必要性和方法。

　　2 沉浸聲系統(tǒng)的概念

　　盡管從立體聲發(fā)展到了5.1/7.1聲道，實現(xiàn)了音響空間上的巨大進步，但傳統(tǒng)的聲音系統(tǒng)距離真實的聲場仍然有不小的距離。因為傳統(tǒng)的立體聲和5.1/7.1環(huán)繞聲，只能重放水平方向來的聲音信息，例如5.1是通過在人耳高度上的5只揚聲器實現(xiàn)水平方向上360°包圍的效果，但是不能實現(xiàn)垂直方向上的覆蓋。而真實世界的聲音來自四面八方，人耳可以通過聲波的時間差、強度差、相位差、頻率差等辨別聲音的方位。為了再現(xiàn)一個更接近真實世界聽覺感受的聲學環(huán)境，或者創(chuàng)造一種僅在虛擬空間出現(xiàn)的、經(jīng)過增強的現(xiàn)實世界體驗，可以通過聲音的捕捉、合成和渲染得到沉浸式聲場，再通過沉浸式聲音重放系統(tǒng)進行再現(xiàn)[3] 。

　　關于沉浸聲的概念，目前有很多相關名詞，如電影領域里說的全景聲(特指杜比全景聲)、多維聲(特指中國多維聲)，廣播電視領域里說的三維聲、3D Audio以及VR和游戲領域里說的空間音頻,這些名詞都是指的沉浸聲系統(tǒng)。沉浸聲的技術主要有三大類：基于聲道的音頻(Channel-based Audio，CBA)、基于對象的音頻(Object-based Audio，OBA)和基于場景的音頻(Scene-based Audio，SBA)?；诼暤赖募夹g制式主要有THX 10.2(2+8+0的揚聲器布局，即2只上層揚聲器、8只中層揚聲器、0只下層揚聲器)、Auro 3D(5+5+1的揚聲器布局)和NHK 22.2(9+10+3的揚聲器布局)三類。基于對象的技術是目前主流的沉浸聲技術，如電影領域的杜比全景聲、DTS∶X、AuroMAX、HoloSound(國產)、Wanos全景聲(國產)等，以及在廣播電視領域的MPEG-H、AVS2-P3(國產)等?；趫鼍暗募夹g則主要用于游戲和VR領域，其核心的底層算法是Ambisonics。用于劇場劇院和演出行業(yè)的沉浸聲系統(tǒng)，有的也使用高階Ambisonics(簡稱HOA)技術作為底層技術，如L-ISA、Spat Revolution、音王(國產);還有的使用波場合成WFS技術，如IOSONO、HOLOPHONIX、Astro Spatial Audio等。

　　3 球幕影院聲音系統(tǒng)現(xiàn)狀

　　經(jīng)調研發(fā)現(xiàn)，現(xiàn)有的沉浸式影院大多還是傳統(tǒng)的5.1聲道環(huán)繞聲系統(tǒng)，并沒有使用沉浸聲系統(tǒng)。最近幾年新建或改建的沉浸式影院，有一些運用了沉浸聲系統(tǒng)，但是聲道的數(shù)量和揚聲器布局并沒有統(tǒng)一的標準，筆者對目前國內的沉浸式球幕影院做了調研和統(tǒng)計，列出了使用沉浸聲系統(tǒng)的球幕影院(含飛行影院)項目情況，詳見表1。

表1  沉浸式球幕影院（含飛行影院）應用沉浸聲系統(tǒng)的情況列表      

　　此處，筆者想澄清幾個容易被混淆的概念：節(jié)目的聲道數(shù)、還音系統(tǒng)的聲道數(shù)和音箱數(shù)量是三個不同的概念。往往宣傳中說該項目擁有20聲道的聲音系統(tǒng)，最后核實下來其實就是一個5.1系統(tǒng)，之所以會相差懸殊，除了吸引眼球而故意宣傳的情況外，對上述三個概念不清晰是影院建設方或者運營方常有的問題。節(jié)目的聲道數(shù)是指節(jié)目制作和母版輸出的聲音信號數(shù)量;還音系統(tǒng)的聲道數(shù)是指系統(tǒng)能單獨接收信號的通道數(shù)量;而音箱數(shù)量是指使用揚聲器的數(shù)量。這三個數(shù)字往往是一個比一個大，還音系統(tǒng)的聲道數(shù)可能大于節(jié)目的聲道數(shù)，而音箱數(shù)量往往又大于系統(tǒng)聲道數(shù)。例如，某球幕影院的還音系統(tǒng)支持8個聲道的輸出，卻總共用了19只揚聲器，分別是銀幕揚聲器3只(對應3個聲道)、超低揚聲器4只(對應1個聲道)、環(huán)繞揚聲器12只(對應4個聲道)，這么看該影院是可以支持7.1聲道節(jié)目還音的(8個聲道)，但是實際上，該影院只有5.1聲道的節(jié)目源，因此只能說該影院的聲音系統(tǒng)是5.1聲道。

　　表1中有一些球幕影院，如北京天文館、內蒙古科技館使用了基于通道的技術，比如7.1聲道，是在傳統(tǒng)5.1聲道的基礎上增加2個頂部聲道構成的沉浸聲系統(tǒng)?；诼暤赖姆绞皆诹Ⅲw聲以及環(huán)繞聲的音頻制作中被廣泛使用，但是它對揚聲器布局絕對依賴，聽眾只有在很小的區(qū)域內(即通常所說的“皇帝位”)才能聽到最佳的聲音效果，而且要求制作與重放的揚聲器布局及聲學環(huán)境一致，因此靈活性不高。從表1中統(tǒng)計的結果來看，絕大多數(shù)沉浸式影院的沉浸聲系統(tǒng)使用了基于對象的音頻技術，如夢幻長城球幕影院、融創(chuàng)飛行影院系列、首望“720穿越飛船”項目等?；趯ο蟮囊纛l技術的核心組成部分是元數(shù)據(jù)，它記錄聲音的位置、擴展度、運動特性，把這些元數(shù)據(jù)存儲并傳輸?shù)浇K端，渲染后再進行重放。和基于聲道的實現(xiàn)方式不同，基于對象的音頻技術不受還音條件(諸如音箱數(shù)量和布局)的限制，渲染器可以讀取音頻對象的元數(shù)據(jù)信息，使得同一母版能夠適配各種空間的各類還音系統(tǒng)，但前提是制作端和重放端使用相同格式(至少是兼容)的渲染器或渲染模塊。

　　4 沉浸式球幕影院的沉浸聲系統(tǒng)設計

　　如何在沉浸式的球幕影院中實現(xiàn)沉浸式的聽覺效果呢?首先要從沉浸聲系統(tǒng)設計開始。

　　對于沉浸式球幕影院而言，除了沉浸聲系統(tǒng)的設計之外，還有聲學設計、視頻系統(tǒng)設計和建筑設計等環(huán)節(jié)。這些設計環(huán)環(huán)相扣，相互影響。要想獲得極致的沉浸式視聽體驗，沉浸聲系統(tǒng)設計需要建立在良好的建筑聲學環(huán)境和視覺環(huán)境基礎上，還要精心設計揚聲器的布局，對揚聲器進行嚴格選型，同時還要考慮銀幕的位置、畫面中心區(qū)域、觀眾區(qū)位置、俯仰角、視線、最佳視點等因素之間的關系，設計難度較大，且缺少相關的標準和實施指南。根據(jù)以往參與實施的多個大型沉浸式影院項目的設計和建設經(jīng)驗，在此分享一些沉浸式球幕影院中沉浸聲系統(tǒng)設計的主要內容。

　　4.1  聲音制式及聲道數(shù)量

　　沉浸聲系統(tǒng)設計首先要確定沉浸聲制式和聲道數(shù)量。沉浸聲制式可以根據(jù)項目規(guī)模、建筑情況、投資情況等來確定。推薦使用基于對象的沉浸聲技術，杜比全景聲、DTS∶X、AuroMax、HoloSound、Wanos這些沉浸聲制式都在標準電影院中成功商用了，其中最成功的是杜比全景聲。不過杜比全景聲多用于標準影院(方形房間)，較少用于球幕影院，其制定的設計流程和施工標準都是針對標準影院。雖然家庭版全景聲考慮了圓形布局，但是并不適用于球幕影院這樣的大空間。DTS∶X、AuroMax和HoloSound制式支持球形空間的揚聲器布局和聲場渲染，但是從調研結果來看，應用的案例都不多。目前關于球幕影院的沉浸聲方面還沒有相關的標準出臺，球幕影院的節(jié)目也基本上以本地播放為主，未來若想要接入超高清電視節(jié)目、全景VR直播的沉浸式影院，在選擇的時候就要考慮沉浸聲系統(tǒng)是否支持信號傳輸的要求，最好選擇具有編解碼方案的沉浸聲系統(tǒng)。

　　對于聲道數(shù)量，國際巨幕協(xié)會出臺的數(shù)字沉浸式大銀幕規(guī)范DIGSS V2.0對球幕影院聲道的建議為5、6、7或12，而對于更高需求的沉浸聲系統(tǒng)見表2最右一列全景式，至少需要配置12個聲道[4] 。根據(jù)《5G高新視頻-沉浸式視頻技術白皮書2020》中的規(guī)定，沉浸聲系統(tǒng)推薦不低于為5.1.4聲道，即10個聲道的多聲道還音能力，推薦使用更多聲道及帶有對象和場景信息的各類三維聲還音系統(tǒng)配置[1] 。對于要求較高的項目，想要實現(xiàn)極致的沉浸聲效果，根據(jù)實際經(jīng)驗，一般16個聲道方案是能滿足多數(shù)項目需求的。尺寸較大的特效影院，32個聲道已足夠[5] 。

表2  DIGSS V2.0中對平面影院和

球幕影院音頻指標的規(guī)定

　　4.2  揚聲器布局

　　確定了沉浸聲制式和聲道數(shù)量后，需要根據(jù)建筑本身的情況確定揚聲器具體的布局。對于沉浸式球幕影院，揚聲器的布局需要根據(jù)球幕的傾角、觀眾位置和主畫面的位置來確定。

圖1  德國漢堡天文館現(xiàn)場照片,

采用60.4聲道沉浸聲系統(tǒng)^[6]

　　在穹頂式的球幕中，觀眾一般仰躺著觀看節(jié)目，揚聲器可以按照3~4個高度不同的圓環(huán)來設置。最低一層的圓環(huán)位于最接近觀眾的水平面上，間隔一定高度再設置一層圓環(huán)，以此類推。穹頂?shù)淖钌戏綐O點處一般會設置一個專門的聲道，叫做上帝聲道[6] 。揚聲器均勻分布在各層圓環(huán)上，一般最下面一層環(huán)繞聲道的數(shù)量最多，上層環(huán)繞聲道的數(shù)量較少。

表3  德國漢堡天文館60.4聲道

沉浸聲系統(tǒng)的揚聲器布局^[6]

　　傾斜的球幕影院，例如IMAX球幕影院，觀眾一般是坐在階梯座椅上觀看節(jié)目，揚聲器一般分主聲道和環(huán)繞聲道。主聲道一般應包含至少5個前方聲道(左、左中、中、右中、右)，高度位于最佳視點的附近，一般是主畫面的2/3垂直高度，環(huán)繞聲道一般分布在中層(觀眾同高)和上層(也稱為頂部)。

圖2  夢幻長城球幕影院的揚聲器布局（東方佳聯(lián)提供）

　　立式的球幕影院，例如飛行影院和碗幕等(圖3)，觀眾一般是坐在動感座椅上或者是站立著朝正前方觀看，揚聲器可以按照4~6個高度不同的半圓環(huán)來設置，均勻覆蓋畫面所在的整個半球體，觀眾所在區(qū)域的側面和后部，也應配置1~2圈揚聲器作為環(huán)繞聲道的呈現(xiàn)，球體的底部和頂部(如有)應設置相應的揚聲器。

圖3  某飛行影院的揚聲器布局（萬達提供）

　　4.3  沉浸聲制作系統(tǒng)

　　沉浸聲系統(tǒng)要想展示出較好的沉浸感，還得有精心制作的沉浸聲節(jié)目。基于聲道的沉浸聲節(jié)目當然就是多聲道的音頻文件;基于對象的沉浸聲節(jié)目除了有多聲道文件(稱之為聲床)之外，還有多個音頻對象的素材元數(shù)據(jù)文件;而基于場景的沉浸聲節(jié)目就是一個打包好的聲場。那么用什么工具來制作沉浸聲呢?沉浸聲制作系統(tǒng)一般包括音頻工作站(含軟件及插件)、視頻工作站、音頻接口、調音臺、沉浸聲渲染設備、預混監(jiān)聽(制作棚)、終混監(jiān)聽(影院本地)等設備。

　　沉浸聲節(jié)目的制作可以使用Pro Tools、Pyramix、Logic、Nuendo、Reaper等常用的音頻工作站，再配合支持沉浸式聲音制式的渲染引擎和制作插件，如杜比全景聲、HoloSound、Wanos等制式都有沉浸聲制作的渲染引擎和制作插件。需要注意的是，有些沉浸聲引擎或插件并不能適配所有的工作站，例如IOSONO的格式只能使用Nuendo來進行聲音制作，而不支持Pro Tools工作站。此外，音頻工作站還需要原生支持沉浸式的Panner，或者支持安裝3D Panner插件，用于控制聲音在三維空間中的運動軌跡。

　　對于小型沉浸聲制作系統(tǒng)而言，一般由音頻接口與音頻工作站配套使用，連接音頻渲染器、音頻處理器等設備，滿足相應的輸出通道給監(jiān)聽系統(tǒng)。音頻接口可選模擬或數(shù)字音頻接口，目前較多采用MADI協(xié)議的數(shù)字音頻接口，每個MADI接口可以同時傳輸64通道高質量的音頻信號。

　　大型的影片制作系統(tǒng)需要多臺音頻工作站(放機、錄機)和視頻工作站聯(lián)動協(xié)同工作，系統(tǒng)的連接方式可借鑒電影混錄棚的系統(tǒng)設計。同時，還需要配備大型的調音臺，供混音師精細調整聲音的均衡、音量、延時、混響等參數(shù)。因為需要同時控制多軌聲音的各個參數(shù)，所以聲音制作的調音臺至少要有32個推子，大型影片則要配備帶有64個或更多推子的調音臺。

　　沉浸聲渲染引擎是沉浸聲系統(tǒng)的核心設備，它將聲音對象在三維空間中的元數(shù)據(jù)進行編輯和記錄，并將所有的分軌聲音合成為一個聲音母版文件，在還音時再由解碼器將聲音渲染還原。一般每個沉浸聲制式會有自己專用的渲染引擎，有的基于Windows操作系統(tǒng)，有的基于macOS，還有的基于Linux。渲染引擎最核心的模塊是算法，功能強大的引擎可以支持多種算法，如聲像定位的算法VBAP(基于矢量的振幅定位)、DBAP(基于距離的振幅定位)，如渲染的算法HOA(高階Ambisonics)、Binaural(雙耳化)以及去相關的算法等。強大的算法是最終呈現(xiàn)聲音效果的關鍵，也是渲染引擎軟件能力的體現(xiàn)，同時穩(wěn)定性、運算速度和精度、接口的多樣性是渲染引擎硬件能力的體現(xiàn)。

　　預混監(jiān)聽(制作棚)一般為小型混音環(huán)境，對聲音進行編輯制作和預混合。預混監(jiān)聽環(huán)境可以按照ITU-R BS.2051-1以及GY/T 316-2018中的要求來設置，例如5.1.4聲道對應10個聲道。沉浸聲的監(jiān)聽也可以使用雙耳化技術來實現(xiàn)，通過虛擬三維耳機仿真模擬人耳在沉浸聲影院里的聽覺感受，但是目前其聲場還原的準確度和真實感還有待提高。

　　終混監(jiān)聽(影院本地)應該在目標影院的環(huán)境中來完成，一般由影院還音系統(tǒng)來播放音頻工作站中的分軌文件，在這個環(huán)境中對影片的音樂、音效、語言進行最終精細調整。

　　4.4  音頻播放系統(tǒng)

　　音頻播放系統(tǒng)包括媒體服務器、音頻解碼器和音頻處理器。目前球幕影院常用的媒體服務器一般可以支持5.1和7.1聲道的音頻輸出，但是不支持沉浸式聲音的解碼輸出，因此需要有專門的音頻解碼器來負責聲音的播放。音頻解碼器一般需要和制作時的渲染設備相匹配，以確保將打包好的音頻母版文件進行正確的解碼處理，再按照目標影院的揚聲器設置進行渲染，讓還音系統(tǒng)能正常地回放出制作時的聲音感覺。音頻處理器負責揚聲器的信號調校處理，有的音頻解碼器本身就具有揚聲器信號處理的功能，音頻處理器可以省略。

　　4.5  還音系統(tǒng)

　　還音系統(tǒng)包括功放及揚聲器，其設備選型需結合項目情況確定。根據(jù)國內數(shù)字影院技術標準和國際巨幕協(xié)會對沉浸式數(shù)字影院做出的規(guī)定，沉浸式影廳各聲道的基準聲壓級確定為 85dBC， 主揚聲器的峰值聲壓級為 105dBC(參考電平為-20dBFS)，次低頻揚聲器的峰值聲壓級為 110dBC。選擇功放揚聲器的時候要滿足上述聲壓級，且功放的額定輸出功率≥1.5倍所對應的揚聲器額定功率(或滿足所對應的揚聲器工廠推薦的功率)。

　　頻響可參考國內數(shù)字影院技術標準和國際巨幕協(xié)會對巨幕影廳和球幕影廳的指標要求，規(guī)定主揚聲器的頻率響應需滿足 30～16kHz (+3/-6dB)，環(huán)繞揚聲器的頻率響應需滿足 40～16kHz (+3/-6dB)，次低頻揚聲器的頻率響應需滿足25～120Hz。

　　沉浸聲系統(tǒng)中每個揚聲器包括環(huán)繞揚聲器都扮演著很重要的角色，因為聲像定位和移動往往需要多只揚聲器共同發(fā)聲來實現(xiàn)，因此揚聲器能夠覆蓋的觀眾區(qū)域就變得比較關鍵了。在揚聲器的選型中，一般需要盡可能地選擇水平和垂直覆蓋角度大于100°的揚聲器。

　　4.6  其他因素

　　(1)建筑聲學：球幕影院由于使用球形銀幕，對聲音或多或少會有反射作用，很容易造成聲聚焦的問題，因此要特別小心。為了獲得良好的室內音質，需要對混響時間、混響時間頻率特性和聲場均勻性進行控制，還要控制回聲、 顫動回聲、 聲聚焦、諧振等聲缺陷[7] 。

　　(2)房間均衡和校正：校正揚聲器的頻響和時延對沉浸式球幕影院而言尤為重要，因為房間的反射會影響觀眾最終聽到的聲像定位、空間感和音色，未校正過的還音系統(tǒng)可能導致聲音發(fā)悶、變薄等。

　　沉浸式影院的聲音系統(tǒng)設計往往要和建筑、結構、暖通、電氣、弱電、裝修等多個專業(yè)配合，以確保整個空間功能實用且合理，裝飾美觀且安全，觀眾體驗舒適而又充滿驚喜。

　　5 結語

　　事實上，由于服務場所、用途、規(guī)模、投資和主要呈現(xiàn)內容的不同，各個沉浸式球幕影院之間配套的沉浸聲系統(tǒng)往往具有很強的獨立性和定制性，在設計階段就需要和使用方、節(jié)目制作方及項目實施方進行充分的討論溝通，平衡節(jié)目制作、實施難度、還放效果和資金投入等多方面的因素，最終選擇最適合的沉浸聲方案。無論選擇哪種沉浸聲實現(xiàn)方案，都將是對設計、制造、施工、最終體驗等環(huán)節(jié)的全方位考核。

　　在國家大力推進沉浸式視頻發(fā)展的大環(huán)境下，原來簡單以“特種電影”身份出現(xiàn)的各類沉浸式球幕影院，將迎來一場快速的市場爆發(fā)和技術的更新迭代，并最終以其無與倫比的沉浸式節(jié)目內容和強大的沉浸式視聽體驗征服觀眾。根據(jù)沉浸式視頻的發(fā)展規(guī)劃，在未來3~5年內，將實現(xiàn)沉浸式視頻進社區(qū)、進家庭的暢想，彼時也許可以實現(xiàn)足不出戶就體驗到或真實或奇幻的另一個世界。其中，沉浸聲系統(tǒng)所營造的聽覺沉浸感一定是必不可少的因素，且將建立在更加靈活便捷的揚聲器系統(tǒng)和更小型甚至芯片化的渲染設備基礎上。目前，沉浸聲系統(tǒng)的應用規(guī)模和數(shù)量還有很大的提升空間，沉浸聲項目的設計和內容的制作、相關技術和產品的研發(fā)也還需要實現(xiàn)新的突破，而這需要技術人員的共同努力，才能讓這個行業(yè)發(fā)展越來越好。