虛擬現(xiàn)實科技現(xiàn)在非常火熱，視覺層面的技術(shù)難關(guān)一個接著一個的被攻克，但是如果想要徹底實現(xiàn)沉浸式體驗，那么同樣也要在聽覺上實現(xiàn) 3D 效果。聽覺上的 3D 效果究竟是怎樣的？在看電影，玩游戲的時候，怎樣的聲音體驗才能更加優(yōu)秀的讓我們身臨其境？如今這個行業(yè)的技術(shù)發(fā)展究竟到了怎樣的階段？本文將統(tǒng)統(tǒng)給你答案。
音頻的新技術(shù)將徹底改變我們未來玩兒游戲，聽音樂，以及看電影的方式。
現(xiàn)在，我無法相信我的耳朵了。我正拿著一個淺灰色的方塊在我腦袋跟前前后晃動。我發(fā)誓！我晃動的這個小方塊里面有聲音傳出來！而且是一種類似于樂器彈奏出來的音樂，就好像是一個小型喇叭。當(dāng)我拿著這個小方塊逐漸的靠近我的左耳的時候，一種粗糙的小提琴聲響瞬間淹沒了我的左耳，但是如果我把這個小方塊逐漸拿開的時候，這種聲響似乎隨著距離的拉大逐漸的減弱。
我把這個方塊放在我的身后，似乎背后突然出現(xiàn)了一個弦樂四重奏樂團。當(dāng)我把這個方塊拿到我的頭頂上的時候，急劇尖銳的弦樂聲響使得我的頭皮陣陣發(fā)麻。但你知道嗎？其實這個小方塊根本沒有發(fā)出一點聲音。我所聽到的聲音來自于我的耳機。一旦我把耳機摘下來，一切的幻覺就全都消失了。那個方塊就是一個安安靜靜的普通方塊。
我現(xiàn)在的位置就是在馬里蘭州大學(xué)，科技孵化器大廈的一個寬敞的房間里，也是目前擁有 8 個人的科技初創(chuàng)公司 VisiSonics 的辦公地址。正是他們所開發(fā)的軟件徹底擺布了我的大腦，讓我無視掉真正的聲源，掛在我耳朵上的耳機。那個我所舉著的灰色方塊其實連接在另外的一個設(shè)備上，那個設(shè)備可以對我所移動的方塊進行空間位置上的跟蹤。VisiSonics 的 RealSpace 3D 技術(shù)通過跟蹤器上所發(fā)來的空間信息來處理音樂，讓聽者覺得這是從方塊中發(fā)出來的。剛剛我所體驗的這個產(chǎn)品其實只是對這個概念的某種展示，說明了軟件現(xiàn)在已經(jīng)從聽覺上具備了欺騙你大腦的本領(lǐng)。在這其中，最為讓我感到驚訝的是它讓我徹底忘記了耳機的存在，一切都是如此的自然而然，神不知鬼不覺！
這也正是 VisiSonics 所期望達到的效果。該公司希望在未來成為各大游戲廠商爭相追逐爭搶的音頻引擎提供商，同樣在虛擬現(xiàn)實和增強現(xiàn)實領(lǐng)域的聲響部分也能占據(jù)主導(dǎo)地位。事實上，它已經(jīng)朝著這個目標(biāo)邁進了一大步。Oculus Rift 虛擬現(xiàn)實頭戴設(shè)備的制造商 Oculus VR 已經(jīng)在去年的 10 月購買了這一項 RealSpace 3D 技術(shù)，并且于近期已經(jīng)將其整合到了 Oculus 音頻軟件開發(fā)工具套件中了。如今，VisiSonics 還在和其他公司進行談判。公司的創(chuàng)始人之一，同樣也是馬里蘭大學(xué)計算機科學(xué)專業(yè)的教授 Ramani Duraiswami 就表示：「所謂最為完美的 3D 音頻技術(shù)，就是在你戴著耳機的時候，完全忘記耳機的存在�！�
但是公司的雄心壯志似乎已經(jīng)超越了游戲以及虛擬現(xiàn)實。他表示：「我們的最終目標(biāo)是徹底改變?nèi)藗兺ㄟ^耳機來收聽音樂以及一系列音頻的方式！」
VisiSonics 打造 3d 效果的主要方式
我們當(dāng)然能夠通過自己的能力來在三維空間里面辨識音樂，即便我們的眼睛是閉著的，我們?nèi)匀荒軌蛑赋鰜砺曉词窃谀睦�。我們的大腦在辨認這些聲音方面非常在行，耳朵就像是兩個各自獨立運作的耳機一樣。這也意味著我們的大腦是通過多方面的線索來整合聲音的信息，比如一個聲音在到達我們左耳還有右耳的時間是不同的，這樣就能方便大腦辨識這個聲音的位置。想要把這種功能搬到喇叭或者耳機上面是一件非常困難的事。
為了制造這種聲音的 3D 效果，其中一個辦法就是在你的周圍布滿擴音器，也就是人們常說的環(huán)繞立體聲，某些影院里面的音響設(shè)備也是按照這個來布置的，但是這個法子并不適用于耳機上。如今，移動數(shù)字設(shè)備的崛起使得我們能夠利用耳機玩兒游戲，聽音樂和看電影。VisiSonic 的軟件就是通過耳機來制造某種 3D 效果。想象一下吧，當(dāng)你把耳機插上，你的耳朵里響起來的是貝多芬第九交響樂，閉上眼睛仿若置身于一個巨大的歌劇院聽著現(xiàn)場演奏，還是最好的位置；又或者是自己在 iPad 上看一部恐怖電影，壞人的腳步似乎就從你的身后跟了上來……
VisiSonics 的首席軟件工程師羅德·海克斯頓(Road Haxton) 展示的第一批應(yīng)用展現(xiàn)出來的驚人的 RealSpace 3D 技術(shù)，其實在過去一個多世紀里面，它一直是音響工程師努力攻克的技術(shù)難題。在過去大部分時間里，他們往往是模擬出來一個人的頭，然后在這個假頭的兩邊耳朵里塞上耳機，然后錄制下來音頻，希望借此能夠真正的還原我們耳朵接收聲音的方式。
VisiSonics 找到了另外的方式繞開了使用「模擬人頭」的笨方法，通過軟件來達到過去一個多世紀人們想要達到的目的。通常來說，如果我們想要確定聲源的位置，都是通過轉(zhuǎn)頭來仔細區(qū)別接收到的聲音發(fā)生的變化，從這變化中找出聲源的位置。理解了這一點，對于能夠徹底讓人沉浸其中的虛擬現(xiàn)實還有增強現(xiàn)實至關(guān)重要，因為在這個環(huán)境中，你不僅需要確定聲源的具體位置，而且整個環(huán)境所帶來的音響還會隨著你的頭移動而不斷變換，這種聲音和人動作之間的關(guān)聯(lián)會大大加強沉浸式感覺。
這款軟件同樣還替代了房間在聲音傳播過程中的作用。一般來說，聲音發(fā)出之后，它會在房間里面震蕩產(chǎn)生回響，也許它很細微你不會注意到。你所聽到的不僅僅是最原始的聲音，而且還有從墻壁、家具以及房間其他物品上面產(chǎn)生的回響。這些回響震蕩對于確定聽者以及聲源之間的距離非常有幫助，傳遞出來了一種位于三維空間的感覺。這款軟件就能夠替代房間對于聲音的加工作用，也正因為如此踩會使得音響 3D 變得如此的逼真。Duraiswami 表示：最關(guān)鍵的就是軟件復(fù)制這些回響的精確度。
Duraiswami 的軟件第三個重要的組成部分是在聲音進入你耳道之前，模擬出來了從某個特定方向傳播過來的聲音與你身體的交互方式。聲音傳遞的方向不同，它從人的頭部，身體以及嘴唇還有外耳輪廓反射的方式也是有著細微的區(qū)別的。科學(xué)家將這種效果起了一個名字「Head-related transfer function」(簡稱為 HRTF，中文即是與頭部有關(guān)的聲音傳播方式）如果你真的想要讓人感覺聲音是從某個特定的方向傳播過來，那么你就必須利用 HRTF。
說回到本文開頭所做的那次實驗，就我的大腦而言，我真的覺得經(jīng)由 VisiSonics 處理過的聲音，那個從我的耳機發(fā)出來的聲音其實是來自我手里拿著的灰色方塊。Duraiswami 表示：「所謂三維音樂，就好比是一個三條腿的凳子，如果一條腿缺失了，那么這個效果就消失了�！�
在下一章節(jié)，我們將再舉出 RealSpace 3D 技術(shù)的應(yīng)用案例，讓你盡可能的去體會這項技術(shù)的奇妙之處。另外，我們還會追溯歷史，告訴你 VisiSonics 這家初創(chuàng)公司成長的歷程，它是如何從一個默默無聞的小公司發(fā)展成為如今炙手可熱，各大公司競相追逐的目標(biāo)的。
