斯坦福大學(xué)的一個(gè)科研項(xiàng)目——Salsify已經(jīng)可以為實(shí)時(shí)通信應(yīng)用（比如電話會(huì)議）提供更好的視頻傳輸方式。
他們沒有創(chuàng)建新的視頻格式，而是創(chuàng)建了一種用于實(shí)時(shí)視頻系統(tǒng)的新架構(gòu)。Salsify并沒有使用現(xiàn)有的兩個(gè)獨(dú)立控制環(huán)路的方式（其中一個(gè)用于傳輸，另一個(gè)用于視頻編解碼器），而是將他們連接成一個(gè)統(tǒng)一的控制環(huán)路來共同管理傳輸和視頻編解碼器。
視頻編碼器目前就像一個(gè)黑盒子——編/解碼功能將視頻轉(zhuǎn)化成適合傳輸?shù)拇笮�，之后用傳輸協(xié)議進(jìn)行視頻的分發(fā)。Salsify項(xiàng)目使得整個(gè)系統(tǒng)對(duì)可用帶寬的變化響應(yīng)更加快速。從理論上講，Salsify會(huì)帶來更好的整體體驗(yàn)。
當(dāng)前的傳輸方式
目前的視頻傳輸框架，視頻編解碼器和傳輸協(xié)議各自獨(dú)立運(yùn)行，導(dǎo)致視頻流對(duì)于網(wǎng)絡(luò)來說可能太大或太小。斯坦福博士候選人和Salsify項(xiàng)目成員Sadjad Fouladi希望所交付的視頻適合網(wǎng)絡(luò)狀況，從而減少故障和連接丟失，并減少緩存。
他們創(chuàng)建了一個(gè)實(shí)時(shí)視頻系統(tǒng)，能夠快速響應(yīng)不斷變化的網(wǎng)絡(luò)狀況并避免擁塞和故障。Salsify會(huì)根據(jù)當(dāng)前網(wǎng)絡(luò)容量的估算值來提供在這種情況下可以交付的視頻幀。
他們的研究項(xiàng)目與FaceTime，Google Hangouts，Skype和WebRTC在谷歌瀏覽器中的參考實(shí)現(xiàn)相比，無論是否支持可伸縮視頻編碼（SVC），都能實(shí)現(xiàn)更低的視頻延遲和更好的視頻質(zhì)量。對(duì)于視頻會(huì)議，遠(yuǎn)程醫(yī)療或其他對(duì)視頻傳輸延遲比較敏感的實(shí)時(shí)通信而言，低延遲比實(shí)時(shí)流式傳輸更為重要。
Fouladi說，“很多人在視頻會(huì)議中遇到過連接不暢以及視頻質(zhì)量較差的情況，我們認(rèn)為問題不在于編解碼器，也不在于傳輸，而在于這些組件的集成方式。但是這些系統(tǒng)的整體性能并沒有得到太大的提升，所以我們認(rèn)為現(xiàn)在應(yīng)該為整個(gè)系統(tǒng)建立新的架構(gòu)，而不是改進(jìn)單個(gè)組件。”
低延遲
Fouladi說，在諸如Skype的產(chǎn)品或WebRTC的協(xié)議中，傳輸協(xié)議不能很好地控制流。即使現(xiàn)在由于連接不通或網(wǎng)絡(luò)擁塞不適合發(fā)送數(shù)據(jù)，傳輸協(xié)議仍然需要發(fā)送已經(jīng)編碼的幀。
目前的傳輸協(xié)議對(duì)傳送給視頻編解碼器的網(wǎng)絡(luò)速度有一定的估計(jì)。單幀的輸出大小通常低于或超過估計(jì)的網(wǎng)絡(luò)速度。如果該幀太大或太小，則會(huì)通過調(diào)整下一幀進(jìn)行補(bǔ)償。
在大約十到二十幀的過程中，它達(dá)到了平均網(wǎng)絡(luò)速度。所以雖然理論上自糾正機(jī)制可行，但實(shí)際上一個(gè)比較大的幀仍然會(huì)導(dǎo)致?lián)砣蛠G包，這將導(dǎo)致流延遲。此外，僅在平均水平上達(dá)到一定碼率會(huì)使系統(tǒng)對(duì)網(wǎng)絡(luò)變化反應(yīng)遲鈍。
底層
Salsify只關(guān)注下一幀的大小，而不是像之前編解碼器那樣根據(jù)平均比特率來進(jìn)行編碼。它的目標(biāo)是確保沒有任何視頻幀會(huì)導(dǎo)致網(wǎng)絡(luò)中的丟幀和擁塞。Salsify不是預(yù)估編碼參數(shù)，而是為每個(gè)視頻幀編碼兩個(gè)質(zhì)量略有不同的版本，然后選擇適合網(wǎng)絡(luò)條件的版本并隨時(shí)進(jìn)行調(diào)整。“通過這種方式，傳輸過程可以對(duì)視頻進(jìn)行逐幀控制，并且可以更快地響應(yīng)不斷變化的網(wǎng)絡(luò)條件。”Fouladi說。
Salsify的功能性視頻編解碼器為視頻編解碼器提供了一個(gè)保存/恢復(fù)狀態(tài)的接口，使其能夠更加方便地執(zhí)行不同的參數(shù)配置，從而為傳輸提供了一個(gè)選項(xiàng)菜單。在傳統(tǒng)的編解碼器中，如果一幀被編碼，它就成為了視頻流的一部分，并且必須被發(fā)送，而在Salsify的編解碼器中，該幀可以被丟棄并且舊狀態(tài)可以恢復(fù)。
“所以在這種情況下，如果網(wǎng)絡(luò)出現(xiàn)故障或者發(fā)生了非常糟糕的狀況，那么即便編解碼器已經(jīng)編碼出可用幀，傳輸端都可以停止發(fā)送，以避免造成更嚴(yán)重的擁塞”，F(xiàn)ouladi說。與FaceTime，Hangouts，Skype和WebRTC相比，該項(xiàng)目使用該團(tuán)隊(duì)自主研發(fā)的VP8編解碼器，平均可以帶來4.6倍p95-delay的降低，以及2.1 dB SSIM的提升，并且有更高的主觀質(zhì)量。
Fouladi說，“現(xiàn)在我們可以訪問黑盒子的內(nèi)部，而且可以設(shè)計(jì)更復(fù)雜的系統(tǒng)，可以做更多的事情。我認(rèn)為這個(gè)項(xiàng)目的目標(biāo)之一是展示具有這個(gè)接口的好處，并說服編解碼器設(shè)計(jì)者和實(shí)現(xiàn)者在未來的編解碼器中包含該接口。”
Salsify開源編解碼器僅限視頻（無音頻）。該項(xiàng)目是基于軟件的編解碼器，而且為每一幀編碼兩個(gè)版本會(huì)明顯增大計(jì)算開銷。為了在硬件上實(shí)現(xiàn)，他們將有與AV1一樣漫長(zhǎng)的道路要走，因此為了Salsify的實(shí)際應(yīng)用，需要有更加創(chuàng)造性的思維。雖然他們面臨很多挑戰(zhàn)，但Salsify團(tuán)隊(duì)已經(jīng)制定了一種方法來解決長(zhǎng)期存在的問題。
LiveVideoStackCon 2018講師招募
LiveVideoStackCon 2018是音視頻技術(shù)領(lǐng)域的綜合技術(shù)大會(huì)，今年是在10月19-20日在北京舉行。大會(huì)共設(shè)立16個(gè)專題，預(yù)計(jì)邀請(qǐng)超過80位技術(shù)專家。如果你在某一領(lǐng)域獨(dú)當(dāng)一面，歡迎申請(qǐng)成為L(zhǎng)iveVideoStackCon 2018的講師，讓你的經(jīng)驗(yàn)幫到更多人，你可以通過speaker@livevideostack.com 提交演講信息。了解大會(huì)更多詳情，請(qǐng)點(diǎn)擊『閱讀原文』訪問LiveVideoStackCon 2018官網(wǎng)，即刻享受6折優(yōu)惠。
