LiveVideoStack：左俊你好，能否先向LiveVideoStack的讀者介紹下自己，以及你目前主要的工作以及關(guān)注的技術(shù)方向？
左俊：我目前主要的負(fù)責(zé)是華為云。通信云服務(wù)整個(gè)解決方案的架構(gòu)和技術(shù)。華為云。通信云服務(wù)目前包括如下四個(gè)服務(wù)：視頻通話服務(wù)、隱私保護(hù)通話服務(wù)、語(yǔ)音通話服務(wù)、短信服務(wù)。當(dāng)下，我主要關(guān)注的有以下兩點(diǎn)：
- 音視頻方案中的效果及質(zhì)量問(wèn)題，這個(gè)是整個(gè)音視頻解決方案最為基礎(chǔ)的部分，華為在運(yùn)營(yíng)商市場(chǎng)實(shí)時(shí)音視頻的成功實(shí)踐，為解決互聯(lián)網(wǎng)視頻通話的效果和質(zhì)量問(wèn)題，提供有效的借鑒和支撐，這也是華為云。視頻通話服務(wù)快速孵化的基礎(chǔ)。
- 解決方案中的安全韌性及合法合規(guī)問(wèn)題，雖然這不是基礎(chǔ)業(yè)務(wù)的一部分，但是這個(gè)是客戶能夠獲取持久保障的前提，華為很看重這一塊，也能夠保證向客戶持續(xù)地提供可靠可信的服務(wù)。
此外還有系統(tǒng)的開(kāi)放性靈活性，成本管理，客戶的個(gè)性化服務(wù)等，也都是整個(gè)解決方案中不可或缺的一環(huán)。
LiveVideoStack：作為在運(yùn)營(yíng)商話音解決方案系統(tǒng)方面有超過(guò)15年經(jīng)驗(yàn)的高級(jí)架構(gòu)師，你如何看待近幾年音視頻通話技術(shù)的發(fā)展？
左俊：近些年通過(guò)開(kāi)源技術(shù)以及整個(gè)通信技術(shù)棧遷移到IP上，音視頻通話的整個(gè)技術(shù)棧發(fā)展的速度很快，基于開(kāi)源軟件的創(chuàng)新解決方案層出不窮，這是整個(gè)行業(yè)技術(shù)水平提升的一個(gè)重要表現(xiàn)。但是開(kāi)源軟件面向的目標(biāo)是提供普遍服務(wù)，對(duì)于極致的音視頻效果和質(zhì)量仍然需要各家使用自己的十八般武藝去不斷的追求，這個(gè)需要長(zhǎng)期的技術(shù)積累與投入。舉一個(gè)編解碼方面的例子，得益于在音視頻編解碼標(biāo)準(zhǔn)、算法、創(chuàng)新場(chǎng)景的長(zhǎng)期投入，華為HW265編碼器包攬了世界視頻編碼器大賽全部三條賽道第一，并毫無(wú)懸念地獲得總成績(jī)第一名。繼2018年奪冠后，成功衛(wèi)冕，蟬聯(lián)2019年大賽冠軍，這些基礎(chǔ)技術(shù)是華為視頻通信效果及質(zhì)量的基礎(chǔ)。
此外，AI加持后的音視頻也變得越來(lái)越有趣，這個(gè)也是近些年來(lái)一個(gè)重要的變化。AI不僅僅上能做人臉檢測(cè)，下能做表情疊加，還能在音視頻技術(shù)的其他環(huán)節(jié)都產(chǎn)生一些顯著的效果。一個(gè)小小的實(shí)時(shí)音視頻通信僅媒體面就涉及前前后后二十多個(gè)環(huán)節(jié)，可喜的是如今已經(jīng)看到不少的環(huán)節(jié)已經(jīng)在用新技術(shù)去優(yōu)化體驗(yàn)效果了，如華為云。視頻通話中的實(shí)時(shí)超分辨率技術(shù)，強(qiáng)化學(xué)習(xí)的抗丟包方法。相信未來(lái)這塊會(huì)有越來(lái)越多的實(shí)質(zhì)性進(jìn)展，會(huì)給我們帶來(lái)各種增強(qiáng)的效果。
LiveVideoStack：作為運(yùn)營(yíng)商出身的華為，在互聯(lián)網(wǎng)實(shí)時(shí)音視頻與傳統(tǒng)話音關(guān)系是什么？關(guān)于兩者的結(jié)合華為云是如何思考的？
左�。�首先，互聯(lián)網(wǎng)實(shí)時(shí)音視頻的主要技術(shù)基礎(chǔ)都是來(lái)源于在運(yùn)營(yíng)商業(yè)務(wù)中的積累，當(dāng)然也吸收了部分互聯(lián)網(wǎng)開(kāi)源的好組件。舉個(gè)例子，運(yùn)營(yíng)商業(yè)務(wù)在極致的可靠性及并發(fā)處理上有著獨(dú)特的技術(shù)要求，這也催生了華為云。通信云服務(wù)的極致可靠性與高質(zhì)量，我們?cè)谝曨l通話設(shè)計(jì)的時(shí)候就在各個(gè)層級(jí)做到了跨Region級(jí)別的容災(zāi)，對(duì)于關(guān)鍵節(jié)點(diǎn)，甚至考慮了異網(wǎng)備份：實(shí)際數(shù)據(jù)表明，自上線運(yùn)行以來(lái)，華為云。視頻通話可用性超過(guò)4個(gè)9，這個(gè)是一個(gè)比較優(yōu)異的成績(jī)。
其次，技術(shù)的共享是雙向的，新的技術(shù)點(diǎn)也使得運(yùn)營(yíng)商網(wǎng)絡(luò)煥發(fā)新的機(jī)會(huì)，比如一些海外先進(jìn)運(yùn)營(yíng)商也在逐步認(rèn)可通過(guò)華為云服務(wù)為他們的客戶提供一攬子話音解決方案，不但快速的部署了業(yè)務(wù)（東南亞某客戶部署中，本身設(shè)備1個(gè)月以內(nèi)完成上線，運(yùn)營(yíng)商側(cè)預(yù)計(jì)3個(gè)月內(nèi)集成），還降低了25%成本。我們也在將線上先進(jìn)的技術(shù)引入到運(yùn)營(yíng)商網(wǎng)絡(luò)的同時(shí)，也在將線上的流量導(dǎo)入到線下，一方面讓運(yùn)營(yíng)商通過(guò)網(wǎng)絡(luò)能力開(kāi)放獲得更多的收益，另一方面也使得線上客戶連接線下客戶更加的方便與便捷。
第三，運(yùn)營(yíng)商網(wǎng)絡(luò)音視頻在一開(kāi)始就關(guān)注全球一張網(wǎng)的互聯(lián)互通，包括不同制式，不同運(yùn)營(yíng)商，不同國(guó)家之間都是可以無(wú)縫互通，這是運(yùn)營(yíng)商音視頻網(wǎng)絡(luò)天然的優(yōu)勢(shì)，不像互聯(lián)網(wǎng)技術(shù)的音視頻往往都是各自獨(dú)立的自成體系網(wǎng)絡(luò)，往往比較難滿足市場(chǎng)多樣化的互通需求。華為的音視頻解決方案在一開(kāi)始就考慮了相關(guān)的互聯(lián)互通需求，能夠?qū)崿F(xiàn)手機(jī)，平板，電視，音箱，固話等所有可能的終端之間的互聯(lián)互通。
LiveVideoStack：華為云。視頻通話服務(wù)與其他廠商相比有哪些獨(dú)到的方案與技術(shù)？
左�。�華為云。視頻通話服務(wù)目前主要在自研編解碼，AI處理，可靠性與韌性，線上線下網(wǎng)絡(luò)互通性，全球覆蓋就近接入網(wǎng)絡(luò)，合規(guī)運(yùn)營(yíng)，用戶隱私與保護(hù)等方面是有比較大的優(yōu)勢(shì)的。舉幾個(gè)例子：
- 編解碼與音視頻質(zhì)量，2019年莫斯科國(guó)立大學(xué)舉辦的MSU世界視頻編碼器大賽上，HW265在Fast快速編碼場(chǎng)景下以62%的編碼壓縮率領(lǐng)先第二名5個(gè)百分點(diǎn)的成績(jī)獲得第一名；在其他一些方面，華為云。視頻通話服務(wù)在比如ROI感知編碼，弱網(wǎng)條件下視頻自動(dòng)超分辨率，E2E時(shí)延優(yōu)化，全球覆蓋就近接入網(wǎng)絡(luò)，網(wǎng)絡(luò)適應(yīng)性的強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)帶寬預(yù)估，視頻長(zhǎng)期參考幀均有應(yīng)用，使得整體的效果不管是網(wǎng)絡(luò)正常還是網(wǎng)絡(luò)丟包網(wǎng)絡(luò)帶寬受限場(chǎng)景都有優(yōu)異的表現(xiàn)，視頻U-vMOS（華為視頻體驗(yàn)衡量體系評(píng)價(jià)標(biāo)準(zhǔn)）相比較不帶這些效果提升0.6分以上。
- DFx，可靠性，華為云。視頻通話服務(wù)在各個(gè)層級(jí)做到了跨Region級(jí)別的容災(zāi)，對(duì)于關(guān)鍵節(jié)點(diǎn)，考慮了異網(wǎng)備份，與此同時(shí)，華為依賴ICT領(lǐng)域多年在故障模式的積累，提前對(duì)六十多種典型的故障場(chǎng)景在現(xiàn)網(wǎng)進(jìn)行提前的故障注入演練，確保了典型故障場(chǎng)景業(yè)務(wù)無(wú)中斷，上線以來(lái)的數(shù)據(jù)表明實(shí)際可用性超過(guò)4個(gè)9。
- 用戶隱私與保護(hù)方面，華為運(yùn)營(yíng)平臺(tái)也是最為合規(guī)的用戶數(shù)據(jù)保護(hù)平臺(tái)，在數(shù)據(jù)存儲(chǔ)、傳輸、使用等各個(gè)方面均滿足當(dāng)?shù)貒?guó)家的法律法規(guī)，包括GDPR要求的各項(xiàng)規(guī)定。華為堅(jiān)持“上不碰應(yīng)用、下不碰數(shù)據(jù)”，對(duì)用戶自身產(chǎn)生的數(shù)據(jù)全部交給用戶進(jìn)行加密處理，這里面就包括用戶提出的錄音存儲(chǔ)等訴求。
LiveVideoStack：目前華為云。視頻通話服務(wù)都覆蓋到了哪些行業(yè)場(chǎng)景？為匹配多種商業(yè)場(chǎng)景，你們團(tuán)隊(duì)在編碼、轉(zhuǎn)碼、網(wǎng)絡(luò)等方面又有哪些儲(chǔ)備？
左�。�目前我們主要面向行業(yè)包括“在線教育”、“智能終端”、“社交娛樂(lè)”三個(gè)場(chǎng)景，這里拿智能終端舉例說(shuō)明。在今年8月上旬華為開(kāi)發(fā)者大會(huì)上發(fā)布的暢連通話背后的服務(wù)支持就是來(lái)自于華為云。視頻通話服務(wù)，這里面包含幾點(diǎn)關(guān)鍵技術(shù)：
解決方案層面：
- 全場(chǎng)景互聯(lián)互通：支持手機(jī)、平板、電視、音箱、手表的全場(chǎng)景互聯(lián)互通
- 音視頻技術(shù)層面：
- H265 720P：首次將H.265 720P應(yīng)用于大規(guī)模實(shí)時(shí)通信系統(tǒng)，碼率降低到傳統(tǒng)系統(tǒng)的60%。（軟硬結(jié)合，華為手機(jī)專項(xiàng)優(yōu)化）
- 動(dòng)態(tài)感知的視頻超分技術(shù)+ROI感知編碼：網(wǎng)絡(luò)不佳，畫(huà)質(zhì)下降時(shí)，自動(dòng)提升畫(huà)質(zhì)體驗(yàn)，結(jié)合ROI感知編碼技術(shù)，讓最終用戶的體驗(yàn)更加清晰流暢
網(wǎng)絡(luò)路由及適應(yīng)性方面：
- 感知切換：支持WIFI與無(wú)線分組的無(wú)感知切換（軟硬結(jié)合，華為手機(jī)專項(xiàng)優(yōu)化雙連接+網(wǎng)絡(luò)側(cè)首包學(xué)習(xí)）
- 基于網(wǎng)絡(luò)適應(yīng)性強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)帶寬預(yù)估：實(shí)時(shí)準(zhǔn)確預(yù)測(cè)網(wǎng)絡(luò)帶寬，作為編碼器的輸入，形成聯(lián)動(dòng)，保證視頻效果
- 承載網(wǎng)絡(luò)優(yōu)化：基于華為在IP網(wǎng)絡(luò)以及華為云在網(wǎng)絡(luò)接入方面的積累和儲(chǔ)備，華為視頻云服務(wù)實(shí)現(xiàn)了在全國(guó)任何接入網(wǎng)絡(luò)條件下的IP路徑最優(yōu)，提升了用戶體驗(yàn)
LiveVideoStack：計(jì)算服務(wù)具有高效、便捷、節(jié)約成本等諸多優(yōu)勢(shì)，隨著云服務(wù)市場(chǎng)的快速發(fā)展，越來(lái)越多的運(yùn)營(yíng)商和行業(yè)客戶開(kāi)始采用實(shí)時(shí)通信云服務(wù)產(chǎn)品，那么在數(shù)據(jù)存儲(chǔ)方面華為云。視頻通話服務(wù)是如何保障數(shù)據(jù)安全、保護(hù)用戶隱私的？
左俊：的確，你說(shuō)的這點(diǎn)正是許許多多客戶有所顧慮的。華為云。視頻通話服務(wù)在設(shè)計(jì)之初就已經(jīng)考慮了數(shù)據(jù)存儲(chǔ)、傳輸、使用的過(guò)程中滿足當(dāng)?shù)馗鱾�(gè)國(guó)家的法律法規(guī)，直接考慮的是面向的是全球化運(yùn)營(yíng)場(chǎng)景。華為云。視頻通話服務(wù)遵循華為云的“上不碰應(yīng)用、下不碰數(shù)據(jù)，不做股權(quán)投資”原則，高度重視用戶隱私保護(hù)，切實(shí)貫徹適用法律法規(guī)的要求，內(nèi)部也有一套相應(yīng)的管理辦法，保證華為公有云上的數(shù)據(jù)完全滿足GDPR的要求。對(duì)于一般的多流轉(zhuǎn)發(fā)音視頻通信，RTP媒體在路徑中是不被存儲(chǔ)的，各個(gè)節(jié)點(diǎn)只是基于最優(yōu)路徑的轉(zhuǎn)發(fā)，類似基于路由表的路由器；再舉用戶錄音存儲(chǔ)訴求來(lái)說(shuō)，這類的媒體都會(huì)由客戶自行管理的密鑰進(jìn)行加密或者是存儲(chǔ)在客戶指定的存儲(chǔ)資源上，這些數(shù)據(jù)從解決方案上已經(jīng)設(shè)計(jì)為無(wú)法被第三方獲取。
LiveVideoStack：實(shí)時(shí)通信更強(qiáng)調(diào)低延時(shí)和接通率，華為云。視頻通話服務(wù)在這方面都做了哪些工作？
左�。�低時(shí)延實(shí)際是一個(gè)相對(duì)的概念，ITU-T G.114建議的值是400ms以內(nèi)的單向時(shí)延，基于這個(gè)值絕大多數(shù)用戶語(yǔ)音通信是可以接受的。但是在某些特殊場(chǎng)景，比如雙方著急說(shuō)話形成的雙講場(chǎng)景，遠(yuǎn)程K歌，VR/AR互動(dòng)等場(chǎng)景，這個(gè)值的要求就得嚴(yán)格許多。針對(duì)網(wǎng)絡(luò)質(zhì)量較好的的視頻通信場(chǎng)景，統(tǒng)計(jì)值95%的情況下從采集到屏幕呈現(xiàn)基本維持在300ms以內(nèi)，這里的軟件優(yōu)化點(diǎn)還是很多很細(xì)的，比如Cache的調(diào)整，網(wǎng)絡(luò)路徑的優(yōu)化，網(wǎng)絡(luò)側(cè)復(fù)制轉(zhuǎn)發(fā)的優(yōu)化等等。
另外，在弱網(wǎng)情況下，時(shí)延常�？赡艹揭曨l質(zhì)量成為通信第一要素（寧可沒(méi)有視頻，也要保證有音頻實(shí)時(shí)）。一般情況下，視頻的處理往往是后處理模塊使用FEC進(jìn)行冗余，但是這往往會(huì)因?yàn)樵龃骲uffer而增大時(shí)延。我們敏銳的感覺(jué)到，單調(diào)的修改網(wǎng)絡(luò)適應(yīng)性模塊是不夠的，必須要在編碼器與網(wǎng)絡(luò)適應(yīng)性模塊間形成聯(lián)動(dòng)，通過(guò)反饋環(huán)才能從E2E角度去降低冗余和時(shí)延。為此，華為研發(fā)的網(wǎng)絡(luò)適應(yīng)性強(qiáng)化學(xué)習(xí)模塊能夠?qū)崟r(shí)準(zhǔn)確預(yù)測(cè)網(wǎng)絡(luò)帶寬，作為編碼器的輸入，實(shí)時(shí)調(diào)整編碼器比特率輸出，避免整個(gè)系統(tǒng)陷入越是帶寬不夠->越要抗丟包->越要冗余增加帶寬的惡性循環(huán)。當(dāng)然這一招不會(huì)是銀彈，整個(gè)通信視頻中低時(shí)延處理是一個(gè)系統(tǒng)工程，我相信各個(gè)廠家在這方面都有自己的看門(mén)絕技，也歡迎大家一起交流。
LiveVideoStack：視頻質(zhì)量對(duì)于實(shí)時(shí)通信來(lái)說(shuō)也非常重要，華為云在這方面都做了哪些工作來(lái)提升用戶的使用體驗(yàn)？
左俊：
- 選擇一個(gè)好的編解碼器，華為視頻通信選擇的是自研的HW265
- 有一個(gè)好的冗余及抗網(wǎng)絡(luò)抖動(dòng)算法
- 優(yōu)化無(wú)止境，通過(guò)照鏡子的方式匿名統(tǒng)計(jì)用戶質(zhì)量數(shù)據(jù)來(lái)進(jìn)行有針對(duì)性的改進(jìn)，比如故障樹(shù)分析。
LiveVideoStack：云上的海量視頻如果僅靠人工審核遠(yuǎn)遠(yuǎn)無(wú)法滿足需求，針對(duì)視頻質(zhì)量審核華為云有哪些獨(dú)到的審核方案？
左俊：我這里先大膽的解下題，假定是針對(duì)視頻質(zhì)量的審核，而不是針對(duì)內(nèi)容是否合規(guī)的檢查。
實(shí)時(shí)通信中的質(zhì)量審核的確非常的重要，比如在教育場(chǎng)景，就有諸多的監(jiān)課員負(fù)責(zé)課堂質(zhì)量審核。在一方面提升系統(tǒng)應(yīng)對(duì)各種網(wǎng)絡(luò)質(zhì)量的同時(shí)，一個(gè)自我認(rèn)知的“照鏡子”系統(tǒng)也是關(guān)鍵手段，不僅能夠讓服務(wù)運(yùn)營(yíng)發(fā)現(xiàn)共性問(wèn)題，還能幫助客戶去定位最終用戶的各種使用問(wèn)題。華為云。視頻通話服務(wù)的“鏡子”系統(tǒng)通過(guò)自研的U-vMOS算法自動(dòng)實(shí)時(shí)計(jì)算當(dāng)前會(huì)話各路的音視頻質(zhì)量，并上報(bào)給Ops系統(tǒng)，在客戶界面就可以準(zhǔn)實(shí)時(shí)觀察到當(dāng)前正在進(jìn)行的多方通話的質(zhì)量情況。此外，我們還實(shí)施了故障樹(shù)智能分析功能，可以幫助客戶管理員自動(dòng)的定位問(wèn)題，緩解了很多人對(duì)音視頻基礎(chǔ)知識(shí)匱乏的問(wèn)題。
LiveVideoStack：隨著5G時(shí)代的來(lái)臨，網(wǎng)絡(luò)傳輸延遲將變得更低，這會(huì)引發(fā)哪些更實(shí)時(shí)的音視頻交互體驗(yàn)？網(wǎng)絡(luò)帶寬變大對(duì)實(shí)時(shí)通信來(lái)說(shuō)是否會(huì)出現(xiàn)新的交互模式？
左�。�5G有三個(gè)大的場(chǎng)景，增強(qiáng)型移動(dòng)寬帶eMBB，大規(guī)模物聯(lián)網(wǎng)mMTC和高可靠低時(shí)延URLLC。目前可見(jiàn)的360 VR全景通信由于涉及360度的視頻傳遞，這里面對(duì)帶寬的需求就有很大了，當(dāng)然，這個(gè)里面有很多的技術(shù)手段可以去壓縮&動(dòng)態(tài)調(diào)整視頻傳輸碼率，如基于Tiled的編碼方案，基于當(dāng)前視角的FoV視頻傳遞等。此外，對(duì)于普通的視頻通信，一般還用不上5G的超低時(shí)延，但是在一些特殊場(chǎng)景上，比如在線K歌，AR遠(yuǎn)程指導(dǎo)都需要很低的時(shí)延，否則就會(huì)形成滯后感。這些在5G的SA階段肯定會(huì)有相應(yīng)的應(yīng)用場(chǎng)景。
目前，全球范圍來(lái)看，5G的絕大多數(shù)興建都是以NSA為主的方案（中國(guó)三大運(yùn)營(yíng)商預(yù)計(jì)會(huì)在2020年啟動(dòng)部署SA方案），也就是說(shuō)僅僅在無(wú)線側(cè)實(shí)現(xiàn)了5G基站的接入，這一段的實(shí)現(xiàn)還無(wú)法完全釋放5G定義的三大場(chǎng)景的對(duì)應(yīng)能力，目前較成熟的也就是eMBB增強(qiáng)型移動(dòng)大寬帶場(chǎng)景。單純的大帶寬對(duì)通信視頻的影響還是有限的，未來(lái)的創(chuàng)新場(chǎng)景還需要更多的在接入端側(cè)有顛覆性的變化，此外，對(duì)于端側(cè)的算力及功耗問(wèn)題，還需要網(wǎng)絡(luò)側(cè)有一定邊緣計(jì)算解決方案配合。
舉個(gè)例子來(lái)說(shuō)，AR遠(yuǎn)程協(xié)助場(chǎng)景，首先是基于通信的，再者由于指導(dǎo)端到被指導(dǎo)端的視頻環(huán)回以及指導(dǎo)端可能的自由視角需求，需要將媒體路徑盡可能放低（傳輸網(wǎng)絡(luò)時(shí)延、QoS暫時(shí)無(wú)法保證），這就衍生出邊緣計(jì)算的場(chǎng)景（邊緣就近接入及媒體處理），目前這塊還在研究的過(guò)程中，有成果了再給大家匯報(bào)。
硬派多媒體技術(shù)方案沙龍·2019深圳
從WebRTC、低延遲直播到邊緣計(jì)算，從編解碼Codec到AI加速，從全景視頻到沉浸式音頻，從5G到超高清，從金融、教育、制造等行業(yè)應(yīng)用場(chǎng)景優(yōu)化到QoE用戶體驗(yàn)……硬派多媒體技術(shù)方案沙龍（The Future Impact of Multimedia Technology & Solutions Forum）旨在甄選技術(shù)領(lǐng)先、成熟的方案與案例，推動(dòng)技術(shù)傳播，連接多媒體技術(shù)生態(tài)上下游。來(lái)源：<span style="color: rgb(51, 51, 51); font-family: -apple-system-font, BlinkMacSystemFont, " helvetica="" neue",="" "pingfang="" sc",="" "hiragino="" sans="" gb",="" "microsoft="" yahei="" ui",="" yahei",="" arial,="" sans-serif;="" font-size:="" 0px;="" letter-spacing:="" 0.544px;"=""> LiveVideoStack
