云之訊首席架構(gòu)師張修路：云呼叫中心服務(wù) 未來(lái)的趨勢(shì)走向

　　張修路：當(dāng)我們?cè)谶M(jìn)行該系統(tǒng)設(shè)計(jì)的時(shí)候，我剛剛接觸這個(gè)團(tuán)隊(duì)，然后我發(fā)現(xiàn)我的大多數(shù)同事對(duì)系統(tǒng)架構(gòu)設(shè)計(jì)理解不是特別地到位。比如說(shuō)，他們會(huì)將每一個(gè)服務(wù)，或者每一個(gè)小功能設(shè)計(jì)成一個(gè)獨(dú)立的部署單元，導(dǎo)致多層次的設(shè)計(jì)。我們的目的在于設(shè)計(jì)一個(gè)大容量、高并發(fā)、高可靠的系統(tǒng)，為了實(shí)現(xiàn)高并發(fā)，每個(gè)系統(tǒng)都要部署一個(gè)機(jī)群，會(huì)導(dǎo)致每個(gè)獨(dú)立的功能在尋找另外一個(gè)業(yè)務(wù)的時(shí)候總要檢測(cè)它的可靠性，這種模式會(huì)帶來(lái)了整個(gè)運(yùn)營(yíng)成本的提升，而且可靠性難以被提高，任何一個(gè)部件出現(xiàn)故障，都會(huì)導(dǎo)致整個(gè)系統(tǒng)的切換。后來(lái)，我們和同事一起分析，將整個(gè)系統(tǒng)盡可能做扁平化的設(shè)計(jì)，并且我們也成功做到將業(yè)務(wù)與數(shù)據(jù)相分離，以及業(yè)務(wù)和前端的接入相分離，整個(gè)系統(tǒng)一般會(huì)通過(guò)兩層，第一層首先進(jìn)來(lái)的是客戶的業(yè)務(wù)請(qǐng)求，通過(guò)LVS或者Nginx之后，做業(yè)務(wù)分發(fā)，在業(yè)務(wù)分發(fā)了之后，做到主備或者機(jī)群，而且它可以做到主備一旦出現(xiàn)問(wèn)題能夠快速地切換，節(jié)點(diǎn)自身的容量也非常大，后面也會(huì)出現(xiàn)更多的對(duì)等機(jī)群。這些機(jī)群，因?yàn)闃I(yè)務(wù)之間完全對(duì)等，因此任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障便能夠在很短的時(shí)間之內(nèi)切換到另外一個(gè)節(jié)點(diǎn)，為了更好地保證業(yè)務(wù)的連續(xù)性，我們把該業(yè)務(wù)和該數(shù)據(jù)邏輯相分離，且將業(yè)務(wù)內(nèi)存緩沖在類(lèi)似redis這樣的內(nèi)存數(shù)據(jù)庫(kù)中，將持久化的數(shù)據(jù)放入主持人MySQL的數(shù)據(jù)庫(kù)集群，將數(shù)據(jù)扁平化。簡(jiǎn)而言之，將業(yè)務(wù)和數(shù)據(jù)分離，能夠較好地做到扁平化，并保證其出現(xiàn)故障的第一時(shí)間能夠很好地做切換。

　　張修路：好，關(guān)于呼叫中心，第一，我們要做到信令和媒體分離，因?yàn)槿绻�我要真正做到完全分布，信令在那種情況下并不容易切換，并且信令在整個(gè)媒體的處理過(guò)程中所占流量比例非常小；第二，整個(gè)信令在接入過(guò)程中，它對(duì)網(wǎng)絡(luò)的抖動(dòng)實(shí)驗(yàn)的敏感度便降低，因此可以將信令做集中部署。比如說(shuō)我們部署在北京，同時(shí)在深圳作為異地的載備節(jié)點(diǎn)，我們會(huì)把媒體進(jìn)行分布式處理，目前我們?cè)诒本�、上海、廣州、深圳等幾個(gè)節(jié)點(diǎn)進(jìn)行部署，而用戶則通過(guò)分布式接入的方式載到系統(tǒng)內(nèi)。如果要想部署一個(gè)真正的分布式系統(tǒng)，首先需要考慮客戶如何切換，我們是通過(guò)信令來(lái)引導(dǎo)媒體地切換，比如說(shuō)，當(dāng)一個(gè)用戶注冊(cè)的時(shí)候，他會(huì)通過(guò)DNS查詢(xún)，注冊(cè)到北京的服務(wù)器，北京的服務(wù)器收到請(qǐng)求之后，根據(jù)該用戶所處地理位置和他所在的運(yùn)營(yíng)商選擇一個(gè)較好的媒體接入節(jié)點(diǎn)，將它引入到就近的媒體節(jié)點(diǎn)，通過(guò)呼叫中心的信令協(xié)商，就可較好地完成整個(gè)分布式的部署，即使某個(gè)節(jié)點(diǎn)出現(xiàn)故障，也可較快進(jìn)行切換。假設(shè)現(xiàn)在在深圳有20個(gè)節(jié)點(diǎn)，如果其中一個(gè)節(jié)點(diǎn)出現(xiàn)了故障，那么我可以在幾秒，甚至更短的時(shí)間之內(nèi)切換到另外一個(gè)健康的節(jié)點(diǎn)，既使整個(gè)深圳市的機(jī)房出現(xiàn)了故障，我也可以通過(guò)信令來(lái)引導(dǎo)，把它切換到北京或者上海的機(jī)房；當(dāng)信令節(jié)點(diǎn)出現(xiàn)故障或者機(jī)房?jī)?nèi)的故障，我們可以做到自動(dòng)切換；如果是整個(gè)機(jī)房出現(xiàn)了比較重大的南北互通問(wèn)題，我們就可以把整個(gè)信令通過(guò)DNS引導(dǎo)把它切換到深圳。為了更好地保證業(yè)務(wù)的連續(xù)性，減少實(shí)驗(yàn)抖動(dòng)，我們所有的業(yè)務(wù)系統(tǒng)和所有的分布式節(jié)點(diǎn)都會(huì)通過(guò)專(zhuān)線來(lái)連接。

　　張修路：傳統(tǒng)的呼叫中心往往都是以整個(gè)設(shè)備運(yùn)營(yíng)商為主導(dǎo)，整個(gè)設(shè)備的提供商也是些電信設(shè)備提供商，類(lèi)似于華為的IPCC，這樣整個(gè)傳統(tǒng)的呼叫中心，它不僅需要客戶購(gòu)買(mǎi)一整套（呼叫中心）硬件設(shè)備，還需要客戶自己部署和二次開(kāi)發(fā)，因此整個(gè)系統(tǒng)部署周期和上線周期十分漫長(zhǎng)，一般時(shí)長(zhǎng)為三至六個(gè)月，而一些較大的呼叫中心僅在籌備期都需要三至六個(gè)月，那么整個(gè)系統(tǒng)建設(shè)和業(yè)務(wù)完整的提升將近一年時(shí)間。云呼叫中心，結(jié)合最近幾年云計(jì)算的發(fā)展，我們將一些系統(tǒng)分布式部署于云上，就像我們提供北京、上海、沈陽(yáng)、深圳、廣州的一些節(jié)點(diǎn)，它們被分布在呼叫中心，那么客戶便不再需要購(gòu)買(mǎi)完整的硬件設(shè)備，而是直接安裝其客戶端，甚至可以通過(guò)網(wǎng)頁(yè)直接使用服務(wù)。它的一個(gè)強(qiáng)大優(yōu)點(diǎn)在于（中小型客戶）不需要像過(guò)去一樣建立一個(gè)只可做基本業(yè)務(wù)的小呼叫中心，而可以通過(guò)云呼叫中心進(jìn)行。其主要優(yōu)點(diǎn)有兩個(gè)，第一，不需要購(gòu)買(mǎi)硬件，業(yè)務(wù)可快速上線，客戶可以在更短的時(shí)間，甚至一至兩周內(nèi)便把業(yè)務(wù)上線；第二，即使不購(gòu)買(mǎi)硬件設(shè)備，也可提供一個(gè)較完整的業(yè)務(wù)，換言之，盡管他的業(yè)務(wù)代表只有幾十個(gè)，但他仍可以使用一個(gè)大型的完整呼叫中心，因?yàn)樗�具有較好的可靠性，過(guò)去當(dāng)你買(mǎi)了硬件設(shè)備之后，他們會(huì)派專(zhuān)門(mén)的運(yùn)維工程師對(duì)整個(gè)系統(tǒng)進(jìn)行運(yùn)行和維護(hù)，但小的公司很難有非常高水平的運(yùn)維人員，它的業(yè)務(wù)自然連續(xù)性便會(huì)受到影響，而我們會(huì)有非常專(zhuān)業(yè)的團(tuán)隊(duì)來(lái)保障業(yè)務(wù)可以真正做到每周7天每天24的運(yùn)行時(shí)間，即使出現(xiàn)故障，我們也可以做到在多個(gè)分支的節(jié)點(diǎn)進(jìn)行切換，而小公司卻不太可能部署此種系統(tǒng)。

　　張修路：我們的系統(tǒng)去部署一個(gè)較大的系統(tǒng)確實(shí)會(huì)帶來(lái)一個(gè)處理很高的并發(fā)，比如說(shuō)我們的系統(tǒng)設(shè)計(jì)要做到一百萬(wàn)的并發(fā)，首先要做到高并發(fā)、高可靠。第一，在地域上需要做到分布式，那么在每一個(gè)機(jī)房里面需要多個(gè)對(duì)等的節(jié)點(diǎn)，一旦某個(gè)節(jié)點(diǎn)出現(xiàn)故障便可自動(dòng)切換，當(dāng)多個(gè)節(jié)點(diǎn)不斷堆疊的時(shí)候，便可達(dá)到高并發(fā)要求，但前提是系統(tǒng)架構(gòu)要能夠支持平滑、橫向的擴(kuò)容；而橫向的擴(kuò)容前提是，前面需有一個(gè)接入。其中有著專(zhuān)門(mén)做接入的設(shè)備，目前我們前端通過(guò)Opensips或者Nginx做接入，它可以支持幾十萬(wàn)，甚至上百萬(wàn)的并發(fā)，那么在多個(gè)對(duì)等的媒體節(jié)點(diǎn)之后出現(xiàn)故障也可進(jìn)行切換。如果要想真正做到高可靠、高并發(fā)，低成本的系統(tǒng)，不能采用過(guò)去較多使用的同步編程，當(dāng)一個(gè)用戶的請(qǐng)求過(guò)來(lái)，，即采用且用專(zhuān)門(mén)的線程來(lái)處理該請(qǐng)求，但該過(guò)程偶爾會(huì)出現(xiàn)等待狀態(tài)，造成阻塞，一旦形成阻塞，若要想服務(wù)一萬(wàn)個(gè)用戶便需要提供一萬(wàn)個(gè)線程，導(dǎo)致既使沒(méi)有業(yè)務(wù)進(jìn)來(lái)，這一萬(wàn)個(gè)線程之間的相互切換也會(huì)帶來(lái)超大負(fù)荷。那么如何解決這個(gè)問(wèn)題？我們采用異步編程，比如說(shuō)異步Servlet、異步Httpclient，或者是J張修路v張修路、C語(yǔ)言，利用各種各樣的異步技術(shù)保證其高并發(fā)性。通過(guò)異步技術(shù)實(shí)現(xiàn)用一個(gè)線程處理幾百個(gè)、甚至上千個(gè)連接，即使整個(gè)系統(tǒng)只有十幾個(gè)或者二十幾個(gè)線程也可處理幾萬(wàn)的并發(fā)。

　　張修路：剛才我們所講述的異步編程涉及更多的是一個(gè)完整的業(yè)務(wù)連接，而異步編程也可能體現(xiàn)在具體的模塊之中。在具體的模塊之中，我們也會(huì)要求同事熟悉異步的編程模型，因?yàn)榇蠖鄶?shù)同事之前用的是傳統(tǒng)的Servlet技術(shù)或者傳統(tǒng)的請(qǐng)求，比如說(shuō)當(dāng)它發(fā)送請(qǐng)求之后，對(duì)方可能需要三秒鐘才會(huì)響應(yīng)，這個(gè)時(shí)間它不得不進(jìn)入等待狀態(tài)或者進(jìn)入Sleep狀態(tài)，但現(xiàn)在我們讓同事熟悉異步的編程模型，比如C語(yǔ)言，以及異步的編程架構(gòu)，比如C語(yǔ)言的libevent、libev這樣的架構(gòu)，Java語(yǔ)言的VERT。X、netty等其它的NIO技術(shù)，通過(guò)第三方的模型對(duì)它進(jìn)行再重裝，即不斷地教他如何做到一個(gè)線程同時(shí)處理幾百個(gè)或者上千個(gè)請(qǐng)求。在此過(guò)程中，不在于技術(shù)有多么難，而是一種觀念的挑戰(zhàn)，讓他熟悉，并且真正能夠接受異步編程，一旦我們的同事熟悉、接觸異步編程，并且看到它帶給整個(gè)系統(tǒng)的好處，就更為容易達(dá)到目的。整個(gè)系統(tǒng)逐步地架構(gòu)升級(jí)就采用異步編程，既真正地實(shí)現(xiàn)高并發(fā)，在出現(xiàn)問(wèn)題又能自動(dòng)切換，實(shí)現(xiàn)高可靠。

　　張修路：在去年年底加入云之訊之后，我主要負(fù)責(zé)語(yǔ)音業(yè)務(wù)，尤其是云呼叫中心的技術(shù)架構(gòu)發(fā)展，同時(shí)也要整合公司的所有業(yè)務(wù)。我們公司目前提供語(yǔ)音、短信、即時(shí)通訊、流量等，且現(xiàn)在較多客戶需要一套完整的解決方案。比如說(shuō)我需要給客戶打電話，但客戶沒(méi)有接聽(tīng)電話，或者接聽(tīng)了之后，對(duì)于信息的獲取、了解不是那么深入，這該怎么辦？我們會(huì)再給他發(fā)個(gè)短信，這樣就把短信系統(tǒng)整合進(jìn)來(lái)�，F(xiàn)在有些人，他更喜歡使用語(yǔ)音的電話服務(wù)，但另一些人更愿意使用即時(shí)消息，所以我們也提供了一個(gè)即時(shí)消息的解決方案，同時(shí)如果客戶使用我們服務(wù)的時(shí)候消耗了流量，我們也可以通過(guò)贈(zèng)送流量的方式提供，相當(dāng)于我們?yōu)槲覀兊目蛻籼峁┮粋�(gè)完整的解決方案，包括語(yǔ)音、短信、即時(shí)消息，以及流量，一體化和一站式的解決方案。

　　InfoQ：非常感謝您今天接受我們的采訪。

　　張修路，2002年哈爾濱工業(yè)大學(xué)研究生畢業(yè)加入華為公司，工作至2014年，任高級(jí)工程師，先后負(fù)責(zé)多個(gè)產(chǎn)品的系統(tǒng)設(shè)計(jì)。加入云之訊后，負(fù)責(zé)IPCC的研發(fā)與系統(tǒng)設(shè)計(jì)工作。有豐富的電信級(jí)產(chǎn)品系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)，熟悉大容量、高并發(fā)和高可靠要求的產(chǎn)品設(shè)計(jì)。

　　QCon是由InfoQ主辦的全球頂級(jí)技術(shù)盛會(huì)，每年在倫敦、北京、東京、紐約、圣保羅、杭州、舊金山召開(kāi)。自2007年3月份首次舉辦以來(lái)，已經(jīng)有包括傳統(tǒng)制造、金融、電信、互聯(lián)網(wǎng)、航空航天等領(lǐng)域的近萬(wàn)名架構(gòu)師、項(xiàng)目經(jīng)理、團(tuán)隊(duì)領(lǐng)導(dǎo)者和高級(jí)開(kāi)發(fā)人員參加過(guò)QCon大會(huì)。