Spirent辛小秋：VOIP方面的測試方法和經(jīng)驗
姚易順 2008/09/19
大家好，我是思博倫亞太區(qū)負(fù)責(zé)語音的項目，我希望利用半個小時跟大家分享一下我們在VOIP方面的測試方法和經(jīng)驗。
今天我講的主要議程有四個方面：
第一，VOIP測試方法學(xué)。
第二，VOIP測試結(jié)果分析。
第三，VOIP測試中常見的錯誤。
第四，IP-PBX和IP呼叫中心的測試應(yīng)用。
思博倫在IP測試方面積累了多年的經(jīng)驗，總結(jié)來說在測試方法這方面有三部分，這三部分是環(huán)環(huán)相扣的，不能從第一步直接跳到第三步，這都是不可以的。在VOIP方面我們首先要進(jìn)行孤立節(jié)點的測試。我們知道我們VOIP在網(wǎng)絡(luò)當(dāng)中節(jié)點很多從終端到網(wǎng)絡(luò)節(jié)點到核心網(wǎng)的軟交換等等都有很多，這些節(jié)點怎么樣首先要孤立起來，孤立這些節(jié)點來測試它的語音質(zhì)量性能。只有這樣我們才能把網(wǎng)絡(luò)里面每個節(jié)點的性能都很清晰地測試出來，看一看它真實的能力是不是負(fù)荷它設(shè)計的要求。我們做完第一步之后要進(jìn)行第二步，第二步要解決兼容性的問題，我們在網(wǎng)絡(luò)里面有多VOIP的節(jié)點，這些節(jié)點可能來自于不同的生產(chǎn)商，比如說華為的軟交換和中興的媒體網(wǎng)之間組織一個小的群體，在這個群體里面可能有一個、兩個或者多個節(jié)點組成一個內(nèi)測網(wǎng)絡(luò)，我們再訪問這個內(nèi)測網(wǎng)絡(luò)，解決兼容性的問題。也就是說，即使我們測試了華為的軟交換它的性能非常好，但兩個節(jié)點放在一起組成的網(wǎng)絡(luò)性能可能集成的并不負(fù)荷要求。我們會進(jìn)行端到端的測試方法，這個測試方法主要是考慮到用戶的真實感受，也就是說用戶拿起電話來進(jìn)行呼叫到另一方的時候，對方是否能夠聽到清晰的語音，是不是我們能夠感受到一些回聲或者有的時候聽不清。這種現(xiàn)象在真實用戶感覺里面是非常敏感，也是造成用戶投訴的重要來源。
在VOIP里面我們知道功能測試，包括語音電話功能測試、電話業(yè)務(wù)功能測試、傳真功能測試，比如說T30/T38/V34的測試。
第二部分在VOIP性能測試包括壓力測試和穩(wěn)定性測試。大家往往重視第一方面而忽略第二方面的測試，通過壓力測試看一下被測系統(tǒng)是否達(dá)到設(shè)置要求。第二個方面是穩(wěn)定性測試，我們在大的話務(wù)量背景下我們要進(jìn)行一些常保持的呼叫測試，在呼叫過程當(dāng)中我們要檢測一些呼叫參數(shù)比如說語音質(zhì)量，看一下這些指標(biāo)隨時間變化的曲線是怎么樣，比如說我們的語音質(zhì)量，我們的語音質(zhì)量往往在呼叫開始的時候非常好，但是過了一段時間尤其是IP網(wǎng)絡(luò)，可能會突然產(chǎn)生惡化。大家都用過Skype和MSN進(jìn)行通話，可能一開始都可以聽到清晰的聲音但是過了沒有多久就會聽到雜音或者回聲或者語音斷斷續(xù)續(xù)的現(xiàn)象。在這種現(xiàn)象中我們稱之為漏斗，這種漏斗上語音質(zhì)量變化上可以很清晰的看到，比如說一開始是4.5或者4.2非常好，但是過了1分鐘、2分鐘可能會變成2.8，然后再加上可能會產(chǎn)生一個漏斗的情況。這個漏斗的多少或者漏斗出現(xiàn)的頻率就可以反映我們被測系統(tǒng)的穩(wěn)定性。在測試過程當(dāng)中可以知道被測系統(tǒng)處于不穩(wěn)定的狀態(tài)，尤其是高話務(wù)量的背景下產(chǎn)生的影響，這些也是用戶投訴的重要原因。
VOIP性能測試方面，我們VOIP存在兩個層面，第一個層面是控制層面也就是系列層面，在NGN網(wǎng)絡(luò)里面是VOIP與PSTN網(wǎng)絡(luò)融合，存在大量的信令協(xié)議來控制各種業(yè)務(wù)呼叫。第二方面是數(shù)據(jù)層面，數(shù)據(jù)層面是在NGN網(wǎng)絡(luò)中的媒體流以RTP和傳統(tǒng)TDM兩種形式存在。
所以我們VOIP網(wǎng)絡(luò)性能的測試要點有兩個方面：第一方面是控制層面的處理能力測試包括BHCA測試，我們要檢測被測設(shè)備一個小時里面能夠處理多少話務(wù)，以及CPS，還有信令有沒有延遲、呼叫過程音有沒有延遲，比如說用戶撥完號以后多長時間可以聽到回音，這種延遲會反映出用戶的忍耐程度和網(wǎng)絡(luò)性能之間的平衡問題。比如說用戶只能忍耐2秒或者1秒，但是你在高話務(wù)量的情況下你達(dá)到10秒或者更高，雖然你測試以后很好但是這種情況放在真實網(wǎng)絡(luò)里面用戶投訴肯定是非常之多的。
第二方面數(shù)據(jù)層面我們還要測試語音質(zhì)量，語音質(zhì)量測試也要考慮到用戶的感受，我們規(guī)定入網(wǎng)的條件是4.0以上，4.0是我們的及格線。當(dāng)然移動網(wǎng)絡(luò)里面可以到3.5或者3.8。在這里面我們可以測試PSQM/PESQ/MOS，如果大于400毫秒的話我們認(rèn)為是不合格的。
對于VOIP測試方法舉例，比如說測試軟交換，這都是周圍一些節(jié)點，我們使用測試工具來仿真周圍的節(jié)點把軟交換孤立起來。這就是我剛才說的第一種測試方法孤立結(jié)點的測試方法。這樣的好處我可以清晰地得到這個節(jié)點的具體性能是不是達(dá)到我設(shè)置的要求。
第二個例子是網(wǎng)關(guān)測試。我們在一個網(wǎng)絡(luò)里面要測試很多個網(wǎng)關(guān)，這些網(wǎng)關(guān)可能來自于不同的產(chǎn)品和提供商，可能是來自華為、阿爾卡特或者中興等其他廠家，我們用測試來仿真揭露網(wǎng)關(guān)的揭露終端來測試網(wǎng)關(guān)的性能。這樣做的好處就是要檢驗出在我們單獨對每一個媒體網(wǎng)關(guān)進(jìn)行孤立節(jié)點測試之后我們還要進(jìn)行融合的測試或者說兼容性的測試，是不是能夠達(dá)到我們預(yù)期的效果。
這是SBC的測試。測試工具通過仿真對于SBC進(jìn)行測試，這類似于端到端的測試。
這種測試是G-PON VOIP測試，我們用測試工具仿真接入和VOIP網(wǎng)絡(luò)或者PSP網(wǎng)絡(luò)部分進(jìn)行性能測試，這也屬于端到端的測試。端到端的測試我們要測試網(wǎng)絡(luò)的性能和穩(wěn)定性。
這部分是我們專門在VOIP網(wǎng)絡(luò)里來測試語音質(zhì)量的，來體現(xiàn)我們真實用戶如果使用你的VOIP網(wǎng)絡(luò)來打這種電話的話他能夠感受到什么，他能夠感受到我摘機以后多長時間聽到，我的語音情況怎么樣，有沒有斷斷續(xù)續(xù)，這些指標(biāo)都是我們測試的重點。
第二部分我給大家稍微講一下VOIP性能的結(jié)果分析。所謂VOIP網(wǎng)絡(luò)性能測試，剛才我說過了包括幾個方面，有負(fù)荷壓力測試有穩(wěn)定性測試，我們采用不同的測試方法，不管怎樣的測試網(wǎng)絡(luò)性能測試都有很大的呼叫量對于被測對象或者被測的網(wǎng)絡(luò)產(chǎn)生一定的壓力，或者產(chǎn)生一個長時間的呼叫來測試它的性能和它的穩(wěn)定性。
首先我們講一下負(fù)荷壓力測試，分為同步呼叫和異步測試，比如說我的一萬個終端可以同時啟動我看軟交換能不能同時處理。我們再假設(shè)一種情況軟交換的設(shè)計是可以處理的，當(dāng)然90%的測試結(jié)果是達(dá)不到滿意的，也就是設(shè)計能力是能夠同時受理1萬個呼叫，但是真實模擬1萬個呼叫的時候系統(tǒng)就達(dá)不到要求。即使產(chǎn)生了零虧損的狀態(tài)我們還要驗證一下限定時點還有其他的指標(biāo)能不能達(dá)標(biāo)。
長保持測試方式，主要測試系統(tǒng)穩(wěn)定性，比如說我們用了一萬個終端保持一個小時或者八個小時呼叫，在保持過程中我們首先看一下這個呼叫有沒有調(diào)換的現(xiàn)象，如果有調(diào)換的現(xiàn)象說明系統(tǒng)處于不穩(wěn)定的狀態(tài)。同時還要檢驗有沒有漏斗的存在，也就是說我們要檢測語音質(zhì)量和其他指標(biāo)隨時間變化的曲線，這個曲線可以反映出系統(tǒng)穩(wěn)定性的好與壞。一般來說漏斗是都存在，但是漏斗幅度大小不一樣，比如說用語音質(zhì)量來舉例子，我們語音質(zhì)量一般在4.5到4.0之間波動，但有時候我們的漏斗會到3.0以下或者2.0以下，這樣的幅度是很深的，往往被用戶聽出來是很不好的感覺，比如說對方突然聽不到或者存在雜音。
下面說一下網(wǎng)絡(luò)性能的指標(biāo)的參數(shù)之一語音質(zhì)量。大家知道我們普通的模擬終端要接入到IP網(wǎng)絡(luò)必須要經(jīng)過網(wǎng)關(guān)進(jìn)行編碼，各個廠家采用的方式不一樣，有的要采取快速的算法，保留大部分人的中頻聲音。還有一些廠家可以采用比較全面的編解碼把所有的聲音都保留下來但是速度很慢，聲音從主叫方傳到被叫方時間會很長，如果你采用好的編解碼方式時間會長，你采用很快的編解碼方式可能對你的語音質(zhì)量又有影響，這就是一個平衡點的問題。
第二個影響語音質(zhì)量的因素就是傳輸線路造成的。在傳輸線路上存在一些丟失，這些因素也會影響到我們的語音質(zhì)量。另外還有一些回聲，是與我們模擬系統(tǒng)進(jìn)入到IP混合造成的回聲，IP的網(wǎng)絡(luò)還不能完全消除回聲，只不過人是能聽見還是不能聽見的。另外還存在失真的問題，我們網(wǎng)絡(luò)被動層的語音質(zhì)量。
我們用戶關(guān)心的還有一些參數(shù)比如說呼叫過程音，用戶一般摘機起來有一個撥號音，用戶什么時候能夠聽到這是很重要的。另外還有忙音、擁塞音、回鈴音，用戶都非常熟悉。如果我們很長才能聽到用戶有會產(chǎn)生反感甚至?xí)对V。
我們檢驗呼叫過程音的方法往往是采用時延的方法，用戶摘機以后到聽到撥號音的時間是多長，再一個用戶撥完號以后到聽到聲音之前，我說的話到傳到用戶耳朵里面用了多長時間，可能就存在不是實時的表現(xiàn)形式。
這些是呼叫的整個過程，都是用戶關(guān)心的一些重要性能指標(biāo)。
像信令延遲，就是我們在不同信令里面發(fā)送和接受的時間差，這個時間差是有兩方面造成的，大家可以看一下這個時間差，信令時延，比如說我發(fā)了一條消息到我收到一條消息可能是100或者200，這個時間差我們叫做網(wǎng)絡(luò)給你的信令時間。不同的信令它的Post dial delay是不一樣的。
SIP是統(tǒng)一通信里面用的最多的信令，這個大家是非常熟悉的，比如說Response Time就是發(fā)出去100Trying的時間。
另外思博倫想強調(diào)一點我們的性能測試真實性，其實這一點非常重要。有許多朋友就說你們?yōu)槭裁床捎眠@種測試方法，我們自己有軟件的測試完全可以替代，這里我們要強調(diào)一個真實性，所謂真實性來說我們仿真的設(shè)備和真實的設(shè)備要盡可能地接近，舉一個例子比如說我們仿真一個模擬電話，要仿真它的物理特性和我們真實的電話完全一樣，這樣的仿真才叫真實性的仿真。如果我們用一個反應(yīng)來仿真這些是做不到的。另外軟件的功能也要和真實的硬件盡可能的接近。
仿真測試環(huán)境的真實性，你搭建的測試性要盡可能接近你的設(shè)備部署到真實網(wǎng)絡(luò)當(dāng)中去，這樣你測出的結(jié)果放到真實網(wǎng)絡(luò)里面你的風(fēng)險才最少，否則的話你測出來值非常高甚至根本沒有測，這樣完全是自欺欺人，有些IP呼叫中心到用戶交互的時候做一下功能測試有可以了。將來話務(wù)量上去了很多用戶打不通了，就是我們在實驗室里面根本就沒有做這些測試，根本就沒有仿真我們將來可能遇到的高的話務(wù)量要求或者各種不同的呼叫模型，我們沒有事先測試到，所以沒有事先發(fā)現(xiàn)這些問題。
仿真真實環(huán)境還有網(wǎng)絡(luò)損傷的條件，我們訪問一個IP網(wǎng)絡(luò)，會有一些網(wǎng)絡(luò)損傷指標(biāo)，我們要用真實的設(shè)備運用真實的環(huán)境，要測試的時候特別要注意用戶將來真實的感受。我們測試的目的并不是說我測試100萬沒有問題了，如果客戶拿起電話要20秒才能聽到聲音，如果放在真實網(wǎng)絡(luò)里面肯定不行。有些測出來之后加載了100萬BHCA上去摘機可能需要好幾秒才能聽到聲音，用戶可能就認(rèn)為電話機壞了，這樣都是我們將來部署到網(wǎng)絡(luò)可能遇到的風(fēng)險，我們盡可能在實驗室里面把它降到最低，這也是我們強調(diào)真實性測試的原因。
下面我們講一下VOIP測試結(jié)果的分析，比如說語音質(zhì)量不能低于4.0，我測出來結(jié)果是4.1，我符合指標(biāo)。但是有一些分析結(jié)果和我們的想像是相反的，比如說舉一個例子就是語音質(zhì)量分析的時候PESQ和E-model是相反的，E- model只反映網(wǎng)絡(luò)傳輸?shù)囊恍⿹p傷情況，和編解碼造成的語音損傷并沒有很大的關(guān)系。這是我們分析的時候你在不同的指標(biāo)里差距出現(xiàn)的時候我們要分析是由什么來造成的。
還有語音質(zhì)量和話務(wù)量如果成反比的話就說明你所承載的話務(wù)量已經(jīng)超過了性能要求，比如說你設(shè)計要求是100萬BHCA，我打到100萬，但是語音質(zhì)量已經(jīng)很差到3.0了，這個時候你要把你的性能降下來，降到50萬的時候可能語音質(zhì)量就很好了，你得到這個值才是你真實的值，并不是前面虛假的值。
對于網(wǎng)絡(luò)性能我們還可以做進(jìn)一步的分析，剛才我們都講過了，這里就不多講了。
下面舉兩個例子看一下我們在VOIP性能測試?yán)锩娉Ｒ姷腻e誤。第一例子我們測試是接入網(wǎng)關(guān)設(shè)計能力是15000BHCA，測試結(jié)果也是15000個，24小時測試結(jié)果呼損是0，以前我們的測試是達(dá)標(biāo)了符合標(biāo)準(zhǔn)了，但實際上我們看一下其他的比如說用戶撥完號聽到忙音達(dá)到1500ms，PESQ達(dá)到3.0，你雖然性能非常好但是你的語音質(zhì)量下降了，時延很長而且語音質(zhì)量也很長。這個時候如果你把你的BHCA降下來，降到10000的時候看Dial是450ms，PESQ也增長到4.1，這樣的情況才是你真實的網(wǎng)絡(luò)性能指標(biāo)，也就是AG真實的最大能力是1萬，放在將來的網(wǎng)絡(luò)里才不會出現(xiàn)風(fēng)險。
第二種場景也是我們常見的錯誤，比如說用戶投訴我們語音質(zhì)量不好，我們用意標(biāo)來仿真兩個終端做端到端的測試，比如說從北京測上海的用戶，我們進(jìn)行8個小時的連續(xù)呼叫語音質(zhì)量很好，PESQ是4.2，但實際上我們看一下這個語音質(zhì)量隨時間變化的曲線，可以看到這個漏斗非常深，最低值到了1.4，最高值4.5，這樣的漏斗出現(xiàn)說明這個網(wǎng)絡(luò)穩(wěn)定性很差，也就是有時候用戶聽不到你的聲音或者聽到很嚴(yán)重的雜音、回聲等等現(xiàn)象都會出現(xiàn)，這就是用戶投訴的原因。
今天有很多IP-PBX和IP呼叫中心的廠家，我們來說一下Abacus的產(chǎn)品可能一些中小企業(yè)不是很熟悉，里面主要有Abacus5000和Abacus100，100主要是提供模擬的用戶。Abacus50是小型的Abacus5000系統(tǒng)，功能完全一樣，它把不同的接口分別做到不同的小盒子，適合分布式測試，也適合小公司做桌面的測試系統(tǒng)，里面提供模擬結(jié)構(gòu)。
Abacus是VOIP測試最佳業(yè)績方案，它支持以下設(shè)備測試包括IP PBX、MGCF、SSW等，支持VOIP/PSTN的協(xié)議，可以支持的媒體有voice、video、FAx。
IP呼叫中心邏輯結(jié)構(gòu)，我們知道接入方式有多種由IP網(wǎng)絡(luò)接入有電話的接入，現(xiàn)在我們呼叫中心都是采用了分布式的，并不是一個座席都在一個廳里，這是集中式的�，F(xiàn)在分布式的接你的話務(wù)員，你在北京做投訴并不在北京，可能在成都或者在上海，這是一個分布式的呼叫中心。比如我們公司的很多話務(wù)員可能在印度或者北京。
對于IP呼叫中心來說，第一部分要做它的性能測試，我們大家知道IP呼叫中心里面重要的一部分是IVR系統(tǒng)，IVR系統(tǒng)里面會有自動語音，比如說歡迎進(jìn)入中國移動。這些語音在用戶撥入的時候多長時間可以聽到，另外用戶是不是能夠正確的聽到，比如說我一個正常的用戶接進(jìn)去聽到了歡迎進(jìn)入中國移動系統(tǒng)這幾個字是正常的，但是在高話務(wù)量的情況下有很多人同時打電話進(jìn)來很有可能它的IVR系統(tǒng)延遲，可能10秒后才能聽到或者聽到錯的，把其他菜單里面的語音調(diào)換給你聽的，這些都需要我們解決的一方面。我們看它的歡迎詞是不是正常發(fā)出來，我們多長時間可以接到。另外還可以進(jìn)入到它每一級菜單里面，每一級菜單里面的語音是不是可以正確的回來，這都需要性能測試。還要測試一下回來的聲音語音質(zhì)量怎么樣，是不是有很多的雜音，它的語音質(zhì)量客觀的評價指標(biāo)是什么，是不是符合4.0以上的標(biāo)準(zhǔn)，它的延時是多長，這都是我們做性能測試重要的指標(biāo)。
第二部分我要強調(diào)IP呼叫中心的功能測試，IP呼叫中心之所以到現(xiàn)在發(fā)展很快，但是某些時候會出一些問題，因為大多數(shù)的生產(chǎn)廠家沒有到現(xiàn)場去測試，給用戶交互的時候沒有做性能測試只是做了幾個場景的功能測試就可以了，給客戶演示的時候座席功能多少強大、呼叫轉(zhuǎn)移非常強等等，實際任何功能測試都是在背景瀏覽下進(jìn)行，也就是我們的功能測試和性能測試是密不可分的。我們要用性能測試意標(biāo)來仿真出各種可能出現(xiàn)的呼叫模型，辦法一定量的真實情況，在這種情況下再演示給客戶，我們做的功能測試才是有意義的。我不知道這么說大家能不能清楚，這時候會驗證出高話務(wù)量情況下對于呼叫中心處理業(yè)務(wù)量會有什么樣的影響。
另外一個例子就是IP-PBX，它會接入IP語音終端、PC，背后的終端可能進(jìn)入IP網(wǎng)絡(luò)也可以是PSTN網(wǎng)絡(luò)，因此在它的性能測試?yán)锩嫖覀兌际褂脺y試工具來方針不同的接口，進(jìn)行融合的測試，來測試一下它的性能指標(biāo)以及資源占用情況。
我們還要做一些IP-PBX端到端的測試，我們要仿真真實的用戶，模擬用戶或者是IP用戶進(jìn)行兩個兩個IP-PBX之間的測試，比如你兩個辦公室一個在上海一個在北京，這兩個辦公室要進(jìn)行IP通話或者模擬通話中間走的是IP網(wǎng)絡(luò)，我們要測一下兩點之間真實的語音質(zhì)量怎么樣，它的穩(wěn)定性怎么樣，是不是存在性能問題。
今天和大家交流了思博倫的VOIP測試經(jīng)驗和方法，如果大家有興趣的話我們還有展臺，也提供了一些文字的資料。
謝謝大家!
ChinaByte(e.chinabyte.com)
相關(guān)鏈接: