我們假設(shè)需要840路電信用戶仿真,并以此舉例說明某銀行呼叫中心(IVR)系統(tǒng)的測試方法。
•CPS,每秒鐘呼叫次數(shù)。它表示DUT在一秒鐘內(nèi)*的呼叫處理次數(shù),和BHCA的關(guān)系是3600倍。
•系統(tǒng)支持的并發(fā)呼叫通道數(shù),指DUT能夠處理的*并發(fā)通道數(shù)目,一般能夠達到它的*支持通道數(shù)目的10%-50%不等,需要和系統(tǒng)提供商溝通清楚,當(dāng)然也需要實際測試。
•呼損率,呼叫失敗次數(shù)與呼叫總次數(shù)的比率。業(yè)內(nèi)要求萬分之一以內(nèi)。它與呼叫完成率之和為*。
•平衡點,指用戶感受良好情況下的無差錯點。用戶感受部分包括語音質(zhì)量、呼叫延遲、回聲、語音間斷等等方面,需要測試語音匹配和語音質(zhì)量才能定位。一般認(rèn)為平衡點才是DUT真正的呼叫處理能力,因為隨著呼叫壓力的增加,用戶感受會惡化。
•測試方法:呼叫測試儀表使用28個E1,產(chǎn)生840路并發(fā)(即同時呼叫)IVR呼入呼叫,通過二分法找到無差錯點。例如,840路并發(fā),出現(xiàn)大面積呼損時,下次測試改為840/2=420路并發(fā)呼叫,直到呼損率下降到萬分之一。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
異步呼叫測試
•測試目的:找到DUT的異步呼叫無差錯點。即找到DUT在正常條件下(呼叫壓力逐步增加)支持的*處理呼叫次數(shù)。
•測試結(jié)果:滿足無差錯點的要求,記錄呼叫完成率和呼損率。
•測試方法:呼叫測試儀表使用28個E1,產(chǎn)生840路IVR呼入呼叫,注意使用各種不同的呼叫模型,產(chǎn)生不同變化的呼叫壓力(不同的CPS),通過二分法找到無差錯點。例如,在某種呼叫模型下20CPS時,如果出現(xiàn)大面積呼損,下次測試改為20/2=10CPS呼叫;如果再有呼損,則改為5CPS呼叫,直到呼損率下降到萬分之一。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
5.2 語音匹配測試
(1)語音匹配測試目的
•進一步驗證IVR系統(tǒng)的性能。語音匹配測試是在性能壓力測試基礎(chǔ)上,驗證系統(tǒng)在極限壓力條件下(無差錯點),各個菜單的語音提示是否正常按時發(fā)出,用戶能否正常聽到。一般來說,當(dāng)話務(wù)量達到IVR系統(tǒng)極,語音提示的播放就會因為大量呼叫排隊而變慢,甚至出現(xiàn)播放錯誤,當(dāng)播放延遲超過正常2s(業(yè)內(nèi)標(biāo)準(zhǔn))或者語音匹配差錯率過高(業(yè)內(nèi)差錯率為萬分之一以內(nèi))時,我們在性能壓力測試中得到的無差錯點就會受到質(zhì)疑。
(2)語音匹配測試項目
歡迎詞匹配測試
•測試目的:檢驗IVR系統(tǒng)在極限條件下(無差錯點)對于歡迎詞的語音匹配情況(包括匹配錯誤率和匹配延遲)。
菜單中語音匹配測試
•測試目的:檢驗IVR系統(tǒng)在極限條件下,各級菜單的語音匹配情況(包括匹配錯誤率和匹配延遲)。
•測試結(jié)果:找到無差錯點,記錄語音匹配差錯率和匹配延遲。
•得到真實用戶的感受。語音質(zhì)量測試可以幫助測試者,得到一些用戶感受的指標(biāo),例如話務(wù)員的話音需要多長時間才能讓用戶聽到,有沒有回聲,有沒有語音間斷和語音滑碼,語音評價指標(biāo)MOS/PSQM/PESQ能夠打多少分。這些語音質(zhì)量測試參數(shù)也是我們的客戶服務(wù)指標(biāo)之一。
•測試方法:呼叫測試儀表使用28個E1,在840路同步并發(fā)(即同時呼叫)、異步呼叫(間隔1s)、仿真呼叫(各種呼叫模型)等條件下,產(chǎn)生性能測試中的極限話務(wù)量(無差錯點話務(wù)量),通過二分法逐步降低話務(wù)量,直到全部話路都能夠接入話務(wù)員(由Abacus100仿真),并檢驗相應(yīng)語音質(zhì)量指標(biāo)是否達到業(yè)內(nèi)標(biāo)準(zhǔn),即找到客戶感受良好的平衡點。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
語音信箱的語音質(zhì)量測試(可選項目)
•測試目的:檢驗呼叫中心的語音信箱系統(tǒng)在極限條件下(無差錯點)語音提?。纯蛻魪恼Z音信箱中提取留言)時的語音質(zhì)量,包括男聲、女聲對語音質(zhì)量的影響。
•測試方法:呼叫測試儀表使用低負(fù)荷對呼叫中心系統(tǒng)中的語音信箱進行“留言錄入",直到語音信箱全部錄入留言。然后,呼叫測試儀表分別在低負(fù)荷、中負(fù)荷、高負(fù)荷背景話務(wù)量條件下進行“留言提取",呼叫路數(shù)與語音信箱*路數(shù)相同,通過語音波形圖的比較,根據(jù)ITU的規(guī)范,得到語音質(zhì)量評分(MOS/PSQM/PESQ)找到客戶感受良好的平衡點。一般的測試時間為24h,也有更嚴(yán)格的測試為48h或者72h。
•測試結(jié)果:記錄平衡點的呼叫壓力(CPS)、語音質(zhì)量指標(biāo)(MOS/PSQM/PESQ)。
6、補充說明
以上測試方案僅僅以某銀行的呼叫中心測試為藍(lán)本進行探討,也僅僅涉及了電信E1接口和模擬線接口。目前,VoIP特別是SIP接入越來越為廣大運營商和大中型企業(yè)所采用,因此思博倫在VoIP接入的呼叫中心測試領(lǐng)域也提供了大量的應(yīng)用測試方案,但是基本的測試方法和思路是一致的——幫助客戶找到真實的帶有用戶感受的呼叫中心性能指標(biāo),并協(xié)助分析影響性能的瓶頸。