CTI論壇(ctiforum.com)（編譯/老秦）：自動(dòng)化和人工智能在數(shù)字參與計(jì)劃中使用時(shí)提供了驚人的好處。我們繼續(xù)看到機(jī)器人和自動(dòng)化在聊天、消息傳遞、語(yǔ)音甚至社交對(duì)話程序中的廣泛使用。 Insider Intelligence 預(yù)測(cè)，到 2024 年，全球消費(fèi)者通過(guò)聊天機(jī)器人進(jìn)行的零售支出將達(dá)到 1420 億美元，高于 2019 年的 28 億美元。
在 LivePerson，我們已經(jīng)看到 Conversational Cloud 上超過(guò) 70% 的對(duì)話使用某種類型的自動(dòng)化，這一趨勢(shì)沒(méi)有放緩的跡象。這意味著我們需要正確評(píng)估聊天機(jī)器人的成功，但這并不總是意味著依賴熟悉的關(guān)鍵績(jī)效指標(biāo) (KPIs)。
當(dāng)聯(lián)絡(luò)中心新的人工座席走上工作崗位時(shí)，我們不會(huì)立即讓他們與客戶交互。他們經(jīng)過(guò)培訓(xùn)和管理，機(jī)器人應(yīng)該受到同樣的禮遇，無(wú)論它們是用于簡(jiǎn)單的任務(wù)--路由到人工座席或收集信息--還是用于復(fù)雜的任務(wù)--銷售烤架或處理保險(xiǎn)索賠。與人類一樣，機(jī)器人需要在其一生中受到監(jiān)控、培養(yǎng)和培訓(xùn)。
這意味著使用為他們?cè)O(shè)計(jì)的指標(biāo)來(lái)衡量聊天機(jī)器人的性能。我經(jīng)常聽到領(lǐng)導(dǎo)者使用諸如遏制、滿意度（CSAT 或 NPS）和情緒之類的 KPIs。
問(wèn)題？這些傳統(tǒng)的測(cè)量方法是行不通的。原因如下：
我們經(jīng)�？吹綑C(jī)器人像這樣失敗的例子。機(jī)器人響應(yīng)遵循特定的腳本，不能總是對(duì)消費(fèi)者做出反應(yīng)，從而導(dǎo)致負(fù)面互動(dòng)。您可能認(rèn)為這些問(wèn)題可以通過(guò)傳統(tǒng)指標(biāo)來(lái)識(shí)別，但事實(shí)并非如此。
使用以下 KPIs 對(duì)聊天機(jī)器人進(jìn)行分析所產(chǎn)生的問(wèn)題：
遏制對(duì)話統(tǒng)計(jì)
如果品牌座席是機(jī)器人，并且沒(méi)有人工座席參與對(duì)話，則認(rèn)為用戶交互是包含的。問(wèn)題是這個(gè) KPI 沒(méi)有考慮解決結(jié)果。因此，雖然上面的示例完全被機(jī)器人包含，但顯然沒(méi)有解決問(wèn)題。
許多自動(dòng)化程序旨在防止消費(fèi)者接觸到在線座席。在這些情況下，遏制可能是衡量品牌成功的一個(gè)很好的衡量標(biāo)準(zhǔn)，但并不能真正反映消費(fèi)者的體驗(yàn)。
客戶滿意度調(diào)查
客戶滿意度 (CSAT) 和凈推薦值 (NPS) 是流行的聊天機(jī)器人性能指標(biāo)。但是，收集該數(shù)據(jù)可能是一個(gè)有缺陷的過(guò)程，因?yàn)樗ǔＰ枰蛻敉瓿烧{(diào)查。在上述示例的交互中，客戶從未收到調(diào)查，因?yàn)閷?duì)話在技術(shù)上尚未完成。此外，Delighted 告訴我們，"根據(jù)使用的渠道，2021 年客戶調(diào)查的平均響應(yīng)率在 6% 到 16% 之間。"在這些比率下，數(shù)據(jù)就不可能可靠或具有代表性。
此外，如果對(duì)話從機(jī)器人升級(jí)為人工座席，則調(diào)查結(jié)果可能會(huì)因人工交互而產(chǎn)生偏差。如果調(diào)查回復(fù)基于此，而不是完全基于聊天機(jī)器人用戶的體驗(yàn)，則數(shù)據(jù)再次變得不可靠。
衡量客戶滿意度和情緒的情緒
LivePerson 有一種情緒評(píng)分算法，稱為有意義的對(duì)話評(píng)分 (MCS)。衡量情緒的好處在于它適用于客戶發(fā)送的每條消息，并且不依賴于調(diào)查、機(jī)器人與人工座席或座席行為。這使其成為一種有效的對(duì)話分析工具，可根據(jù)所使用的語(yǔ)言幫助識(shí)別消費(fèi)者在整個(gè)對(duì)話過(guò)程中的情緒。
不幸的是，情緒分析無(wú)法在自動(dòng)機(jī)器人響應(yīng)中準(zhǔn)確識(shí)別客戶情緒。
在我們的示例中，客戶的文本變得簡(jiǎn)短（通常是一個(gè)詞）并且情緒中立。即使是負(fù)面陳述--"這是一個(gè)笑話"--也可以被情緒引擎正面或負(fù)面地解釋。機(jī)器人設(shè)計(jì)還通常在腳本中使用引導(dǎo)流程，其中機(jī)器人為客戶提供了一組選項(xiàng)。因此，當(dāng)通過(guò)單擊按鈕獲得響應(yīng)時(shí)，情緒將始終是中性的�；旧希藗兊奈谋九c機(jī)器人不同，具有簡(jiǎn)短、中性的情緒響應(yīng)，使得情緒分析成為衡量機(jī)器人性能的不完整指標(biāo)。
聊天機(jī)器人客戶旅程中的傳輸率
這是指實(shí)時(shí)座席參與的頻率，這是用于聊天機(jī)器人分析的常見(jiàn) KPI。但這種測(cè)量存在三個(gè)挑戰(zhàn)：
- 放棄的對(duì)話（如我們上面的示例）不會(huì)反映在傳輸率分?jǐn)?shù)中，因?yàn)楝F(xiàn)場(chǎng)座席從未參與其中。
- 轉(zhuǎn)移是某些機(jī)器人的目標(biāo)。
- 此測(cè)量也沒(méi)有考慮客戶要求人工座席開始對(duì)話，這反映了客戶的心態(tài)而不是聊天機(jī)器人的有效性，并且不準(zhǔn)確地夸大了負(fù)面測(cè)量。
例如，路由機(jī)器人應(yīng)該有 100% 的傳輸率，而面向任務(wù)的機(jī)器人（即我的訂單狀態(tài)是什么）應(yīng)該有一個(gè)顯著較低的傳輸率。像這樣的聊天機(jī)器人指標(biāo)要求我們單獨(dú)測(cè)量每個(gè)機(jī)器人以獲得最有價(jià)值的洞察力，這是管理大型自動(dòng)化程序時(shí)的一個(gè)繁瑣過(guò)程。
重新定義聊天機(jī)器人指標(biāo)以更好地衡量和提供出色的客戶支持
我們衡量對(duì)話互動(dòng)方式的這種轉(zhuǎn)變并不是什么新鮮事。在異步消息傳遞的早期，我們不得不重新定義衡量聯(lián)絡(luò)中心座席的方式，因?yàn)槠骄幚頃r(shí)間和并發(fā)性等傳統(tǒng)指標(biāo)已經(jīng)過(guò)時(shí)。現(xiàn)在，隨著我們被鎖定在人工智能和自動(dòng)化的世界中，并且更多地依賴機(jī)器人來(lái)支持消費(fèi)者參與計(jì)劃，我們需要再次重新定義我們衡量成功的方式--因?yàn)閭鹘y(tǒng)的指標(biāo)不再起作用了。
聲明：版權(quán)所有 非合作媒體謝絕轉(zhuǎn)載
作者：Chris Radanovic
原文網(wǎng)址：https://www.liveperson.com/blog/chatbot-metrics/
