數(shù)據(jù)采集介紹及其應(yīng)用

2003/07/04

　　作為一名資深的電信系統(tǒng)集成營(yíng)銷人員，我經(jīng)常接觸系統(tǒng)營(yíng)運(yùn)商、CTI呼叫/服務(wù)中心。近來最熱門的話題是數(shù)據(jù)采集和數(shù)據(jù)存儲(chǔ)。而且我們的客戶、供應(yīng)商、銀行業(yè)職員、一些業(yè)務(wù)主管以及象客戶關(guān)系經(jīng)理、直銷經(jīng)理、業(yè)務(wù)計(jì)劃主管、財(cái)務(wù)管理者和CIO等職能部門的經(jīng)理們也在談?wù)撨@一話題。

　　讓我來舉例說明那些呼叫中心正面臨的典型的工作任務(wù)/目標(biāo)和難題：

　　1． 一家臺(tái)灣的呼叫中心為移動(dòng)/固定電話客戶和供應(yīng)商提供有接線生服務(wù)的呼叫業(yè)務(wù)和預(yù)付費(fèi)電話卡業(yè)務(wù)。該呼叫中心每天要處理數(shù)千次呼叫、監(jiān)控每一個(gè)呼叫中心的呼叫業(yè)務(wù)量和處理情況，以確保最佳的客戶滿意度。為使呼叫中心的工作達(dá)到最優(yōu)化，他們實(shí)施客戶基礎(chǔ)管理和在線系統(tǒng)，可以實(shí)現(xiàn)象呼叫業(yè)務(wù)量、每次呼叫費(fèi)用分析、呼叫卡使用和客戶優(yōu)選設(shè)置的自動(dòng)報(bào)告。他們對(duì)打進(jìn)電話或網(wǎng)絡(luò)查詢提供含正確數(shù)據(jù)的實(shí)時(shí)業(yè)務(wù)。即使這樣，該呼叫中心還是有巨大的壓力，電信營(yíng)運(yùn)商將在象中國(guó)這樣的地區(qū)以較低的營(yíng)運(yùn)成本的呼叫中心取代他們。

　　2． 南美呼叫中心

　　由于南美地區(qū)電信壟斷的打破，電信業(yè)在這一領(lǐng)域正在蓬勃發(fā)展。以智利電信公司為例，壟斷電信公司為客戶服務(wù)的成本很高，這為新的玩家（從互聯(lián)網(wǎng)業(yè)務(wù)供應(yīng)商到移動(dòng)電話公司）進(jìn)入市場(chǎng)提供了方便之門。隨著語音IP技術(shù)和多業(yè)務(wù)網(wǎng)絡(luò)的興起，客戶比以前有越來越多的選擇。由于基本的電信業(yè)務(wù)已成為商品，獲勝者將屬于那些能夠提供最佳客戶服務(wù)的公司。

　　以上例子表明，他們正致力于通過以下性能指標(biāo)改善其服務(wù)：

- 增加客戶忠誠(chéng)度和壽命價(jià)值。
- 提高銷售和營(yíng)銷方案的有效性。
- 通過監(jiān)控呼叫中心的營(yíng)運(yùn)狀況來最大限度地提高響應(yīng)速度。
- 增加產(chǎn)品、服務(wù)和客戶的越區(qū)銷售收入。

　　通過分析呼叫通信量、網(wǎng)絡(luò)通信量和及其使用模式來使網(wǎng)絡(luò)性能最優(yōu)化。

　　當(dāng)今的電信市場(chǎng)受基于成本和業(yè)務(wù)增長(zhǎng)的挑戰(zhàn)。他們需要更強(qiáng)有力的武器從其日常的大量客戶的基礎(chǔ)數(shù)據(jù)中發(fā)掘極具價(jià)值的東西。當(dāng)今由專家推薦的武器是“商業(yè)情報(bào)”，而獲取情報(bào)的關(guān)鍵技術(shù)是數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和在線分析處理。

什么是數(shù)據(jù)采集?

　　根據(jù)Gartner研究機(jī)構(gòu)的定義，數(shù)據(jù)采集是指通過查看數(shù)據(jù)庫中存儲(chǔ)的大量數(shù)據(jù)來發(fā)現(xiàn)有意義的和新的相互關(guān)系、模式及趨勢(shì)和使用模式識(shí)別技術(shù)和統(tǒng)計(jì)的、精確的技術(shù)的過程。

　　這些相互關(guān)系、模式和趨勢(shì)描述按科學(xué)的方法支持獲得競(jìng)爭(zhēng)優(yōu)勢(shì)的商業(yè)預(yù)測(cè)和聯(lián)合決策。同時(shí)它也可以解釋為一種從大量原始數(shù)據(jù)中提取有價(jià)值的知識(shí)的過程，而一般人無法從大量數(shù)據(jù)中發(fā)現(xiàn)這種知識(shí)。沒有專用工具的分析家們不會(huì)再明白為作出業(yè)務(wù)決策而需要處理的大量數(shù)據(jù)的含義。數(shù)據(jù)采集使得在原始數(shù)據(jù)中發(fā)現(xiàn)相互關(guān)系和模式的過程自動(dòng)化并提供既可用于自動(dòng)化決策支持系統(tǒng)（DSS）也可被分析家評(píng)估的結(jié)果。應(yīng)向這個(gè)客戶推出何種商品？

- 某個(gè)客戶對(duì)一個(gè)計(jì)劃好的促銷作出反應(yīng)的可能性有多大？
- 能否預(yù)測(cè)準(zhǔn)備在下一個(gè)交易時(shí)段買進(jìn)或賣出的最有利可圖的有價(jià)證券？
- 這個(gè)客戶是會(huì)拖欠貸款還是按時(shí)償還貸款？
- 對(duì)這個(gè)病人作出的醫(yī)療診斷結(jié)果是什么?
- 一個(gè)電話或能量網(wǎng)絡(luò)的最高載荷會(huì)有多大？
- 如何采集和跟蹤網(wǎng)絡(luò)行為數(shù)據(jù)？

　　如果能夠明確發(fā)現(xiàn)和利用隱藏在你的數(shù)據(jù)庫中的數(shù)兆字節(jié)的數(shù)據(jù)里的信息，那么以上這些問題會(huì)迎刃而解。為被研究的系統(tǒng)建模和在數(shù)據(jù)庫中發(fā)現(xiàn)連接變量的關(guān)系是數(shù)據(jù)采集的主題。

數(shù)據(jù)采集不只是分析處理

　　數(shù)據(jù)采集系統(tǒng)可以自動(dòng)記錄以前的被研究的歷史，它明確地?cái)⑹龊蜏y(cè)試有關(guān)系統(tǒng)的假設(shè)。通過數(shù)據(jù)采集，用戶可以發(fā)現(xiàn)模式并自動(dòng)建模，而無需確切知道用戶在尋找的內(nèi)容。所建立的模式可以是敘述性的，也可以是預(yù)期性的。這可以說明事件發(fā)生的原因（對(duì)格式化模式）以及下一次可能發(fā)生的事件（預(yù)期）。

　　當(dāng)有關(guān)重要系統(tǒng)的簡(jiǎn)明而有價(jià)值的知識(shí)被發(fā)現(xiàn)時(shí)， 這種知識(shí)能夠被合并或連接到聯(lián)合決策支持結(jié)構(gòu)中， 這有助于執(zhí)行經(jīng)理作出明智的決策。簡(jiǎn)而言之，數(shù)據(jù)采集是企業(yè)決策支持系統(tǒng)結(jié)構(gòu)(DSS)中的一個(gè)新的組成部分。

　　它補(bǔ)充和結(jié)合其它象詢問、報(bào)告、在線分析處理、數(shù)據(jù)顯示和傳統(tǒng)統(tǒng)計(jì)處理等DSS性能。不象傳統(tǒng)數(shù)據(jù)庫那樣，它們分布在每一個(gè)獨(dú)立的部門中，很難將每一個(gè)數(shù)據(jù)庫其合并到一個(gè)庫中。

　　在線分析處理包括在線交易處理（象銀行業(yè)交易）和在線分析處理，它們都是非常普通的方法。但是數(shù)據(jù)采集旨在發(fā)掘更深層次的東西，并發(fā)現(xiàn)模式標(biāo)準(zhǔn)。

數(shù)據(jù)采集有何作用?

　　確定最佳前景，象對(duì)待客戶一樣留住它們。
僅僅根據(jù)最佳前景重點(diǎn)集中進(jìn)行營(yíng)銷，你會(huì)節(jié)省時(shí)間和金錢，從而提高營(yíng)銷行動(dòng)的有效性。

預(yù)測(cè)越區(qū)銷售的機(jī)會(huì)并作出推薦

　　無論你是采用傳統(tǒng)的還是基于網(wǎng)站的銷售方式，你都可以幫助客戶迅速定位他們感興趣的產(chǎn)品并同時(shí)提升與你的客戶溝通的價(jià)值。

獲得影響銷售和利潤(rùn)趨勢(shì)的參數(shù)

　　你是否認(rèn)為可以通過OLAP工具來做到這一點(diǎn)? 的確如此，OLAP能夠幫助你驗(yàn)證假設(shè)- 但唯一的前提是你需要知道提問的問題。在大多數(shù)案例中，你沒有關(guān)于影響銷售的參數(shù)組合線索。在這類情形下，數(shù)據(jù)采集是你唯一的真實(shí)的選擇。

市場(chǎng)劃分和通信個(gè)人化

　　可能有一系列獨(dú)特的客戶、患者或自然現(xiàn)象需要通過不同的方式來對(duì)待。如果你有一個(gè)廣泛的客戶群，你需要選定包括不同產(chǎn)品和信息的不同的目標(biāo)，以優(yōu)化市場(chǎng)營(yíng)銷活動(dòng)。

數(shù)據(jù)采集有助于減少人們憑猜測(cè)所做的工作

　　有時(shí)會(huì)出現(xiàn)以下兩種情況，當(dāng)分析家們?cè)趯ふ覐?fù)雜的多個(gè)從屬因素時(shí)，他們所做的處理數(shù)據(jù)顯示出人腦的不足以及在從事這樣的分析時(shí)缺乏目的性。一個(gè)專家會(huì)一直成為以前研究其它系統(tǒng)的經(jīng)驗(yàn)的代表。

數(shù)據(jù)采集具有機(jī)器改進(jìn)的低成本

　　使用自動(dòng)數(shù)據(jù)采集系統(tǒng)的另一個(gè)好處是這個(gè)過程有比雇用經(jīng)過嚴(yán)格培訓(xùn)的專業(yè)統(tǒng)計(jì)員低得多的成本。雖然數(shù)據(jù)采集不能完全消除人類對(duì)任務(wù)的參與，但它極大地簡(jiǎn)化了工作并允許一個(gè)非統(tǒng)計(jì)和編程專業(yè)的分析家管理從數(shù)據(jù)中采集信息的過程。

數(shù)據(jù)采集的任務(wù)

預(yù)測(cè)
　　從現(xiàn)有案例中獲取模型和利用開發(fā)的模型預(yù)測(cè)未來的目標(biāo)變量的價(jià)值。

分類
　　發(fā)現(xiàn)將記錄歸并到幾個(gè)離散類中的功能。

關(guān)系檢測(cè)
　　為已選擇的目標(biāo)變量搜尋最有影響的獨(dú)立變量。

外部建模
　　發(fā)現(xiàn)描述各種變量間相關(guān)性的明確的外部模式。

集群
　　識(shí)別一系列彼此相似但不同于數(shù)據(jù)的其余部分的記錄。通常，提供最佳集群的變量也可以被識(shí)別。

偏差檢測(cè)
　　確定在源于以前或期望的值的數(shù)據(jù)測(cè)量中所產(chǎn)生的最重要的變更。

市場(chǎng)目標(biāo)分析
　　就象處理交易數(shù)據(jù)以便發(fā)現(xiàn)銷量很好的產(chǎn)品系列。人們也在尋求識(shí)別最佳產(chǎn)品的指南。

　　上述應(yīng)用到具體對(duì)象中的數(shù)據(jù)采集的方法仍需參考以下標(biāo)準(zhǔn)：
- 獲得計(jì)算結(jié)果的關(guān)鍵控制
- 已開發(fā)的經(jīng)驗(yàn)?zāi)Ｐ偷慕忉?
- 搜索過程的自動(dòng)控制的程度和輕松的使用

　　為建立從更加傳統(tǒng)的數(shù)據(jù)分析方法通往數(shù)據(jù)采集方法的橋梁， 我們要從面向?qū)ο蠓治鱿到y(tǒng) (OLTP)和統(tǒng)計(jì)軟件包轉(zhuǎn)向步進(jìn)順序：

1. 定義需要從數(shù)據(jù)庫獲取的項(xiàng)目和數(shù)據(jù)，
2. 進(jìn)行實(shí)驗(yàn)設(shè)計(jì)，
3. 選擇合適的建模技術(shù)，
4. 進(jìn)行實(shí)際的現(xiàn)場(chǎng)測(cè)試，
5. 更新和維護(hù)系統(tǒng)

　　原始數(shù)據(jù)采集分析按以下方式分類：
- 定向分析：包括分類、預(yù)算和預(yù)測(cè)等。
-非定向分析：包括集群、同類分組和關(guān)聯(lián)法則。

　　當(dāng)你定義需要從數(shù)據(jù)庫獲取的項(xiàng)目和數(shù)據(jù)，以處理數(shù)據(jù)采集時(shí)，你需要在進(jìn)行實(shí)際的現(xiàn)場(chǎng)測(cè)試前進(jìn)行實(shí)驗(yàn)設(shè)計(jì)。

　　通常，人們會(huì)問應(yīng)如何有效地建模，當(dāng)然，這要取決于公司目標(biāo)、問題和數(shù)據(jù)類型的選擇。數(shù)據(jù)采集應(yīng)用建模方法和軟件工具如下：
- 中性網(wǎng)絡(luò)
- 演進(jìn)規(guī)劃
- 基于存儲(chǔ)器的論證
- 決策圖表
- 起源算法
- 非線性回歸方法
- 嵌入式工具 (OLAP-輔助工具，特別詢問)

　　數(shù)據(jù)采集的軟件算法和工具不限于結(jié)構(gòu)化數(shù)據(jù)，它還適用于非結(jié)構(gòu)化數(shù)據(jù)和網(wǎng)站文本。

　　現(xiàn)以決策樹為例進(jìn)行說明，決策樹算法提供將數(shù)據(jù)記錄分類為多個(gè)分類等級(jí)的任務(wù)。通過產(chǎn)生一組競(jìng)爭(zhēng)分類樹（每個(gè)樹對(duì)應(yīng)相應(yīng)的等級(jí)），從而獲得解決方案。這種DT算法開發(fā)出最佳的分類樹，這些樹的分支包括對(duì)在相應(yīng)等級(jí)中的記錄進(jìn)行分類的可能性。

　　該算法有著眾多的應(yīng)用。例如，它可以用來建立標(biāo)準(zhǔn)，即：強(qiáng)大的醫(yī)療專家系統(tǒng)在醫(yī)師的幫助下通過對(duì)患者的自動(dòng)化診斷完成復(fù)雜的任務(wù)。

　　DT算法也是將包含自然語言文本的記錄以預(yù)先確定的等級(jí)進(jìn)行分類的無價(jià)之寶。

　　該算法也常常與文本分析算法結(jié)合使用。例如， 借助文本分析由分類樹產(chǎn)生的分類標(biāo)準(zhǔn)可用于自動(dòng)化分類和發(fā)往普通e-mail地址的e-mail 訊息的指令發(fā)送。

Web數(shù)據(jù)采集

　　Web智能可用來開發(fā)電子商務(wù)。它能夠分析、設(shè)法交互聯(lián)系和訪問大量的原始網(wǎng)站數(shù)據(jù)，以迅速識(shí)別趨勢(shì)和模式。 很難從網(wǎng)站中捕獲真正的訪問者智能，因?yàn)楹芏嗳嗽诰W(wǎng)站中留下虛假信息。

　　訪問者智能可以精確判斷在線營(yíng)銷活動(dòng)程序、目錄編寫、研究和銷售規(guī)劃等。

　　對(duì)web敏感的公司正在開發(fā)一個(gè)web采集系統(tǒng)。OLAP 和特別詢問技術(shù)也適用于基于實(shí)時(shí)處理和以分鐘計(jì)時(shí)的報(bào)告的web 采集。

文本采集
　　除結(jié)構(gòu)數(shù)據(jù)外，經(jīng)常出現(xiàn)的現(xiàn)有數(shù)據(jù)包括自然記錄。但是機(jī)構(gòu)獲得的有些知識(shí)是以文本文件表述的。因此要考慮以下情形：

可擴(kuò)展的調(diào)查詢問
　　分析在可擴(kuò)展的客戶調(diào)查中捕獲的數(shù)據(jù)。

呼叫中心的記錄
　　處理以保險(xiǎn)索賠為內(nèi)容的自然語言記錄或呼叫中心接線員所做的記錄。

對(duì)接收到的E-mail進(jìn)行分類
　　自動(dòng)對(duì)發(fā)往普通支持地址的電子郵件進(jìn)行分類，并重新將每一個(gè)郵件分發(fā)至合適的專家信箱中進(jìn)行有效的處理。

網(wǎng)站商業(yè)采集
　　舉例說明，它可以自動(dòng)跟蹤諸如產(chǎn)品目錄、為最大限度地實(shí)現(xiàn)越區(qū)銷售或就地廣告而設(shè)計(jì)的購物推車以及衡量營(yíng)銷方案有效性的促銷的網(wǎng)站商業(yè)活動(dòng)。

圖形化工具
　　使用該工具可以瀏覽諸如網(wǎng)頁微型畫、橫幅廣告和地圖等基本內(nèi)容。也可以通過帶探測(cè)引擎的鏈接分析，它可以揭示和清楚表明個(gè)體的直觀特征間的關(guān)聯(lián)性的復(fù)雜圖案。

小結(jié)

　　當(dāng)今的數(shù)據(jù)采集是通過數(shù)據(jù)庫和經(jīng)由互聯(lián)網(wǎng)提供可獲得的數(shù)據(jù)資源的數(shù)字采集解決方案。這是一種含低總成本和顯著投資回報(bào)的快速部署。該程序是精確的分析系統(tǒng)并以實(shí)時(shí)或在線形式運(yùn)行。它也是行業(yè)領(lǐng)導(dǎo)人正在尋找的可預(yù)期的和切實(shí)可行的應(yīng)用程序。這就是數(shù)據(jù)采集的魔力。

* 本文經(jīng)過GreaterChinaCRM許可轉(zhuǎn)載

GreaterChinaCRM (www.gccrm.com)