大數(shù)據(jù)技術(shù)方案必備四個條件
在技術(shù)層面上，大數(shù)據(jù)處理技術(shù)種類繁多，包括數(shù)據(jù)倉庫技術(shù)、Hadoop、NoSql、流式處理技術(shù)等。其中Hadoop作為一個開源的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，近來不斷受到業(yè)界追捧，類似谷歌、亞馬遜等世界領(lǐng)先的互聯(lián)網(wǎng)公司也公布了基于Hadoop的成功案例，一些聲音甚至表示，Hadoop就等于大數(shù)據(jù)。
據(jù)了解，中國聯(lián)通在內(nèi)的國內(nèi)運(yùn)營商和一些大型企業(yè)也開啟了Hadoop的大數(shù)據(jù)探索之路。其中已經(jīng)先期開展的應(yīng)用就是通過采用英特爾硬件平臺及英特爾Hadoop相結(jié)合的大數(shù)據(jù)技術(shù)，構(gòu)建上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)，用以解決用戶上網(wǎng)記錄無法查詢的難題。
但是也應(yīng)該看到，這種技術(shù)不僅是IT設(shè)備投入，人力成本以及對操作人員的技術(shù)水平都有相當(dāng)嚴(yán)格的要求，目前自行開發(fā)Hadoop平臺的都是具備一定開發(fā)能力的互聯(lián)網(wǎng)企業(yè)，但運(yùn)營商在這方面并不擅長。
據(jù)上海移動介紹，目前業(yè)界在大數(shù)據(jù)業(yè)務(wù)支撐系統(tǒng)上已經(jīng)有了很多的研究，中國移動也在積極進(jìn)行研究探索，技術(shù)上的難點(diǎn)包括如何整合運(yùn)營商內(nèi)部已有“煙囪式”的各類經(jīng)營分析系統(tǒng)，建設(shè)一個開放接口的共享數(shù)據(jù)平臺;如何解決海量數(shù)據(jù)的采集、存儲和安全問題等。
上海聯(lián)通認(rèn)為，在未來大數(shù)據(jù)技術(shù)方案應(yīng)該具備四個條件：
一是具備數(shù)據(jù)分析速度優(yōu)勢。在查詢效率上比傳統(tǒng)系統(tǒng)要有大幅提高。
二是具備大規(guī)模擴(kuò)展能力。數(shù)據(jù)的橫向、縱向的擴(kuò)展能力提升，包括跨服務(wù)器數(shù)據(jù)的處理能力優(yōu)勢。
三是具備開放架構(gòu)優(yōu)勢。一方面是對Hadoop的支持與集成，另一方面則是提供各個平臺間，甚至是與第三方平臺間的自由的傳輸數(shù)據(jù)和存儲。
四是具備完善的自我學(xué)習(xí)能力。實(shí)現(xiàn)海量數(shù)據(jù)挖掘后不需要人工干預(yù)的策略自我歸集。
運(yùn)營商做什么
互聯(lián)網(wǎng)服務(wù)對傳統(tǒng)電信運(yùn)營商業(yè)務(wù)構(gòu)成的沖擊，反而可以加速運(yùn)營商的轉(zhuǎn)型，并催生運(yùn)營商新的機(jī)遇和市場空間。大數(shù)據(jù)和云計(jì)算恰恰就是在這種產(chǎn)業(yè)變化的情況下催生出的新業(yè)務(wù)，對于運(yùn)營商來說，這兩個領(lǐng)域擁有比傳統(tǒng)基礎(chǔ)電信業(yè)務(wù)更大的市場空間。
對于大數(shù)據(jù)市場的開發(fā)，上海聯(lián)通認(rèn)為運(yùn)營企業(yè)應(yīng)該遵循由簡到難的四步走策略：
首先，開展針對用戶消費(fèi)數(shù)據(jù)的分析評估，以幫助運(yùn)營商改善自身服務(wù)質(zhì)量。
其次，結(jié)合用戶上網(wǎng)情況及互聯(lián)網(wǎng)網(wǎng)頁內(nèi)容，為精準(zhǔn)行銷提供用戶行為偏好分析;為聯(lián)通自身的業(yè)務(wù)發(fā)展提供大趨勢及業(yè)務(wù)競品分析能力和策略指引。
第三，在專門行業(yè)應(yīng)用領(lǐng)域入手，開展專業(yè)化大數(shù)據(jù)產(chǎn)品的設(shè)計(jì)的開發(fā)，積累推廣經(jīng)驗(yàn)。
最后，開展第三方資源整合和跨界合作，構(gòu)建智慧的大數(shù)據(jù)體系，加大開放合作力度，與產(chǎn)業(yè)鏈各個環(huán)節(jié)開展合作，加快對大數(shù)據(jù)經(jīng)營商業(yè)模式的探索，不斷釋放其管道中龐大數(shù)據(jù)的潛在力量，為客戶創(chuàng)造更大的價(jià)值。
據(jù)上海聯(lián)通介紹，中國聯(lián)通目前正在著手對大數(shù)據(jù)業(yè)務(wù)進(jìn)行研究，并已經(jīng)成立了云數(shù)據(jù)運(yùn)營中心，計(jì)劃依靠該部門逐步嘗試開展大數(shù)據(jù)業(yè)務(wù)的運(yùn)營工作，并計(jì)劃將該運(yùn)營中心公司化，獨(dú)立運(yùn)營。
2012年中國聯(lián)通成功將大數(shù)據(jù)和Hadoop技術(shù)引入到‘移動通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)’，并已經(jīng)部署了4.5PB的存儲空間。系統(tǒng)已經(jīng)具備了每天處理700億條上網(wǎng)記錄的能力。
上海電信則主要從大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)，數(shù)據(jù)挖掘和開放等兩個層次發(fā)展大數(shù)據(jù)相關(guān)業(yè)務(wù)。
在基礎(chǔ)設(shè)施方面，上海電信除建設(shè)城市光網(wǎng)等基礎(chǔ)設(shè)施外，更加關(guān)注數(shù)據(jù)存儲和數(shù)據(jù)分析計(jì)算設(shè)施的建設(shè)，包括IDC服務(wù)器托管和云產(chǎn)品。這為大數(shù)據(jù)市場的發(fā)展提供了基礎(chǔ)設(shè)施的資源。
上海電信表示：上海電信將充分發(fā)揮IDC運(yùn)營主力軍作用，按照規(guī)劃引導(dǎo)、集約建設(shè)、資源共享、規(guī)范管理、適度超前的原則，加大建設(shè)投入，著力增強(qiáng)信息網(wǎng)絡(luò)綜合承載能力、設(shè)施資源綜合利用能力和信息通信集聚輻射能力，將IDC打造成豐富的信息承載平臺、完善的客戶服務(wù)平臺和全面的價(jià)值共享平臺。
上海電信將進(jìn)一步完善IDC資源布局，在未來3-5年內(nèi)重點(diǎn)建設(shè)幾大基地化數(shù)據(jù)中心，實(shí)現(xiàn)IDC業(yè)務(wù)在地理位置上的分區(qū)覆蓋，并滿足重要客戶數(shù)據(jù)同城異地的備份要求;繼續(xù)加強(qiáng)基礎(chǔ)設(shè)施規(guī)劃和建設(shè)管理，促進(jìn)機(jī)制完善和模式創(chuàng)新，同時注重節(jié)能環(huán)保和服務(wù)提升;推進(jìn)“新一代數(shù)據(jù)中心設(shè)計(jì)規(guī)范”的制定，在符合國際和國家相關(guān)行業(yè)標(biāo)準(zhǔn)的基礎(chǔ)上，結(jié)合上海的本地優(yōu)勢，建設(shè)規(guī)范設(shè)計(jì)、綠色運(yùn)營、智能管理的新一代數(shù)據(jù)中心。
今年，上海電信信網(wǎng)部通過體制調(diào)整，建立了云產(chǎn)品拓展中心和云平臺運(yùn)營中心。
通過整合信網(wǎng)部現(xiàn)有的業(yè)務(wù)拓展資源、人力配置資源和運(yùn)維管理資源，主推云計(jì)算專業(yè)化產(chǎn)品，部署規(guī)�；逃迷朴�(jì)算數(shù)據(jù)中心，為大力拓展高性能計(jì)算、存儲、災(zāi)備等增值業(yè)務(wù)做好基礎(chǔ)支撐，滿足服務(wù)本市及周邊地區(qū)經(jīng)濟(jì)社會發(fā)展的需求。
其次，以自主發(fā)展、應(yīng)用示范為重點(diǎn)，以建設(shè)國家云計(jì)算試點(diǎn)城市為契機(jī)，繼續(xù)實(shí)施“云海計(jì)劃”，集聚國內(nèi)外大型互聯(lián)網(wǎng)企業(yè)，在金融、健康、文化等領(lǐng)域，探索建立云計(jì)算商業(yè)模式，打造亞太云計(jì)算中心。
第三，以市場化為導(dǎo)向，重點(diǎn)建設(shè)“金融云”、“中小企業(yè)云”、“健康云”等，向企業(yè)和個人提供服務(wù)。同時進(jìn)一步重視行業(yè)解決方案，這包括兩個方面的行動。
一是在云計(jì)算服務(wù)器、云安全、云管理平臺、桌面虛擬化等關(guān)鍵技術(shù)領(lǐng)域?qū)崿F(xiàn)突破，形成具有競爭力的云計(jì)算關(guān)鍵技術(shù)服務(wù)和整體解決方案。
二是深入智慧城市應(yīng)用，進(jìn)一步加強(qiáng)物聯(lián)網(wǎng)公共平臺建設(shè)和推廣智能車輛監(jiān)控、電子�；铡⒅悄苤圃�、社區(qū)安防等行業(yè)應(yīng)用。發(fā)揮EVDO網(wǎng)絡(luò)優(yōu)勢，做強(qiáng)移動全球眼。聚焦政務(wù)、教育、交通等重點(diǎn)行業(yè)，積極開發(fā)一系列物聯(lián)網(wǎng)行業(yè)應(yīng)用，重點(diǎn)切入、有效投入，最終達(dá)到規(guī)模效應(yīng)，結(jié)合全球眼視頻監(jiān)控、RFID身份識別等，打造智能安防、環(huán)境監(jiān)測、平安校園、智能交通等產(chǎn)品，構(gòu)建基于物聯(lián)網(wǎng)的動態(tài)信息交互與服務(wù)平臺，助力政務(wù)、教育、交通等行業(yè)相關(guān)部門，全面提升管理決策水平及服務(wù)社會公眾的能力。
上海移動擁有超過2千萬用戶，擁有海量的用戶、業(yè)務(wù)數(shù)據(jù)。上海移動一直以來以提供優(yōu)質(zhì)的客戶服務(wù)為運(yùn)營理念，為實(shí)現(xiàn)這一目標(biāo)，上海移動建成了成熟的經(jīng)營分析系統(tǒng)，流量經(jīng)營系統(tǒng)等。
上海移動積累了多年的業(yè)務(wù)、網(wǎng)絡(luò)和用戶數(shù)據(jù)，建有電信級的數(shù)據(jù)中心和成熟的經(jīng)營分析系統(tǒng)，比如在流量經(jīng)營系統(tǒng)中采集GSM、TD、WLAN三網(wǎng)網(wǎng)絡(luò)側(cè)運(yùn)行數(shù)據(jù)，結(jié)合經(jīng)營分析側(cè)用戶、終端和業(yè)務(wù)方面的數(shù)據(jù)，對用戶上網(wǎng)內(nèi)容、終端等進(jìn)行深度分析，掌握客戶行為等信息，有效支撐網(wǎng)絡(luò)和業(yè)務(wù)部門的具體工作，不斷提升上海移動的用戶滿意度和業(yè)務(wù)價(jià)值。
目前，上海移動基于用戶數(shù)據(jù)的分析挖掘工作主要用于及時發(fā)現(xiàn)影響客戶感知的網(wǎng)絡(luò)運(yùn)營和客戶服務(wù)領(lǐng)域，提升業(yè)務(wù)質(zhì)量和客戶滿意度。同時，上海移動正積極部署通過各類業(yè)務(wù)和網(wǎng)絡(luò)運(yùn)營數(shù)據(jù)的分析，通過數(shù)據(jù)驅(qū)動業(yè)務(wù)流程，培養(yǎng)用戶習(xí)慣。將來，上海移動將進(jìn)一步精確洞察數(shù)據(jù)，從數(shù)據(jù)成本中心向數(shù)據(jù)運(yùn)營中心轉(zhuǎn)變，引入創(chuàng)新業(yè)務(wù)模式，挖掘行業(yè)客戶，與合作伙伴開展業(yè)務(wù)合作。
上海運(yùn)營商將保護(hù)用戶隱私
運(yùn)營商所掌握的用戶信息是十分精確的數(shù)據(jù)，而且手機(jī)、電話號碼也是信息傳遞最為直接的方式，所以，當(dāng)運(yùn)營商進(jìn)行用戶信息拓展的時候，勢必要有一個范疇的定義。運(yùn)營商所掌握的信息，不僅僅是用戶的身份信息、手機(jī)號碼等等，甚至連用戶的所處位置、通話狀態(tài)等等都能夠獲取，這些數(shù)據(jù)信息對于每一個人都是敏感的。
上海的通信運(yùn)營企業(yè)對用戶數(shù)據(jù)提供了符合法律法規(guī)高級別的隱私保護(hù)，在用戶信息保護(hù)工作中建立了非常完善的規(guī)章制度和嚴(yán)格的操作流程，并有安全部門負(fù)責(zé)檢查考核。
在大數(shù)據(jù)業(yè)務(wù)的開發(fā)中，上海通信運(yùn)營企業(yè)技術(shù)上將會采取更加系統(tǒng)全面的方式對用戶隱私進(jìn)行保護(hù)。
一個重要行動是全面升級客戶資料檔案庫。據(jù)了解，目前上海聯(lián)通檔案庫存放標(biāo)準(zhǔn)達(dá)到業(yè)界領(lǐng)先水平。
另一個措施就是不斷提高客戶資料管理系統(tǒng)的安全保護(hù)能力，加強(qiáng)賬號管理。據(jù)悉，目前上海通信運(yùn)營企業(yè)的網(wǎng)絡(luò)安全防護(hù)水平達(dá)到工業(yè)和信息化部《通信網(wǎng)絡(luò)安全防護(hù)管理辦法》所規(guī)定的三級以上。
為確保用戶隱私，上海通信運(yùn)營企業(yè)短信中心系統(tǒng)目前已不留存用戶短息內(nèi)容等原始信息，對垃圾短信的攔截通過系統(tǒng)設(shè)置自動執(zhí)行。
