首頁 > 新聞 > 國內(nèi) >

中國計算機報:與大數(shù)據(jù)打交道的那些人

2012-09-10 15:12:28   作者:   來源:中國計算機報   評論:0  點擊:


  今年7月10日,阿里巴巴集團宣布,將在集團管理層面設(shè)立首席數(shù)據(jù)官(Chief Data Officer,CDO)職位,負責(zé)全面推進阿里巴巴集團成為數(shù)據(jù)分享平臺的戰(zhàn)略。阿里巴巴B2B公司CEO陸兆禧將出任CDO,并直接向集團CEO馬云(微博)匯報。作為企業(yè)內(nèi)部C level的又一個重要職位,CDO將在推動企業(yè)大數(shù)據(jù)應(yīng)用方面起到什么樣的關(guān)鍵作用呢?記者試圖采訪陸兆禧本人,但從阿里巴巴集團公關(guān)部門得到的答復(fù)是,陸兆禧從來不接受采訪。雖然吃了閉門羹,但是記者并不死心,通過其他渠道采訪了業(yè)界一些主要的廠商、市場分析師及用戶,希望能將CDO、數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師等與大數(shù)據(jù)有關(guān)的這些人、這些事全面展現(xiàn)在讀者面前。

  CDO:新型的復(fù)合型人才

  戴爾(微博)全球副總裁、中國區(qū)大型企業(yè)及公共事業(yè)部總經(jīng)理容永康告訴記者:“我接觸過的很多中國企業(yè)的CIO認為,大數(shù)據(jù)解決方案是有價值的,但是實施起來確實有許多困難。比如,國內(nèi)現(xiàn)在懂得在Hadoop上進行開發(fā)的專業(yè)技術(shù)人員非常少,而一些金融行業(yè)的用戶雖然很想現(xiàn)在就部署大數(shù)據(jù)解決方案,但是苦于找不到既懂?dāng)?shù)據(jù)分析技術(shù),又懂得金融業(yè)務(wù)的專業(yè)人才。”由此可見,既懂得相關(guān)技術(shù),又諳熟企業(yè)業(yè)務(wù)的復(fù)合型人才才是企業(yè)部署大數(shù)據(jù)應(yīng)用最迫切需要的人才,而CDO就是其中的典型代表。

  數(shù)據(jù)歸業(yè)務(wù)部門,應(yīng)用歸IT部門。這一概念在過去幾十年中已經(jīng)被廣泛接受。然而現(xiàn)在到了該挑戰(zhàn)這一理念的時候了。在多數(shù)組織機構(gòu)中,業(yè)務(wù)部門并不想擁有數(shù)據(jù),他們也不是為管理數(shù)據(jù)而配備的。CDO能夠有效執(zhí)行一套自上而下的企業(yè)數(shù)據(jù)需要的精密化數(shù)據(jù)管理實踐。

  IDC的研究表明,2009~2020年,全球數(shù)字信息量將實現(xiàn)44倍的增長,其中需要管理的文件數(shù)將增加67倍,總存儲容量將增長30倍。企業(yè)在PB級甚至EB級的數(shù)據(jù)中尋找相關(guān)信息無異于大海撈針,將為信息驅(qū)動決策帶來與日俱增的成本和復(fù)雜性。此外,企業(yè)數(shù)據(jù)不是非黑即白,多樣化的數(shù)據(jù)源、數(shù)據(jù)種類以及信息共享機制正逐步替代傳統(tǒng)的結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)二分法。企業(yè)一方面要與外部的客戶、合作伙伴通過文本信息、社交網(wǎng)絡(luò)、移動應(yīng)用等方式進行互動;另一方面,企業(yè)內(nèi)部也會頻繁通過電子郵件、即時通信、博客等進行有效溝通。企業(yè)有責(zé)任和義務(wù)管理并且保護這些數(shù)據(jù)。IDC的調(diào)查顯示,雖然企業(yè)產(chǎn)生的數(shù)據(jù)僅占全球數(shù)據(jù)總量的20%,但企業(yè)實際上要對80%的內(nèi)容承擔(dān)起管理的責(zé)任。這就意味著企業(yè)必須承擔(dān)起與業(yè)務(wù)有關(guān)的數(shù)據(jù)管理、挖掘和保護的職責(zé)。面對涌動的數(shù)據(jù)洪流以及數(shù)據(jù)多樣化的挑戰(zhàn),企業(yè)現(xiàn)有的業(yè)務(wù)模型很難通過有效的方法和途徑對這些數(shù)據(jù)進行管理,并充分展現(xiàn)其價值,而且不能對業(yè)務(wù)未來的發(fā)展做出正確預(yù)測。這就是企業(yè)對CDO求賢若渴的重要原因。

  賽迪顧問IT系統(tǒng)產(chǎn)業(yè)研究中心陳靚表示:“當(dāng)前,數(shù)據(jù)管理的重要性日益凸顯,并成為現(xiàn)代企業(yè)管理至關(guān)重要的影響因素之一。隨著IT技術(shù)的發(fā)展,企業(yè)數(shù)據(jù)治理作為一個全新的管理概念被提了出來,這正是CDO進入企業(yè)高管團隊的重要原因。”

  “在大數(shù)據(jù)領(lǐng)域,我們今后可能會聽到很多花哨的名稱,如CDO、數(shù)據(jù)科學(xué)家或者首席數(shù)據(jù)工程師、架構(gòu)師等。數(shù)據(jù)對企業(yè)來說變得越來越重要,而且逐漸成了企業(yè)核心競爭力的一部分。企業(yè)關(guān)注的不僅僅是數(shù)據(jù)本身,而且會更加重視數(shù)據(jù)的價值,以及數(shù)據(jù)對企業(yè)產(chǎn)生的影響。”微軟亞太研發(fā)集團首席技術(shù)官孫博凱告訴記者,“舉例來說,兩個類似的企業(yè),一個花了很多時間做數(shù)據(jù)分析,另一個則對數(shù)據(jù)完全漠視。從公司業(yè)績來看,做數(shù)據(jù)分析的企業(yè),可以很好地掌控其業(yè)務(wù),而沒有對數(shù)據(jù)進行分析的企業(yè)績效會差很多。從這一點上也可以看出,在數(shù)據(jù)逐漸成為企業(yè)核心競爭力的今天,掌控數(shù)據(jù)對企業(yè)的業(yè)務(wù)發(fā)展有多么重要。”

  做好“后臺”

  CDO的主要職責(zé)是什么呢?作為企業(yè)的執(zhí)行管理層,CDO將在以下領(lǐng)域中扮演舉足輕重的角色:主導(dǎo)并實施數(shù)據(jù)管理策略和標(biāo)準(zhǔn),實現(xiàn)數(shù)據(jù)質(zhì)量管理的制度化;衡量并管理數(shù)據(jù)風(fēng)險,在執(zhí)行層影響企業(yè)的風(fēng)險評估偏好;實現(xiàn)更佳的決策支持,通過對數(shù)據(jù)的有效分析獲得洞察力,幫助企業(yè)改善策略;通過對數(shù)據(jù)的有效管控及使用,增加企業(yè)的業(yè)務(wù)收入,提升客戶滿意度、客戶忠誠度和市場美譽度;降低合規(guī)成本,通過正確運用數(shù)據(jù)提高生產(chǎn)效率。

  “CDO需要支持CEO的決策。CDO與企業(yè)常規(guī)設(shè)置的CFO、CIO不同,他掌握的是企業(yè)內(nèi)部最核心的數(shù)據(jù)。順便強調(diào)一下,CTO并不和IT直接掛鉤,也不會承擔(dān)CDO的工作,CTO負責(zé)的是企業(yè)的核心技術(shù),比如制造型企業(yè)的生產(chǎn)技術(shù)。并不是每一個企業(yè)都會設(shè)立CTO。”Forrester(微博) 高級分析師曹宇欽認為,“CIO的職責(zé)在于提供最符合企業(yè)現(xiàn)狀和未來發(fā)展的信息技術(shù),包括要實現(xiàn)數(shù)據(jù)分析的能力。目前不少企業(yè)的CIO或者IT部門負責(zé)企業(yè)數(shù)據(jù)的挖掘,但是絕大部分還停留在技術(shù)層面。設(shè)立CDO之后,CIO將為CDO提供數(shù)據(jù)挖掘的工具和技術(shù)支持,并且把數(shù)據(jù)分析的工作轉(zhuǎn)交給CDO。目前在CFO的職能中,關(guān)于企業(yè)內(nèi)部歷史數(shù)據(jù)整理、分析并預(yù)測企業(yè)業(yè)務(wù)發(fā)展的部分職責(zé),也將逐漸轉(zhuǎn)交給新設(shè)立的CDO。”

  據(jù)記者了解,中國移動目前既沒有CTO,也沒有CIO。中國移動目前已在部分項目中采用了大數(shù)據(jù)技術(shù),未來還將繼續(xù)擴大使用范圍;跇I(yè)務(wù)的考慮,中國移動需要以下兩種大數(shù)據(jù)人才:第一,大數(shù)據(jù)系統(tǒng)和工具的研發(fā)、優(yōu)化人才,要求對于Hadoop、數(shù)據(jù)倉庫、OLAP工具等大數(shù)據(jù)工具具有較深的優(yōu)化經(jīng)驗,最好能根據(jù)業(yè)務(wù)需求對于Hadoop等開源大數(shù)據(jù)工具進行定制開發(fā);第二,數(shù)據(jù)分析師人才,要求對于電信經(jīng)營分析業(yè)務(wù)具有一定的經(jīng)驗,能夠熟練使用大數(shù)據(jù)工具,了解數(shù)據(jù)主流統(tǒng)計分析、數(shù)據(jù)挖掘算法,能夠根據(jù)業(yè)務(wù)特征進行建模分析。

  “CDO相當(dāng)于企業(yè)的‘后臺’。在公有云建設(shè)和數(shù)據(jù)倉庫應(yīng)用中非常需要CDO。”市場分析公司ESG中國區(qū)總經(jīng)理王叢表示,“CDO應(yīng)該懂得數(shù)據(jù)管理、網(wǎng)絡(luò)和底層安全知識,了解公有云對IT的需求,并且要擁有多年的數(shù)據(jù)庫管理經(jīng)驗。CTO中的T代表技術(shù),CIO中的I代表信息,而CDO中的D代表數(shù)據(jù),這三者是不能相互替代的。但是,并不是所有的企業(yè)都需要CDO。”

  并非所有企業(yè)都需要CDO

  百度每天的數(shù)據(jù)處理量十分驚人,達到了20PB~100PB,當(dāng)然其中也包含了重復(fù)的數(shù)據(jù)。不過,百度目前還沒有設(shè)立CDO這個職位。百度在大數(shù)據(jù)方面做的主要工作包括管理、處理和挖掘大數(shù)據(jù),以及與大數(shù)據(jù)相關(guān)的基礎(chǔ)架構(gòu)研究。百度在大數(shù)據(jù)方面的快速發(fā)展主要得益于其多年來在云計算方面積累的經(jīng)驗,以及在數(shù)據(jù)梳理方面技能的不斷提升。

  百度在大數(shù)據(jù)方面最津津樂道的有兩點:一是云存儲(據(jù)百度稱,百度目前擁有業(yè)界最便宜的云存儲),二是其強大的數(shù)據(jù)處理能力。百度認為,企業(yè)在大數(shù)據(jù)方面面臨的最主要挑戰(zhàn)在于,不知道應(yīng)該做什么和不應(yīng)該做什么,也就是方向性的問題,這是與業(yè)務(wù)本身密切相關(guān)的。

  現(xiàn)在一說到大數(shù)據(jù),言必提Hadoop、MapReduce等。用戶的普遍感覺是,數(shù)據(jù)量太大,而現(xiàn)有技術(shù)的積累和技能還無法跟上數(shù)據(jù)量增長和處理的需求。百度認為,用戶只掌握Hadoop、MapReduce等技術(shù)或工具還不夠,更需要了解哪些數(shù)據(jù)真正具有價值。這對CDO來說是考驗。以互聯(lián)網(wǎng)企業(yè)為例,因為其擁有的數(shù)據(jù)量非常大,處理這些數(shù)據(jù)的投入也非常大,CDO就要考慮投入產(chǎn)出比的問題。

  其實,數(shù)據(jù)挖掘并不是一項新技術(shù),已經(jīng)有幾十年的發(fā)展歷史了。對于用戶來說,如果只是招聘技術(shù)人員對相關(guān)算法進行研究,那是沒有止境的,F(xiàn)在,很多用戶都說要做大數(shù)據(jù), 比如NBA球隊在比賽中別出心裁地引入了數(shù)據(jù)分析技術(shù),甚至有些房地產(chǎn)企業(yè)也宣稱要做大數(shù)據(jù)。有人笑稱,現(xiàn)在是全民皆大數(shù)據(jù)分析的時代。百度認為,真正有用的大數(shù)據(jù)人才應(yīng)該可以分辨出哪些工作可以做,而哪些工作不必做。

  “從理論上說,每一個將大數(shù)據(jù)分析應(yīng)用到業(yè)務(wù)中的企業(yè)或單位都應(yīng)該設(shè)立CDO的崗位。但是,企業(yè)是否足夠成熟來設(shè)立這個崗位,取決于企業(yè)對于數(shù)據(jù)挖掘的深度以及各個業(yè)務(wù)部門能否有效地支持CDO。通常情況下,CDO將直接匯報給COO。”曹宇欽補充說,“CDO既要懂得企業(yè)的業(yè)務(wù)和運營,又要具備極強的數(shù)據(jù)分析能力,能夠透過數(shù)據(jù)看到事件的本質(zhì)。CDO不能僅僅停留在簡單收集、整理、分析數(shù)據(jù)和寫出報告的層面,而是要結(jié)合企業(yè)自身的業(yè)務(wù)發(fā)展,找出數(shù)字背后隱藏的挑戰(zhàn)和機遇,同時將這些洞察應(yīng)用在具體的企業(yè)內(nèi)部戰(zhàn)略規(guī)劃及日常運營中。”

  “我們目前正在準(zhǔn)備進行大數(shù)據(jù)方面的調(diào)研。大數(shù)據(jù)的分析工作與傳統(tǒng)的應(yīng)用系統(tǒng)的建設(shè)有很大不同。我們需要既懂得業(yè)務(wù),又熟悉數(shù)據(jù)分析技術(shù),并且能夠把兩者結(jié)合起來的綜合人才。”民生證券有限責(zé)任公司技術(shù)總監(jiān)顏陽博士告訴記者。在推進大數(shù)據(jù)應(yīng)用的過程中,顏陽認為企業(yè)將面臨以下三方面的困難,一是認識上的不足,很多人并不知道大數(shù)據(jù)是什么,因此也就無法知道如何正確地使用大數(shù)據(jù)工具;二是投入上的不足,大數(shù)據(jù)的應(yīng)用可能需要相當(dāng)大的役入,一般的企業(yè)可能很難承受;第三,大數(shù)據(jù)人才的匱乏將制約大數(shù)據(jù)應(yīng)用的發(fā)展。

  陳靚認為,從當(dāng)前國內(nèi)信息化應(yīng)用的現(xiàn)狀來看,有大數(shù)據(jù)應(yīng)用的企業(yè)一般集中在金融、電信、互聯(lián)網(wǎng)等大型企業(yè)。從企業(yè)的需求上來看,設(shè)立CDO可以解決企業(yè)在數(shù)據(jù)搜集、使用、存儲和再利用方面的難題,同時還能為企業(yè)高層提供更好的決策支持。但是,由于大數(shù)據(jù)應(yīng)用在中國的各行業(yè)還處于初步階段,很多企業(yè)并沒有發(fā)展到系統(tǒng)化地使用大數(shù)據(jù)工具進行深度數(shù)據(jù)挖掘的階段。CDO的設(shè)立應(yīng)該是企業(yè)在數(shù)據(jù)使用和挖掘上有了成熟的模式以后的事情,否則,盲目設(shè)立此職位只能給企業(yè)內(nèi)部帶來冗余的工作崗位和職責(zé)上的不明確。

  在民航業(yè),大數(shù)據(jù)的分析和應(yīng)用已經(jīng)被提升到了戰(zhàn)略高度。東方航空公司很早就提出要實現(xiàn)精準(zhǔn)營銷和對旅客的個性化服務(wù),而大數(shù)據(jù)分析是實現(xiàn)這一目標(biāo)的前提。據(jù)記者了解,國內(nèi)許多航空公司雖然可能沒有單獨設(shè)立數(shù)據(jù)分析部門,但多多少少都會有數(shù)據(jù)分析這項業(yè)務(wù)。

  東方航空公司信息部總經(jīng)理嚴(yán)振紅介紹說:“我們需要既懂業(yè)務(wù),又有深厚技術(shù)背景的人,但并不一定會設(shè)立CDO這個職位。去年,我們在信息部下面新設(shè)立了一個數(shù)據(jù)管理部,負責(zé)公司所有數(shù)據(jù)的分析、管理和營銷業(yè)務(wù)。為了招聘到適合的人才,公司領(lǐng)導(dǎo)特批我們可以按照市場規(guī)律,以年薪制招聘適合的大數(shù)據(jù)人才。目前,數(shù)據(jù)管理部有20多人,其中有一部分是公司原有的熟悉業(yè)務(wù)的人員,另外一部分就是從外面招聘的技術(shù)專家。經(jīng)過一年多的磨合,現(xiàn)在數(shù)據(jù)管理部的這些人都成了既懂業(yè)務(wù),又掌握相關(guān)技術(shù)的復(fù)合型人才。我們正在籌建的數(shù)據(jù)倉庫項目就是由數(shù)據(jù)管理部一手經(jīng)辦的。”

  據(jù)記者了解,東方航空公司的數(shù)據(jù)管理部還在不斷招人,希望繼續(xù)擴大規(guī)模。2013年下半年,東方航空公司的大數(shù)據(jù)平臺將正式上線運行,主要用于營銷和客戶服務(wù)。

  陳靚總結(jié)說:“CDO能結(jié)合企業(yè)IT應(yīng)用,更好地推動企業(yè)業(yè)務(wù)的發(fā)展,讓IT價值更大化。因此CDO將在國內(nèi)企業(yè)中受到歡迎。工業(yè)結(jié)構(gòu)轉(zhuǎn)型依賴信息化的進一步發(fā)展。新興的CDO專業(yè)人才將為IT發(fā)展創(chuàng)造更廣闊的空間,并且更好地促進國內(nèi)經(jīng)濟結(jié)構(gòu)的轉(zhuǎn)型,提高生產(chǎn)效率和企業(yè)管理水平。”

分享到: 收藏

專題