大數(shù)據(jù)很火，從今天開幕的英特爾年度盛會(huì)IDF上就能看出端倪。
與往年一樣，重磅主題演講人之一，英特爾高級(jí)副總裁兼數(shù)據(jù)中心及互聯(lián)系統(tǒng)事業(yè)部總經(jīng)理柏安娜，在介紹英特爾數(shù)據(jù)中心戰(zhàn)略時(shí)特別強(qiáng)調(diào)，英特爾將持續(xù)投資Hadoop，為開源社區(qū)提供代碼，面向至強(qiáng)優(yōu)化發(fā)行，提供硬件增強(qiáng)的壓縮功能。
據(jù)她介紹，早期成果已經(jīng)在中國(guó)有客戶部署Hadoop，如中國(guó)移動(dòng)和中國(guó)聯(lián)通等運(yùn)營(yíng)商，應(yīng)對(duì)3G甚至4G系統(tǒng)啟用之后呼叫數(shù)據(jù)大幅增長(zhǎng)導(dǎo)致傳統(tǒng)計(jì)費(fèi)系統(tǒng)出現(xiàn)的難題。
“執(zhí)行Hadoop的方案背后離不開存儲(chǔ)設(shè)備的支持，必須有很高的性能和效率。”在中國(guó)移動(dòng)的案例中，最大挑戰(zhàn)是提供實(shí)時(shí)呼叫數(shù)據(jù)記錄，每天實(shí)時(shí)檢索30天的記錄，每秒生成30萬(wàn)條記錄，每秒35MB，每月計(jì)費(fèi)數(shù)據(jù)達(dá)到90TB。
她提到了數(shù)據(jù)中心在交付實(shí)時(shí)信息和服務(wù)的個(gè)人計(jì)算體驗(yàn)中所扮演的重要角色，以及英特爾在提供數(shù)據(jù)分析所需要的硬件及軟件、提高智能設(shè)備和數(shù)據(jù)中心基礎(chǔ)設(shè)施功能上所邁出的創(chuàng)新步伐。
隨后，英特爾副總裁兼平臺(tái)事業(yè)部總經(jīng)理Jason Waxman在演講中，介紹數(shù)據(jù)分析支持浙江智能電網(wǎng)的案例，最大挑戰(zhàn)是提高電網(wǎng)效率，內(nèi)存數(shù)據(jù)庫(kù)要支持100TB和100萬(wàn)個(gè)并發(fā)請(qǐng)求，傳感器更是多達(dá)1億個(gè)以上，最總不僅決策速度提高了60倍，而且減少了電力浪費(fèi)和碳排放。
2013年底之前英特爾加速擴(kuò)展基于22納米制程工藝的數(shù)據(jù)中心處理器產(chǎn)品線計(jì)劃，支持擁有更高成本效益和更高能效的數(shù)據(jù)中心基礎(chǔ)設(shè)施。在數(shù)據(jù)中心產(chǎn)品組合中，面向微型服務(wù)器的英特爾凌動(dòng)S1200處理器發(fā)布4個(gè)月后，全新專為存儲(chǔ)設(shè)備定制的英特爾凌動(dòng)S12x9處理器也隨之亮相
談到所謂的數(shù)據(jù)中心機(jī)架“重塑”，目前騰訊和百度都十分關(guān)注提高機(jī)架密度和降低運(yùn)營(yíng)成本。在數(shù)據(jù)中心內(nèi)機(jī)架方面，可以將散熱和供電等系統(tǒng)進(jìn)行整合，甚至未來能夠把存儲(chǔ)和計(jì)算等核心資源聚合到一起，提高效能和降低成本。
基于這個(gè)設(shè)想，騰訊、阿里巴巴、百度和中國(guó)電信發(fā)起了名為“天蝎”（Scorpio）項(xiàng)目，英特爾擔(dān)任技術(shù)顧問。整機(jī)柜的理念把服務(wù)器的功能放入機(jī)架中，例如把風(fēng)扇從機(jī)柜中移走，做成風(fēng)扇墻提高效率和加強(qiáng)散熱，通過重新設(shè)計(jì)機(jī)架機(jī)械尺寸整個(gè)機(jī)架密度提升一倍甚至更高，從進(jìn)一步推動(dòng)標(biāo)準(zhǔn)化。
為什么在數(shù)據(jù)中心機(jī)架重塑這個(gè)項(xiàng)目上互聯(lián)網(wǎng)公司和運(yùn)營(yíng)商走在了前面？天蝎項(xiàng)目輪席主席Eric Chen解釋說，之前廠商各自有不同的標(biāo)準(zhǔn)，用戶之間沒有合作，所以提出的需求不同，不僅有多套整機(jī)柜，而且國(guó)外通用產(chǎn)品無(wú)法拿來直接運(yùn)行。
正式啟動(dòng)天蝎項(xiàng)目之后，廠商和運(yùn)營(yíng)商整合各自需求，開發(fā)一套通用產(chǎn)品。“2012年是天蝎的元年。去年底，百度采用200個(gè)整機(jī)柜，天蝎技術(shù)每年節(jié)省4200萬(wàn)運(yùn)營(yíng)費(fèi)用。今年和明年將有更多整機(jī)貴落地。未來的天蝎2.0將充分利用風(fēng)火水電，從服務(wù)器轉(zhuǎn)移到數(shù)據(jù)中心機(jī)架，這個(gè)高級(jí)階段中解耦（Disaggregation）是關(guān)鍵技術(shù)。”
他表示：“隨著整機(jī)柜成為主流技術(shù)，如Facebook OCP的OpenRack項(xiàng)目，我們非常愿意和Facebook一起合作推動(dòng)標(biāo)準(zhǔn)化。”
在下午的IDF 2013大數(shù)據(jù)專場(chǎng)中，記者則更為詳盡地了解到與上午主題演講相關(guān)的大數(shù)據(jù)一體機(jī)和Hadoop的信息。
在英特爾大數(shù)據(jù)一體機(jī)方面，參考設(shè)計(jì)主要針對(duì)智慧城市、智能交通、電信、金融和醫(yī)療等目標(biāo)市場(chǎng)，為渠道和本地OEM提供一體化的方案，包括DCSG/PEG、DSD、SSD、NSG和ISG在內(nèi)的多個(gè)英特爾部門參與，負(fù)責(zé)服務(wù)器、一體化集成、Hadoop發(fā)行版、優(yōu)化、固態(tài)盤、前端和邊緣服務(wù)器接入
下午的會(huì)場(chǎng)還同時(shí)發(fā)布了最新的Hadoop發(fā)行版2.3版本。演講人特別介紹了新版本在處理非結(jié)構(gòu)化數(shù)據(jù)方面的兩個(gè)應(yīng)用實(shí)例。其一，某市交通管理在線應(yīng)用中，需要實(shí)時(shí)存儲(chǔ)和獲取路口的實(shí)時(shí)交通狀況圖片；其二，某銀行存儲(chǔ)大量交易記錄備注或交易證據(jù)掃描照片，并允許柜員及客戶在線查詢這些記錄
