金融數(shù)據(jù)中心一貫是小型機(jī)的天下，這是源于金融業(yè)務(wù)以可靠性和穩(wěn)定性為首要指導(dǎo)。不過，隨著大數(shù)據(jù)和分布式架構(gòu)的流行，x86服務(wù)器憑借堪與小型機(jī)比肩的性能，正在逐步搶占小型機(jī)的市場空間。
在信息化時(shí)代，數(shù)據(jù)深刻影響著銀行的未來發(fā)展，誰擁有數(shù)據(jù)誰就獲得了話語權(quán)。數(shù)據(jù)的價(jià)值來源于對海量的客戶交易數(shù)據(jù)、客戶行為數(shù)據(jù)等的深層挖掘和分析，以便做到精準(zhǔn)定位和營銷，進(jìn)而根據(jù)不同的客戶和市場需求設(shè)計(jì)不同的金融產(chǎn)品，提升銀行的盈利能力。這種基于大數(shù)據(jù)的金融業(yè)務(wù)創(chuàng)新，目前已經(jīng)成為各商業(yè)銀行的競爭焦點(diǎn)之一。
中國農(nóng)業(yè)銀行作為中國四大國有銀行之一，據(jù)不完全統(tǒng)計(jì)，目前其各應(yīng)用系統(tǒng)每年產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)已經(jīng)突破100TB，而非結(jié)構(gòu)化數(shù)據(jù)更是突破1PB（1024TB）大關(guān)。這也促使農(nóng)行在大數(shù)據(jù)實(shí)踐方面積極走在行業(yè)前列。
數(shù)據(jù)飛速增長 IT架構(gòu)挑戰(zhàn)嚴(yán)峻
過去，農(nóng)業(yè)銀行業(yè)務(wù)系統(tǒng)運(yùn)行平臺多是小型機(jī)，而小型機(jī)單機(jī)擴(kuò)展能力有限，原有的架構(gòu)越來越難以支撐飛速增長的業(yè)務(wù)應(yīng)用的計(jì)算資源需求。
廠商來源單一也導(dǎo)致小型機(jī)的采購和維護(hù)費(fèi)用高昂。特別是Unix小型機(jī)軟件封閉，操作系統(tǒng)、 虛擬化、數(shù)據(jù)庫等軟件采購費(fèi)用相比x86架構(gòu)高出數(shù)十倍，性價(jià)比較低。
于是，近年來在互聯(lián)網(wǎng)行業(yè)廣泛應(yīng)用并持續(xù)創(chuàng)造價(jià)值的Hadoop大數(shù)據(jù)方案，引起了中國農(nóng)業(yè)銀行的關(guān)注。Hadoop框架的一個(gè)顯著特點(diǎn)是，將以往需要高性能小型機(jī)才能完成的計(jì)算任務(wù)，分解為由多臺x86服務(wù)器（甚至PC機(jī)）組成的計(jì)算集群來完成。
2012年7月，農(nóng)行正式引入業(yè)內(nèi)廣受關(guān)注的Hadoop大數(shù)據(jù)方案。該方案首先被應(yīng)用于支撐對歷史交易數(shù)據(jù)進(jìn)行查詢與分析，通過采用業(yè)界流行的Hadoop分布式計(jì)算框架，處理海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
經(jīng)過認(rèn)真的評估與論證，農(nóng)行的IT技術(shù)團(tuán)隊(duì)認(rèn)為，由x86服務(wù)器組成的計(jì)算集群，在計(jì)算性能上可以滿足Hadoop大數(shù)據(jù)方案的要求，但在經(jīng)濟(jì)性方面比小型機(jī)更具有優(yōu)勢。
聯(lián)合華為試點(diǎn)分布式計(jì)算架構(gòu) 順應(yīng)U2L大勢
為驗(yàn)證這種可行性，2012年下半年，農(nóng)行的IT技術(shù)團(tuán)隊(duì)與華為的服務(wù)器研發(fā)團(tuán)隊(duì)成立了聯(lián)合工作組。根據(jù)雙方達(dá)成的合作協(xié)議，華為將提供x86服務(wù)器組成計(jì)算集群，由農(nóng)行在華為的計(jì)算平臺上運(yùn)行Hadoop的相關(guān)軟件，并進(jìn)行相關(guān)的業(yè)務(wù)測試。農(nóng)行與華為均希望通過試點(diǎn)“x86服務(wù)器”的分布式并行計(jì)算架構(gòu)，來共同應(yīng)對金融大數(shù)據(jù)業(yè)務(wù)帶來的挑戰(zhàn)。
首先，農(nóng)行希望x86服務(wù)器在計(jì)算性能上應(yīng)具備“秒級響應(yīng)”的能力。目前，農(nóng)行在中國境內(nèi)的分支機(jī)構(gòu)超過2.34萬，服務(wù)的客戶超過4.2億，各營業(yè)網(wǎng)點(diǎn)、自助終端設(shè)備、網(wǎng)上銀行等對數(shù)據(jù)中心的訪問屬于高并發(fā)訪問。對于歷史交易數(shù)據(jù)的查詢與分析業(yè)務(wù)，為確保客戶的滿意度與銀行的工作效率，農(nóng)行要求大數(shù)據(jù)處理平臺對交易明細(xì)數(shù)據(jù)的隨機(jī)查詢要在“秒級”完成響應(yīng)。
“這就意味著，在1秒鐘之內(nèi)，大數(shù)據(jù)處理平臺要從120TB的5年歷史交易數(shù)據(jù)中，也就是大約650億條的歷史交易記錄中，將查詢結(jié)果反饋給用戶。”農(nóng)行的專家這樣跟華為說。
其次，農(nóng)行希望x86服務(wù)器具備良好的經(jīng)濟(jì)性。在應(yīng)用x86服務(wù)器之前，農(nóng)行多采用小型機(jī)來承載歷史交易數(shù)據(jù)的查詢與分析業(yè)務(wù)。為滿足業(yè)務(wù)要求，小型機(jī)首先需要存放至少5年120TB的歷史數(shù)據(jù)，同時(shí)每天新增的交易記錄在4000萬條以上，需要約100G的存儲空間。但小型機(jī)相對封閉的硬件架構(gòu)設(shè)計(jì)，使得其可擴(kuò)展性受到很大的限制，導(dǎo)致每次擴(kuò)容成本都很高昂。此外，小型機(jī)非通用的架構(gòu)設(shè)計(jì)，也給農(nóng)行帶來了不菲的維保費(fèi)用。
“我們之所以選擇x86服務(wù)器，一方面，是因?yàn)榻陙韝86服務(wù)器的技術(shù)性能得到了大幅提升；另一方面，采用通用架構(gòu)的x86服務(wù)器，其在采購成本、擴(kuò)容成本及維護(hù)成本方面，相對于小型機(jī)的優(yōu)勢也是很明顯的。”農(nóng)行專家指出。
x86服務(wù)器，金融大數(shù)據(jù) 的選擇
華為在深入分析了農(nóng)行對大數(shù)據(jù)處理平臺的需求后，向農(nóng)行提供了基于華為RH2288 V2服務(wù)器的分布式并行計(jì)算集群進(jìn)行測試。測試結(jié)果表明，華為解決方案完全滿足農(nóng)行對海量數(shù)據(jù)進(jìn)行分布式處理的要求。
x86服務(wù)器的分布式架構(gòu)使得服務(wù)器節(jié)點(diǎn)可以靈活擴(kuò)展，按需配置，支持飛速增長的業(yè)務(wù)和數(shù)據(jù)量，從而滿足當(dāng)前與未來業(yè)務(wù)的發(fā)展需要，充分保護(hù)農(nóng)行的初期和遠(yuǎn)期投資。
x86服務(wù)器不僅在計(jì)算性能上可以滿足Hadoop大數(shù)據(jù)方案的要求，而且成本上比小型機(jī)更具有吸引力。相比小型機(jī)方案，采用華為RH2288 V2可以節(jié)約40%的運(yùn)維成本，節(jié)約總體擁有成本（TCO）20%以上。
此外，華為RH2288 V2服務(wù)器支持現(xiàn)場調(diào)整與優(yōu)化，農(nóng)行可以按照業(yè)務(wù)需求對服務(wù)器的配置進(jìn)行現(xiàn)場調(diào)優(yōu)，這使服務(wù)器的計(jì)算性能在Hadoop大數(shù)據(jù)環(huán)境下發(fā)揮到最優(yōu)。在測試中，農(nóng)行85GB的原始數(shù)據(jù)加載（3份冗余）或者5000萬定期賬戶批量處理，華為RH2288 V2服務(wù)器計(jì)算集群能在10分鐘內(nèi)完成。而對于2億條交易詳單、600并發(fā)隨機(jī)查詢的平均響應(yīng)時(shí)間，華為解決方案的測試結(jié)果低于40ms，遠(yuǎn)遠(yuǎn)超出農(nóng)行的預(yù)期。
2013年8月份，中國農(nóng)業(yè)銀行將在其正式生產(chǎn)環(huán)境的Hadoop大數(shù)據(jù)處理平臺中，采用了200臺華為RH2288 V2服務(wù)器進(jìn)行部署。
此次試點(diǎn)表明， x86服務(wù)器已經(jīng)完全可以承擔(dān)金融行業(yè)關(guān)鍵業(yè)務(wù)，銀行對小型機(jī)的技術(shù)依賴進(jìn)一步降低。采用開放架構(gòu)的x86服務(wù)器建設(shè)銀行的IT系統(tǒng)（尤其是開放平臺系統(tǒng)），已經(jīng)成為金融行業(yè)信息化的發(fā)展趨勢之一。
