從阜錦高速的阜新南出口一下來，遠(yuǎn)遠(yuǎn)就能看到不遠(yuǎn)處阜新銀行的廣告牌，這家前身經(jīng)歷過多次演變的城市商業(yè)銀行于前不久完成了有史以來較大規(guī)模的一次IT系統(tǒng)改造。借用一句當(dāng)下流行的話來形容，在該項(xiàng)目的實(shí)施中，阜新銀行自上而下都是蠻拼的，尤其是阜新銀行系統(tǒng)與科技事業(yè)部的IT技術(shù)團(tuán)隊(duì)。因此雖然距離項(xiàng)目完結(jié)已經(jīng)過去了近3個(gè)月的時(shí)間，但日前在談及此次IT系統(tǒng)改造時(shí)，阜新銀行科技負(fù)責(zé)人還是難掩內(nèi)心興奮之情。
“雙活”算是選對(duì)了
回顧整個(gè)項(xiàng)目歷程，可以說在從項(xiàng)目立項(xiàng)、開始實(shí)施到正式上線的1年多時(shí)間里，新銀行系統(tǒng)與科技事業(yè)部的IT技術(shù)團(tuán)隊(duì)傾注了大量的心血。據(jù)負(fù)責(zé)人介紹，包括IT系統(tǒng)架構(gòu)規(guī)劃、方案實(shí)施、計(jì)劃制定、質(zhì)量標(biāo)準(zhǔn)的設(shè)定等各個(gè)環(huán)節(jié)幾乎都是阜新銀行一手來完成的。這也難怪時(shí)至今日，其仍然感慨良多。
同時(shí)，也正是因?yàn)楦沸裸y行全程參與此次改造，實(shí)現(xiàn)了多個(gè)方面的創(chuàng)新，比如之前描述風(fēng)險(xiǎn)用到的大多是“嚴(yán)重、一般”等模糊的詞匯，而阜新銀行此次提出了一套更為精確的風(fēng)險(xiǎn)系數(shù)計(jì)算方法，能夠更為精準(zhǔn)地將風(fēng)險(xiǎn)指標(biāo)量化，從而更好地做出應(yīng)對(duì)措施。像這樣類似的創(chuàng)新還有很多。
賣了半天關(guān)子，可能有人問究竟此次IT改造項(xiàng)目是什么？簡單而言，就是數(shù)據(jù)中心的災(zāi)備建設(shè)。在此有必要介紹下阜新銀行此前的災(zāi)備建設(shè)情況，該項(xiàng)目上線之前，阜新銀行分別在阜新和鐵嶺有兩個(gè)數(shù)據(jù)中心，其中阜新為主數(shù)據(jù)中心，鐵嶺為備份數(shù)據(jù)中心，這兩個(gè)數(shù)據(jù)中心距離在200公里以上；一旦阜新主數(shù)據(jù)中心出現(xiàn)故障，主要應(yīng)用可以切換至鐵嶺備份數(shù)據(jù)中心。不過，這里需要指出的是，鐵嶺數(shù)據(jù)中心的設(shè)計(jì)為冷備數(shù)據(jù)中心，也就是說兩個(gè)數(shù)據(jù)中心的數(shù)據(jù)并實(shí)時(shí)不同步，如果需要切換，中間的斷檔期時(shí)長并不可控。
也正是由于冷備的不可控才促進(jìn)了熱備的發(fā)展，近兩年迅猛發(fā)展的雙活數(shù)據(jù)中心便是最好的見證。其實(shí)雙活原本并不是一個(gè)新鮮的技術(shù)，只是雙活的規(guī)模正變得越來越大，從最早的雙機(jī)熱備（兩臺(tái)服務(wù)器互相備份）到如今的雙活數(shù)據(jù)中心（兩個(gè)數(shù)據(jù)中心互相備份），雙活需要考慮的不僅僅是兩臺(tái)服務(wù)器那么簡單，而是要考慮從底層基礎(chǔ)架構(gòu)到上層應(yīng)用的方方面面，這也正是建設(shè)雙活數(shù)據(jù)中心的難點(diǎn)所在。
談了半天雙活數(shù)據(jù)中心，回到阜新銀行本身，此次他們所進(jìn)行的IT改造，正是同城雙活數(shù)據(jù)中心的建設(shè)。我們先來看看項(xiàng)目實(shí)施后的效果，RPO（Recovery Point Objective）為0， RTO（Recovery Time Objective）平均為2分鐘，極端場景2小時(shí)。其中RPO為0是什么概念？就是出現(xiàn)任何故障，幸存存儲(chǔ)的數(shù)據(jù)是最新的，交易可以基于該存儲(chǔ)繼續(xù)運(yùn)行，不用擔(dān)心數(shù)據(jù)的不一致。RTO平均為2分鐘意味著發(fā)生故障后，2分鐘就能恢復(fù)到正常運(yùn)營狀態(tài)。而在我國發(fā)布的《信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》中，最高等級(jí)第六級(jí)才要求如此，也就是說，雖然從規(guī)模來講，阜新銀行在全國城商行系統(tǒng)里屬中游水平，但從IT系統(tǒng)可靠性的角度來看，其在全國已經(jīng)名列前茅。
艱辛只有他們知道
俗話說的好，前途是光明的，道路是曲折的。如今項(xiàng)目順利完結(jié)，我們更多看到的是他們燦爛的笑容。但項(xiàng)目實(shí)施前中后經(jīng)歷了些什么，或許只有他們自己知道，我們所能了解到的其實(shí)也只能是皮毛。故事還得從2013年5月說起，為什么是這個(gè)時(shí)間點(diǎn)，因?yàn)橹暗囊荒陼r(shí)間，阜新銀行在忙另一個(gè)災(zāi)備數(shù)據(jù)中心的建設(shè)，也就是鐵嶺冷備數(shù)據(jù)中心項(xiàng)目。
回憶當(dāng)時(shí)的選型歷程，阜新銀行科技負(fù)責(zé)人講到，他們幾乎對(duì)比了所有的方案，包括冷備、雙活、二者混用，最終選擇了雙活的方式。關(guān)于這么做的原因，負(fù)責(zé)人說了一句特別樸實(shí)的話，“簡單實(shí)用，出事真正能夠起作用”。這大概也是所有用戶對(duì)于IT系統(tǒng)的需求吧。不可否認(rèn)，相較雙活數(shù)據(jù)中心，冷備數(shù)據(jù)中心能夠節(jié)約大量的成本，但出事頂不上去，要它又有何用？這樣的例子這幾年其實(shí)并不少見。
當(dāng)然，選擇雙活也并非一帆風(fēng)順，由于當(dāng)時(shí)雙活數(shù)據(jù)中心還不多見，起初阜新銀行還是準(zhǔn)備學(xué)習(xí)業(yè)內(nèi)很多同行的做法，建冷備數(shù)據(jù)中心�？梢�，最終做出這樣的選擇，阜新銀行從上到下也都經(jīng)受了一定的壓力。這樣的精神或許能夠解釋阜新銀行的業(yè)務(wù)為什么發(fā)展得如此之快，根據(jù)有據(jù)可查的數(shù)據(jù)顯示，截止2010年年底，阜新銀行資產(chǎn)總額223億元左右，經(jīng)過4年多的發(fā)展，如今其資產(chǎn)總額已經(jīng)接近800億元左右，4年翻了3倍之多。
在確定采用雙活的方案后，同年7月，阜新銀行開始了招標(biāo)工作，最終針對(duì)關(guān)鍵業(yè)務(wù)系統(tǒng)，阜新銀行選擇了IBM的PowerHA HyperSwap雙活解決方案。該方案由業(yè)界成熟的IBM Power小型機(jī)、PowerHA集群軟件、DS8000存儲(chǔ)系統(tǒng)組成；在基礎(chǔ)架構(gòu)上安裝了并行數(shù)據(jù)庫，來實(shí)現(xiàn)了跨越10公里的Active-Active集群和雙活數(shù)據(jù)中心部署，每套集群保證了從應(yīng)用層->操作系統(tǒng)層->存儲(chǔ)系統(tǒng)層的整體高可用，實(shí)現(xiàn)了雙活數(shù)據(jù)中心的核心功能。對(duì)于非關(guān)鍵業(yè)務(wù)系統(tǒng)，阜新銀行選擇的IBM SVC VDisk Mirror解決方案來實(shí)現(xiàn)存儲(chǔ)系統(tǒng)高可用。經(jīng)過近一年的測試、驗(yàn)證和實(shí)施，至2014年11月，該項(xiàng)目正式上線。
到此，故事的時(shí)間點(diǎn)算是明朗了，但是其中各種插曲所帶來的辛酸恐怕只有讀者您自己體會(huì)了，包括前文提到的整個(gè)項(xiàng)目的安排，也包括阜新銀行為匹配最終的雙活解決方案而做關(guān)鍵應(yīng)用系統(tǒng)升級(jí)時(shí)的多少個(gè)不眠之夜，還包括很多其他我們所不知道的。
在采訪中，阜新銀行科技負(fù)責(zé)人有兩句話給筆者留下了深刻的印象，一句是前文提到的“IT系統(tǒng)要簡單實(shí)用，出事真正能夠起作用”，還有一句是“災(zāi)備中心的效益更多體現(xiàn)的是社會(huì)效益，也就是體現(xiàn)在災(zāi)難出現(xiàn)的時(shí)候”。確實(shí)，只有出事的時(shí)候才能見真功夫，這也應(yīng)該是雙活數(shù)據(jù)中心存在最大的意義。
至此，可能有人會(huì)問，說了半天這雙活數(shù)據(jù)中心究竟建在哪？答案是阜新，也就是說至該項(xiàng)目正式上線，阜新銀行完成了我們?nèi)缃癯Ｒ姷膬傻厝行牟季郑磧蓚�(gè)數(shù)據(jù)中心建在本地，另一個(gè)建在異地，本地用來防止火災(zāi)、水災(zāi)、電路等異常情況的發(fā)生，異地則預(yù)發(fā)地震等大的自然災(zāi)害對(duì)本地?cái)?shù)據(jù)中心的破壞�？赡芘c我們常見的兩地三中心所不同的是，阜新本地的兩個(gè)數(shù)據(jù)中心采取的是雙活的方式，一旦主數(shù)據(jù)中心出現(xiàn)故障，備份數(shù)據(jù)中心能夠在幾分鐘之內(nèi)接管現(xiàn)有業(yè)務(wù)。
在采訪的最后，阜新銀行科技負(fù)責(zé)人談到了今后IT系統(tǒng)的建設(shè)方向，一個(gè)是不斷完善雙活系統(tǒng)，另一個(gè)則是向私有云方向邁進(jìn)。據(jù)悉，真正的雙活是從底層架構(gòu)到應(yīng)用每一層都實(shí)現(xiàn)雙活，而阜新銀行現(xiàn)在在應(yīng)用層還有一些欠缺，只能覆蓋70%左右的應(yīng)用，未來的目標(biāo)是100%。關(guān)于私有云，負(fù)責(zé)人則著重提到了彈性，這也確實(shí)是云計(jì)算的最大優(yōu)勢。其實(shí)在此次項(xiàng)目中，阜新銀行已經(jīng)為未來做了鋪墊，比如其在選擇雙活解決方案時(shí)，就已經(jīng)考慮到了雙活未來的擴(kuò)展能力。
