您當前的位置是:  首頁 > 資訊 > 國內(nèi) >
 首頁 > 資訊 > 國內(nèi) >

華為助力中國銀行成功部署網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)

--砥志研思、履踐致遠

2022-02-08 09:06:28   作者:文 / 中國銀行信息科技運營中心 趙文烜、朱立維   來源:CTI論壇   評論:0  點擊:


  2021年12月,隨著最后一條指令確認完成,中國銀行廣域網(wǎng)數(shù)據(jù)加速創(chuàng)新課題從0到1成功孵化落地,骨干網(wǎng)帶寬占用率顯著降低,跨中心業(yè)務(wù)運行穩(wěn)定,標志著中國銀行在國內(nèi)金融行業(yè)創(chuàng)新性地實現(xiàn)了網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)的應(yīng)用創(chuàng)新和商業(yè)投產(chǎn),為金融業(yè)務(wù)數(shù)字化轉(zhuǎn)型提供了一條穩(wěn)定、通暢的高速公路。
  生態(tài)驅(qū)動提出傳輸能力新要求
  數(shù)字化已成為時代的基因,利用金融科技促進轉(zhuǎn)型升級,是當下商業(yè)銀行面臨的普遍課題。中國銀行深度融入數(shù)字經(jīng)濟發(fā)展浪潮,扎實推進“一體兩翼”,全面推進數(shù)字新基建,不斷加強科技創(chuàng)新和場景生態(tài)建設(shè),提升金融服務(wù)基礎(chǔ)能力。數(shù)字化轉(zhuǎn)型的背后,是海量數(shù)據(jù)在多個數(shù)據(jù)中心、分支機構(gòu)間的高速交互,而金融企業(yè)骨干網(wǎng)絡(luò),正是實現(xiàn)這一交互的核心大動脈。數(shù)據(jù)量的指數(shù)級增長、多地多中心的新布局,都對中國銀行網(wǎng)絡(luò)傳輸能力提出了更高的要求,集中體現(xiàn)在兩個方面。
  一方面,業(yè)務(wù)增長帶動網(wǎng)絡(luò)帶寬急速增長,運營成本壓力倍增。中國銀行持續(xù)推進金融場景生態(tài)建設(shè),提升金融服務(wù)基礎(chǔ)能力,數(shù)字化賦能網(wǎng)點轉(zhuǎn)型新業(yè)務(wù)的發(fā)展,隨著數(shù)字化轉(zhuǎn)型的持續(xù)推進,數(shù)據(jù)內(nèi)容從文本數(shù)據(jù)為主已經(jīng)快速轉(zhuǎn)向多種格式并存的狀態(tài),全行數(shù)據(jù)生成、保有、傳輸量快速增長。從業(yè)務(wù)傳輸類型來說,不僅要滿足實時在線業(yè)務(wù)的高效低延時轉(zhuǎn)發(fā),也要滿足批量、備份等異步數(shù)據(jù)的大帶寬需求。數(shù)據(jù)傳輸規(guī)模的快速增長,讓當前的骨干網(wǎng)容量面臨很大壓力,線路帶寬從1Gb量級擴容到10Gb量級,增長近十倍,專線租用費用逐年快速遞增,線路費用已經(jīng)超過骨干網(wǎng)絡(luò)設(shè)備投資成為運營支出的大頭。面對巨大的成本壓力,迫切需要探索一種創(chuàng)新技術(shù),可以實現(xiàn)數(shù)據(jù)壓縮加速傳輸,提高單位帶寬利用率,減緩骨干網(wǎng)帶寬容量增速,達到降本增效的目的。
  另一方面,IT架構(gòu)演進也同步驅(qū)動了作為IT高速轉(zhuǎn)發(fā)總線的中心間骨干網(wǎng)絡(luò)帶寬的快速提升。中國銀行的IT架構(gòu)從兩地三中心向分布式多地多中心演進,應(yīng)用系統(tǒng)從主要部署在主生產(chǎn)中心轉(zhuǎn)向分布式部署在多個數(shù)據(jù)中心轉(zhuǎn)變,使得中心間的數(shù)據(jù)交互大量增加,數(shù)據(jù)中心互聯(lián)的骨干網(wǎng)也已演進為多地全互聯(lián)架構(gòu)。傳統(tǒng)的線路級壓縮加速技術(shù)已不再適用,必須考慮適合多點到多點任意連接的網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)體系。
  為滿足數(shù)字時代要求,中國銀行提出了適合大型金融企業(yè)骨干網(wǎng)的壓縮加速技術(shù)應(yīng)同時具備的技術(shù)要點,包括性能、可靠性、可管理性和組網(wǎng)能力等方面的多項關(guān)鍵指標要求,并對IT業(yè)界的壓縮加速技術(shù)市場現(xiàn)狀進行了研究分析。研究發(fā)現(xiàn),業(yè)界主流壓縮加速技術(shù)解決方案不能同時滿足這些硬性要求,分別在滿足一部分要求的同時存在著各種各樣的不足,主要歸納為:
  1. 性能方面存在不足。大帶寬骨干網(wǎng)數(shù)據(jù)壓縮加速需要進行高強度數(shù)據(jù)處理,對計算和轉(zhuǎn)發(fā)能力要求極高。計算能力不足的系統(tǒng),不能滿足大帶寬的傳輸能力,而且會增加網(wǎng)絡(luò)傳輸時延,降低網(wǎng)絡(luò)服務(wù)質(zhì)量。
  2. 可靠性方面存在不足。需要單獨增加壓縮加速專用設(shè)備,會增加網(wǎng)絡(luò)的復(fù)雜度降低網(wǎng)絡(luò)可靠性,這對骨干網(wǎng)是致命缺陷;流式字典壓縮算法存在可靠性缺陷。對骨干網(wǎng)長距離專線質(zhì)量要求嚴苛,丟包、亂序均會造成解壓失敗,對數(shù)據(jù)傳輸造成影響。
  3. 可管理性方面存在不足。IPComp協(xié)議等壓縮協(xié)議,會對數(shù)據(jù)報文的IP報文頭、TCP/UDP報文頭與數(shù)據(jù)負載一起壓縮,將多個數(shù)據(jù)流壓縮成單一壓縮流,導致無法實現(xiàn)多業(yè)務(wù)流識別與精細化統(tǒng)計分析,無法在網(wǎng)絡(luò)的多路徑上進行流量負載分擔,無法在線路擁塞時定位原因,并且無法匹配網(wǎng)絡(luò)上的服務(wù)策略,無法滿足骨干網(wǎng)的管理要求。
  4. 組網(wǎng)能力方面存在不足。使用成對設(shè)備進行點到點專線壓縮的技術(shù)方案,匹配的主流需求場景是中小型的單數(shù)據(jù)中心星型網(wǎng)絡(luò),或者兩地三中心的傳統(tǒng)企業(yè)網(wǎng)絡(luò),無法適應(yīng)規(guī)模龐大架構(gòu)復(fù)雜的大型金融企業(yè)網(wǎng)絡(luò)結(jié)構(gòu),無法滿足多點到多點大型組網(wǎng)場景。
  適用于大型金融企業(yè)內(nèi)網(wǎng)的網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù),需要在上述各個方面全面解決不足之處,整合全方位能力優(yōu)勢,需求場景復(fù)雜,技術(shù)要求涉及面廣,是數(shù)據(jù)壓縮加速技術(shù)領(lǐng)域無人登頂?shù)难┥街畮p,需要從零開始克服重重困難進行攀登。
  致知力行實現(xiàn)網(wǎng)絡(luò)加速新突破
  中國銀行與華為聯(lián)合課題組結(jié)合金融行業(yè)對數(shù)據(jù)壓縮加速技術(shù)性能、可靠性、可管理性和組網(wǎng)能力等方面的要求,充分分析了多個技術(shù)方案的局限性和問題點,啟動了業(yè)內(nèi)首個基于網(wǎng)絡(luò)設(shè)備內(nèi)置的全網(wǎng)狀多點無狀態(tài)壓縮技術(shù)的應(yīng)用創(chuàng)新。創(chuàng)新課題當前已完成從場景需求梳理、可行性研究、關(guān)鍵技術(shù)實驗以及驗證性投產(chǎn)部署,驗證環(huán)境整體架構(gòu)如圖1所示。

  圖1 中國銀行網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)架構(gòu)
  網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)在性能、可靠性、可管理性和組網(wǎng)能力等各方面全面整合優(yōu)勢,消除了各方面短板,滿足了大型金融企業(yè)骨干網(wǎng)的壓縮加速技術(shù)所需的全部要素,具體包括以下幾點。
  1.高性能
  網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)參考通用的LZ4、Zstd、Deflate等壓縮算法結(jié)合無狀態(tài)協(xié)議創(chuàng)新,經(jīng)生產(chǎn)數(shù)據(jù)驗證,純壓縮比高達2.3:1,工程壓縮比1.6:1以上,單位帶寬利用率提升37%以上。
  網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)的壓縮與解壓過程產(chǎn)生的時延控制在0.1毫秒量級,相比骨干網(wǎng)傳輸全程一般數(shù)十毫秒量級的總時延,可以忽略不計,最大程度減小上層業(yè)務(wù)感知。
 
  圖2 中國銀行網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速主要性能指標
  2.高可靠性
  網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)采用在骨干網(wǎng)路由器上新增專用業(yè)務(wù)板卡的方式,將壓縮加速相關(guān)的引流、處理、轉(zhuǎn)發(fā)工作在單臺設(shè)備內(nèi)一站式完成,流量處理路徑短、效率高,避免了引入額外設(shè)備的架構(gòu)復(fù)雜度和可靠性問題。
  業(yè)務(wù)處理板卡處理能力顯著提高,可以滿足未來三至五年容量需求,并且實現(xiàn)了路由器機框內(nèi)的雙卡冗余容災(zāi),在單一壓縮加速卡出現(xiàn)軟硬件故障時,可毫秒級將業(yè)務(wù)流量倒換至另一塊板卡處理,滿足自動冗余切換的金融級高可用要求。
  3.高可管理性
  網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)在后續(xù)的網(wǎng)絡(luò)轉(zhuǎn)發(fā)過程中可以延續(xù)現(xiàn)有的服務(wù)策略和應(yīng)用的統(tǒng)計呈現(xiàn)等管理策略與要求。
  在壓縮機制上采用了基于無狀態(tài)可調(diào)式壓縮算法,發(fā)生丟包亂序也不會影響解壓,普適性和容錯性大大增強。
  圖3 不同壓縮機制對比
  4.多點到多點的網(wǎng)絡(luò)級壓縮加速
  網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)實現(xiàn)了多點到多點的壓縮與解壓,壓縮端和解壓端無需建立會話,數(shù)據(jù)在單點壓縮后,可以根據(jù)業(yè)務(wù)需求發(fā)往任意多個目的端,目的端側(cè)設(shè)備基于壓縮包識別進行解壓,從而實現(xiàn)網(wǎng)絡(luò)級的壓縮加速能力,滿足分布式多點互聯(lián)場景。
  圖4 多點到多點的網(wǎng)絡(luò)級壓縮與解壓
  科技引領(lǐng)開啟業(yè)務(wù)賦能新征程
  經(jīng)過近一年的需求調(diào)研、可行性分析、技術(shù)攻克、方案規(guī)劃及生產(chǎn)驗證,中國銀行網(wǎng)絡(luò)級數(shù)據(jù)壓縮加速技術(shù)創(chuàng)新初見成效,為整個金融行業(yè)所做出的一次前瞻性嘗試。
  未來這項創(chuàng)新全面部署后預(yù)計每年節(jié)約專線租用成本數(shù)千萬人民幣,顯著降低網(wǎng)絡(luò)運營成本,同時,批量文件數(shù)據(jù)傳輸總耗時將降低四分之一以上。此項創(chuàng)新也會對同業(yè)整體的降本增效工作作出有益的示范。后續(xù)將持續(xù)開展基于該技術(shù)的創(chuàng)新與應(yīng)用研究,在智能識別、安全信任、IPv6結(jié)合等方面進行更多的嘗試,進一步拓展應(yīng)用場景,以期實現(xiàn)更大的技術(shù)突破,更好地為業(yè)務(wù)轉(zhuǎn)型增效賦能。
  中國銀行也將持續(xù)著力金融行業(yè)科技發(fā)展,力爭成為科技金融的全要素整合者、全鏈條創(chuàng)新者、全周期服務(wù)者,爭做新發(fā)展階段的科技金融領(lǐng)軍銀行。
【免責聲明】本文僅代表作者本人觀點,與CTI論壇無關(guān)。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內(nèi)容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

相關(guān)熱詞搜索: 華為

上一篇:開門紅!普強智慧政務(wù)再開新局面

下一篇:最后一頁

專題

CTI論壇會員企業(yè)