您當前的位置是:  首頁 > 資訊 > 國內 >
 首頁 > 資訊 > 國內 >

華為云GaussDB(DWS)首席架構師解讀一站式數據分析能力

--HDC.Cloud 2021

2021-04-29 13:59:16   作者:   來源:CTI論壇   評論:0  點擊:


  4月26日,在華為開發(fā)者大會2021(Cloud)上,華為云數據使能DAYU主力產品GaussDB(DWS)首席架構師解讀了GaussDB(DWS)的一站式數據分析能力。
  隨著大數據觀念逐步深入,數據分析帶來的價值愈發(fā)被大家重視起來。從PC時代,到互聯(lián)網時代、移動互聯(lián)網時代,數據應用不再是簡單的分析和挖掘,而是更加智能化。
  典型企業(yè)分析場景主要分為實時分析處理,批量分析處理以及交互式查詢處理。當前常見的解決方案用不同技術解決不同問題:使用Hana,Oracle Exadata處理實時分析場景;使用Teradata,Greenplum處理批量分析場景;使用Oracle和SQL Server等處理交互式查詢場景。
  從單一場景來看都是不錯的選擇,但是站在整體數據域視角去看,這種搭積木式的方案帶來諸多問題,例如組件多,開發(fā)方式不統(tǒng)一,數據格式不統(tǒng)一,反復轉換消耗算力和存儲空間;組件間的數據流轉開發(fā)復雜,流轉效率低;跨集群,跨組件數據一致性差等。
  華為云GaussDB(DWS)從兩個維度構筑能力,為企業(yè)用戶提供一站式分析能力:
  在全并行分布式架構上,無縫融合時序引擎、OLAP引擎、CEP引擎,同時支撐實時分析、批量分析和交互式查詢等不同業(yè)務負載,達到開發(fā)統(tǒng)一、部署統(tǒng)一、維護統(tǒng)一、數據格式統(tǒng)一,真正做到一個產品包辦的一站式分析;
  異構平臺數據融合、協(xié)同分析,構筑全域數據一體化。當前企業(yè)IT系統(tǒng)不會是白紙一張,在不同階段曾經采用不同技術建設的多套系統(tǒng)承載著不同的業(yè)務,這些系統(tǒng)還未完成歷史使命,將延續(xù)使用相當長一段時間。華為云GaussDB(DWS)支持多樣性的數據融合分析能力,無縫融合并協(xié)同分析企業(yè)現有平臺數據,讓老IT系統(tǒng)產生的數據煥發(fā)新價值。
  一、T+0實時分析
  業(yè)務場景中實時數據源種類繁多,針對不同數據源采用不同實時處理技術。時序引擎支持時序數據分析,內置100多種時序分析算法,將時序數據接入后實時合并;流引擎接入基于Kafka/Flink等流組件產生的流式數據,支持對流數據自定義持續(xù)計算。
  二、全并行批量分析
  基于Share-nothing分布式架構,華為云GaussDB(DWS)天然具備大規(guī)模的分布式并行處理能力。多層級并行技術將系統(tǒng)性能推至極致,包括節(jié)點間并行、節(jié)點內SMP并行,CPU指令級并行以及動態(tài)編譯技術。同時,通過自研TCP多流、多線程包合并、通信代理等技術,將scale-out能力推至極致,華為云GaussDB(DWS)也是目前唯一通過信通院2048節(jié)點大集群權威認證的分布式數據庫產品。
  三、多場景交互式查詢
  對短查詢做了全流程梳理,從接入、SQL解析、計劃發(fā)送、執(zhí)行和數據掃描進行了一系列優(yōu)化;由于Ad-hoc查詢的負載具有不可預見性,經常可能會出現單一查詢拖慢甚至拖垮整個集群的情況,華為云GaussDB(DWS)內置動態(tài)智能負載管理組件,實時監(jiān)控運行狀態(tài)和資源消耗,對異常作業(yè)自動預警并智能干預,例如內存占用過高,運行時間過長,大量數據廣播等異常情況,系統(tǒng)會自動查殺等。
  以銀行業(yè)務為例,“手機銀行用戶實時數據查詢”與“網銀系統(tǒng)交易流水批量作業(yè)”是最常見的業(yè)務場景,采用2套技術方案或2個平臺分別處理,則會出現資源重復投入。
  使用華為云GaussDB(DWS)實現2個業(yè)務場景需求,數據無需反復轉換和流轉,提升了業(yè)務處理效率,節(jié)省運維成本。2小時可完成7萬個核心業(yè)務的銀行日增量數據歸檔和數據加工,同時支持手機銀行終端7x24小時實時查詢;當上千萬個人用戶與幾十萬企業(yè)用戶同時使用系統(tǒng),并發(fā)進行日間批量作業(yè)10萬個的批量高峰期,實時查詢可在3秒內響應,真正做到跑批和實時作業(yè)互不影響。
  華為云GaussDB(DWS) 面向未來,構筑新一代、全場景、云數據倉庫,一站式數據分析,釋放非凡數據價值,做企業(yè)數字化轉型的最佳伙伴。
【免責聲明】本文僅代表作者本人觀點,與CTI論壇無關。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

專題

CTI論壇會員企業(yè)