12月18日,由中國信息通信研究院、中國通信標準化協會、北京市大數據中心聯合主辦的“2020數據資產管理大會”在北京拉開帷幕,會上信通院為通過大數據、數據庫等能力評測的產品頒發(fā)證書。華為云GaussDB(DWS)數據倉庫以單集群2048節(jié)點的超大規(guī)模,滿分通過測試認證,是迄今為止信通院認證的最大規(guī)模分布式數據庫集群,刷新了歷史紀錄,樹立了業(yè)界新標桿。
華為云GaussDB(DWS)為各企業(yè)用戶提供最佳性能、按需擴展、穩(wěn)定可靠的企業(yè)級數據倉庫,滿足客戶超大規(guī)模數據的高性能查詢分析訴求。在本次大規(guī)模集群測試評估中,華為云GaussDB(DWS)一次性通過50項測試用例,包括27項必選用例和23項可選用例,交出了完美的答卷。
大規(guī)模數據倉庫集群不僅僅是將眾多服務器“攢”起來,更需要解決大并發(fā)復雜查詢下的通信連接風暴問題。并且在數千節(jié)點的集群中,平均每天都會有硬件故障發(fā)生,如何應對“硬件不可靠”帶來的問題?如何在硬件亞健康情況下數據倉仍能提供穩(wěn)定的性能,如何在操作系統“軟死”情況下數據倉庫不出現卡頓、無響應等問題,是技術面臨的極大挑戰(zhàn)。在2048節(jié)點大規(guī)模集群認證的背后,是GaussDB(DWS)強大“硬核科技”的表現。
一、 Multi-Streams多流通信技術
在2048節(jié)點規(guī)模下,集群進行全并行數據交換時,集群內可達百億級的并行連接,出現通信連接風暴,已遠遠超出TCP連接端口號和socket文件句柄上限。
GaussDB(DWS)自研的Multi-Streams多流通信技術,將連接數提升5個數量級,突破物理機TCP連接端口限制,能夠支持集群內百億級通信連接,并且理論支持節(jié)點數無上限。
Multi-Streams多流通信采用邏輯連接技術,避免了TCP物理連接的三次握手的機制,單數據節(jié)點建連性能達到100萬次/s,提升20倍。
該技術基于全異步無阻塞代理通信架構,支持跨邏輯連接的socket合并,將網絡吞吐能力提升3倍。
二、 高可用設計及集群管理技術
GaussDB(DWS)設計之初,充分考慮高可用性,其具備多層級高可用及容災能力,在進程級、節(jié)點級、集群級出現軟硬件異常的情況下具備平滑處理能力。
在棘手的硬件亞健康、“軟死”問題上,GaussDB(DWS)具備完善的智能檢測和處理機制,能夠實時監(jiān)測任意節(jié)點狀態(tài),包括服務器亞健康狀態(tài)、磁盤慢盤、靜默損壞等等場景,通過自動感知、剔除、平滑切換等高可用策略,提高業(yè)務的連續(xù)性。
并且,在物理組件發(fā)生故障的情況下,Server端Multi-Retries技術能夠大幅減少故障失敗的業(yè)務感知,保障業(yè)務持續(xù)運行。
在集群管理上,針對超大節(jié)點數場景,通過邏輯重構,實現集群起停的全并行處理,2048節(jié)點規(guī)模下具備分鐘級起停能力。
三、 大規(guī)模場景下的并行數據備份恢復技術
- 完全在線:數據備份期間,采用全程無加鎖技術,任何業(yè)務SQL、包括DDL均不受影響
- 多層級并行極速備份:每節(jié)點獨立多并發(fā)、多通道備份,提供10PB級數據快速備份恢復性能
- 全局一致性快照:集群級全局一致性快照,數據強一致性保證
- 細粒度數據恢復:支持多粒度數據恢復,滿足客戶誤刪、個別表損壞等緊急恢復需求。
得益于包括以上三點在內的一系列核心技術,華為云GaussDB(DWS)一舉通過信通院2048節(jié)點大規(guī)模分布式分析型數據庫評測,成為國內首個單集群突破兩千的商用數據倉庫產品。
華為云GaussDB(DWS)數據倉庫已廣泛應用于金融、政府、運營商、交通、物流、互聯網等領域,服務于全球1000+客戶。GaussDB(DWS)踐行"平臺+生態(tài)"戰(zhàn)略,聯合500+合作伙伴,為各行業(yè)提供競爭力的數據倉庫解決方案。