您當(dāng)前的位置是:  首頁(yè) > 資訊 > 文章精選 >
 首頁(yè) > 資訊 > 文章精選 >

阿里云存儲(chǔ)的躍遷:從軟件定義到云定義

2021-10-19 10:26:50   作者:   來(lái)源:至頂網(wǎng)   評(píng)論:0  點(diǎn)擊:


  不久前,阿里云宣布對(duì)云存儲(chǔ)服務(wù)進(jìn)行全面升級(jí),包括性能大幅提升3倍、時(shí)延降低70%的ESSD云盤,可兼容HDFS的數(shù)據(jù)湖存儲(chǔ)OSS,同時(shí)推出一款全新產(chǎn)品“云定義存儲(chǔ)”。
  今年是“十四五”開局之年,全國(guó)各地都在大力布局發(fā)展數(shù)字經(jīng)濟(jì)。作為推動(dòng)數(shù)字經(jīng)濟(jì)的重要手段,傳統(tǒng)企業(yè)的數(shù)字化轉(zhuǎn)型也將進(jìn)入快車道,眾多企業(yè)紛紛選擇“上云用數(shù)賦智”作為數(shù)字化轉(zhuǎn)型的標(biāo)準(zhǔn)路徑。在這條轉(zhuǎn)型路徑中,數(shù)據(jù)上云是關(guān)鍵,而數(shù)據(jù)上云首先要做的就是解決存儲(chǔ)問題。
  實(shí)際上,對(duì)于傳統(tǒng)IT基礎(chǔ)設(shè)施三大件(計(jì)算、存儲(chǔ)、網(wǎng)絡(luò))之一的存儲(chǔ)也正是當(dāng)下不少企業(yè)數(shù)字化轉(zhuǎn)型過程中的一個(gè)痛點(diǎn),主要體現(xiàn)在以下幾個(gè)方面:數(shù)據(jù)量的增長(zhǎng)推高了存儲(chǔ)和災(zāi)難恢復(fù)的成本;如何既面向未來(lái)同時(shí)也兼顧歷史,讓原本復(fù)雜的IT架構(gòu)更加復(fù)雜,加大了運(yùn)維難度和成本。如何破解這些難題困擾著不少企業(yè)管理者。
  9月底,阿里云對(duì)外宣布對(duì)云存儲(chǔ)服務(wù)進(jìn)行全面升級(jí),包括性能大幅提升3倍、時(shí)延降低70%的ESSD云盤,可兼容HDFS的數(shù)據(jù)湖存儲(chǔ)OSS,同時(shí)推出一款全新產(chǎn)品“云定義存儲(chǔ)”(Cloud Defined Storage,CDS)。這些發(fā)布直指企業(yè)面臨的存儲(chǔ)痛點(diǎn),有助于幫助企業(yè)破解這些難題,加快企業(yè)上云進(jìn)程,讓企業(yè)充分享受云計(jì)算的紅利。而就存儲(chǔ)行業(yè)而言,阿里云的這些發(fā)布加速了存儲(chǔ)技術(shù)的演進(jìn),讓人們?cè)俅胃惺艿皆朴?jì)算對(duì)傳統(tǒng)IT基礎(chǔ)設(shè)施的顛覆,也讓我們更堅(jiān)定地?fù)肀г朴?jì)算。
  ESSD云盤:更高性能,更穩(wěn)定,更多企業(yè)特性
  云計(jì)算發(fā)展到今天,云盤作為一項(xiàng)基礎(chǔ)服務(wù)已經(jīng)被廣泛認(rèn)可,市場(chǎng)同類服務(wù)并不少,阿里云ESSD云盤無(wú)疑是其中的佼佼者。阿里云的ESSD云盤擁有極高的I/O性能和穩(wěn)定低時(shí)延能力,適用于數(shù)據(jù)密集型業(yè)務(wù)上云場(chǎng)景,比如數(shù)據(jù)庫(kù)應(yīng)用。如今已經(jīng)擁有超過20萬(wàn)付費(fèi)用戶。
  ESSD優(yōu)異的性能得益于阿里云的多項(xiàng)技術(shù)自研,底層架構(gòu)基于自研大規(guī)模分布式存儲(chǔ)系統(tǒng)盤古2.0,存儲(chǔ)芯片采用自研Aliflash SSD,并且依托自研網(wǎng)絡(luò)協(xié)議 Luna和增強(qiáng)型RDMA數(shù)據(jù)傳輸協(xié)議,結(jié)合自研HPCC流控算法,深度優(yōu)化TCP,大幅降低計(jì)算資源消耗及響應(yīng)延時(shí),使ESSD的數(shù)據(jù)傳輸效率可提高50%。
  阿里云ESSD云盤的產(chǎn)生可以追溯到2016年,這一年正式立項(xiàng)進(jìn)行ESSD云盤研究;2017年開始有了產(chǎn)品,并在阿里集團(tuán)內(nèi)部使用,用于支持當(dāng)年的“雙十一”;2018年,阿里云正式推出ESSD云盤服務(wù)——業(yè)內(nèi)首個(gè)跨入IOPS百萬(wàn)時(shí)代的云盤。此后阿里云一直在持續(xù)打磨產(chǎn)品和技術(shù)能力,不斷更新和升級(jí)。
  阿里云此次發(fā)布的ESSD云盤已經(jīng)屬第三代,具體包括兩款新品:ESSD PL-X、ESSD Auto PL,有不少技術(shù)突破。比如,此次發(fā)布的ESSD PL-X IOPS最高可達(dá)300萬(wàn),單路訪問延遲低至30微秒,是云上性能最強(qiáng)塊存儲(chǔ)產(chǎn)品之一,不僅適用于性能敏感型的關(guān)系型數(shù)據(jù)庫(kù)場(chǎng)景(如Oracle數(shù)據(jù)庫(kù)),也適用于性能要求較高的企業(yè)級(jí)應(yīng)用(如SAP ERP系統(tǒng))。
  ESSD Auto PL則將云盤容量和性能解耦,為客戶提供性能無(wú)感升級(jí)能力,是業(yè)內(nèi)首個(gè)支持性能預(yù)配置并按業(yè)務(wù)峰值自動(dòng)提升性能的企業(yè)級(jí)塊存儲(chǔ)云產(chǎn)品。它能夠毫秒級(jí)感應(yīng)企業(yè)需求變動(dòng),在業(yè)務(wù)洪峰時(shí)無(wú)感知進(jìn)行性能升級(jí),在業(yè)務(wù)需求回落時(shí)分鐘級(jí)自動(dòng)降配。
  阿里云基礎(chǔ)產(chǎn)品資深產(chǎn)品總監(jiān)陳起鯤介紹,第三代ESSD云盤從三個(gè)維度對(duì)ESSD云盤進(jìn)行了升級(jí),使其具有了更多企業(yè)級(jí)特性,從而能滿足企業(yè)非?量痰臉I(yè)務(wù)需求,讓過去難以上云的一些傳統(tǒng)核心業(yè)務(wù)系統(tǒng),比如Oracle RAC數(shù)據(jù)庫(kù)、SAP ERP系統(tǒng)也能平滑上云。
  第一個(gè)升級(jí)是共享能力。眾所周知,在不少傳統(tǒng)企業(yè)中部署有Oracle數(shù)據(jù)庫(kù)、SAP HANA等應(yīng)用,它們一般是基于傳統(tǒng)架構(gòu)部署,并不能簡(jiǎn)單地搬到云上,原因之一就是它們采用了共享存儲(chǔ)架構(gòu)。而阿里云新一代ESSD在其高可靠、高可用、高性能的基礎(chǔ)上實(shí)現(xiàn)了共享訪問和IO Fencing能力,兼容線下應(yīng)用高可用架構(gòu)(如Oracle RAC、SAP HANA等),使企業(yè)無(wú)需改造應(yīng)用架構(gòu),即可將關(guān)鍵業(yè)務(wù)系統(tǒng)平遷/搬遷上云。
  第二個(gè)升級(jí)是支持專屬集群,允許云上單租戶。有些行業(yè)對(duì)上云有比較嚴(yán)格的行業(yè)監(jiān)管政策,比如要求單租戶、與其他客戶隔離,針對(duì)這些需求,阿里云推出了“專屬塊存儲(chǔ)集群”ESSD,能為客戶提供物理資源隔離能力,幫助企業(yè)構(gòu)建在云上專屬的IT基礎(chǔ)設(shè)施。
  第三個(gè)升級(jí)是跨地域異步復(fù)制。企業(yè)的傳統(tǒng)容災(zāi)方案有較高的門檻,比如需要自建/租用容災(zāi)中心、購(gòu)買專線,且一次性投入成本較高。借助ESSD新增的“云盤異步復(fù)制”功能,可以在不同的可用區(qū)和地域之間實(shí)現(xiàn)數(shù)據(jù)的異步復(fù)制,幾乎“零”門檻實(shí)現(xiàn)異地容災(zāi)、分鐘級(jí)RPO(恢復(fù)點(diǎn)目標(biāo)),大幅降低容災(zāi)系統(tǒng)建設(shè)的門檻,讓更多客戶在云上輕松實(shí)現(xiàn)異地?cái)?shù)據(jù)級(jí)災(zāi)備建設(shè)。
  實(shí)現(xiàn)這幾個(gè)升級(jí)并不容易。阿里云智能研究員滿弓介紹,要讓云盤能根據(jù)負(fù)載變化 自動(dòng)進(jìn)行性能伸縮,面臨較大的技術(shù)挑戰(zhàn)。比如,要能快速感知I/O的變化,阿里云現(xiàn)在可以做到10毫秒內(nèi)感知I/O變化,秒級(jí)資源重新配置,來(lái)實(shí)現(xiàn)對(duì)客戶業(yè)務(wù)負(fù)載變化的快速響應(yīng)。
  另外,云盤性能的彈性伸縮不僅僅涉及到一個(gè)云盤,它通常是作為整個(gè)分布式系統(tǒng)中的一部分,在系統(tǒng)中可能會(huì)有上千塊云盤,當(dāng)用戶負(fù)載發(fā)生變化,所有的云盤性能都會(huì)升高,有可能會(huì)超過單集群性能的水平。此時(shí),就要對(duì)整個(gè)集群進(jìn)行多維的實(shí)時(shí)預(yù)測(cè)和監(jiān)控,并能通過多集群分鐘級(jí)的打散來(lái)平滑分擔(dān)用戶的流量,當(dāng)前阿里云可以在分鐘級(jí)實(shí)現(xiàn)跨集群的水位均衡。
  數(shù)據(jù)湖3.0:大數(shù)據(jù)與AI一體化
  這幾年,隨著數(shù)據(jù)價(jià)值被越來(lái)越多企業(yè)認(rèn)可,數(shù)據(jù)湖的建設(shè)備受關(guān)注。數(shù)據(jù)湖中的數(shù)據(jù)主要來(lái)自于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù),大數(shù)據(jù)、AI平臺(tái)的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。隨著大數(shù)據(jù)和AI應(yīng)用的普及,后兩類數(shù)據(jù)占比越來(lái)越大,而且大數(shù)據(jù)和AI開始逐漸融合。然而,大數(shù)據(jù)主要是HDFS生態(tài),而AI應(yīng)用主要對(duì)象存儲(chǔ)生態(tài),這兩者有不同的語(yǔ)義,統(tǒng)一起來(lái)并不容易。
  陳起鯤介紹,早期的數(shù)據(jù)湖雖然采用了存算分離,但AI應(yīng)用和大數(shù)據(jù)應(yīng)用的數(shù)據(jù)是分開的,阿里云稱其為數(shù)據(jù)湖1.0。后來(lái)在技術(shù)的進(jìn)步和用戶需求的雙重推動(dòng)下,這兩者開始融合,進(jìn)入數(shù)據(jù)湖2.0階段。此時(shí)數(shù)據(jù)都存儲(chǔ)到對(duì)象存儲(chǔ)里,但是大數(shù)據(jù)應(yīng)用的元數(shù)據(jù)仍然保存在HDFS中。
  阿里云發(fā)布的對(duì)象存儲(chǔ)OSS屬于數(shù)據(jù)湖3.0技術(shù),其在2.0基礎(chǔ)上又向前走了一步,徹底打通了AI和大數(shù)據(jù)應(yīng)用,實(shí)現(xiàn)了百分百兼容HDFS語(yǔ)義以及全服務(wù)化,數(shù)據(jù)和元數(shù)據(jù)統(tǒng)一保存到對(duì)象存儲(chǔ)中,實(shí)現(xiàn)了高性能AI計(jì)算與大數(shù)據(jù)分析的融合。這樣,同一套數(shù)據(jù)既可以進(jìn)行大數(shù)據(jù)建模,同樣也可以用于AI訓(xùn)練,大大提高了效率,也節(jié)約了成本。
  另外,阿里云的OSS在數(shù)據(jù)安全合規(guī)和個(gè)人隱私保護(hù)方面還做了不少工作,而且這些產(chǎn)品能力是原生與對(duì)象存儲(chǔ)是融合的。
  據(jù)悉,為了充分滿足客戶需求,阿里云在此前已有的標(biāo)準(zhǔn)型OSS、低頻型OSS和歸檔型OSS的基礎(chǔ)上,此次新增了冷歸檔型OSS,用戶可以根據(jù)文件創(chuàng)造的時(shí)間和更新的熱度來(lái)配置對(duì)數(shù)據(jù)進(jìn)行全生命周期管理,支持所有存儲(chǔ)類型沉降至冷歸檔,降本最高達(dá) 90%。
  截至目前,阿里云上已經(jīng)有6000多個(gè)數(shù)據(jù)湖,它們借助阿里云OSS的一份數(shù)據(jù)、多份數(shù)據(jù)引擎、多個(gè)計(jì)算能力構(gòu)建起了自己的數(shù)據(jù)分析能力。
  云定義存儲(chǔ):將云存儲(chǔ)帶到線下
  盡管云計(jì)算普及勢(shì)不可擋,但并不是所有企業(yè)所有業(yè)務(wù)都能上云的。對(duì)于這部分企業(yè),是不是就不能享受阿里云存儲(chǔ)技術(shù)的這些創(chuàng)新紅利了?答案當(dāng)然是否定的。
  阿里云正在改變這一現(xiàn)狀。阿里云發(fā)布了“云定義存儲(chǔ)”(Cloud Defined Storage,CDS)產(chǎn)品,作為一款支持本地部署的分布式存儲(chǔ)產(chǎn)品,阿里云CDS擁有與公共云存儲(chǔ)相同的技術(shù)架構(gòu),讓企業(yè)客戶在本地也能部署和使用與公共云一致的存儲(chǔ)產(chǎn)品。
  阿里云CDS最小起建規(guī)模低至9節(jié)點(diǎn),最大可擴(kuò)展至12萬(wàn)節(jié)點(diǎn),幾乎擁有無(wú)限橫向擴(kuò)展能力。值得一提的是,得益于盤古2.0極佳的擴(kuò)展性與兼容性,阿里云CDS支持“一云多芯”,可在Intel、海光、鯤鵬、飛騰等硬件平臺(tái)上提供一致的產(chǎn)品功能與服務(wù)能力。
  阿里云CDS除了具有與阿里云公共云一致的產(chǎn)品能力,還原生支持多租戶架構(gòu)以及自服務(wù)能力,提供租戶身份識(shí)別與細(xì)粒度資源鑒權(quán)能力,既支持租戶之間共享資源,又做到了各服務(wù)間的資源隔離,保障了企業(yè)數(shù)據(jù)安全。
  CDS基于盤古分布式存儲(chǔ)底座,把阿里云存儲(chǔ)的一致體驗(yàn)覆蓋到客戶多樣化的部署場(chǎng)景。其中,“盤古”作為數(shù)據(jù)存儲(chǔ)統(tǒng)一底座,支撐了阿里巴巴所有數(shù)據(jù)存儲(chǔ)業(yè)務(wù),得到了規(guī);瘧(yīng)用,解決了超大規(guī)模下數(shù)據(jù)不丟、不錯(cuò)和高可用的難題,讓存儲(chǔ)更加穩(wěn)定可靠、擁有更大的容量和更高的性能,滿足數(shù)字經(jīng)濟(jì)時(shí)代對(duì)海量存儲(chǔ)和快速存儲(chǔ)的需求。在剛剛過去的世界互聯(lián)網(wǎng)大會(huì)上,阿里云“盤古”得以入選世界互聯(lián)網(wǎng)領(lǐng)先科技成果,這也是第一次有存儲(chǔ)技術(shù)在這個(gè)會(huì)上獲獎(jiǎng)。
  據(jù)了解,基于阿里云分布式存儲(chǔ)系統(tǒng)“盤古2.0”構(gòu)建的阿里云CDS,最大IOPS最高可達(dá)百億,云盤時(shí)延低至百微秒,可支撐數(shù)十EB級(jí)別存儲(chǔ)規(guī)模,單bucket支持萬(wàn)億級(jí)文件數(shù),同時(shí)具有金融級(jí)的數(shù)據(jù)容災(zāi)能力。
  這款阿里云所說的“云定義存儲(chǔ)”產(chǎn)品與傳統(tǒng)的“軟件定義存儲(chǔ)”不同。陳起鯤介紹,“云定義存儲(chǔ)”本質(zhì)上就是服務(wù)定義存儲(chǔ),是一種以服務(wù)上層應(yīng)用、服務(wù)多租戶共享、服務(wù)規(guī);渴鸲O(shè)計(jì)的產(chǎn)品,是真正的云時(shí)代存儲(chǔ)。
  以服務(wù)定義存儲(chǔ)、與公共云一致的技術(shù)架構(gòu)、經(jīng)過大規(guī)模多樣化IO壓力驗(yàn)證的產(chǎn)品能力,可以說,阿里云今天推動(dòng)了存儲(chǔ)行業(yè)技術(shù)革新的一大步。這得益于一個(gè)獨(dú)特的練兵場(chǎng)——歷年的“雙11”的錘煉,打造了阿里云滿足大規(guī)模業(yè)務(wù)場(chǎng)景超高要求的技術(shù)競(jìng)爭(zhēng)力和產(chǎn)品差異化能力,幫助阿里云存儲(chǔ)不斷精進(jìn)存儲(chǔ)技術(shù)和產(chǎn)品的打磨,為客戶創(chuàng)造更多價(jià)值。
  根據(jù)IDC的預(yù)測(cè),今年全球數(shù)字經(jīng)濟(jì)規(guī)模將占整體經(jīng)濟(jì)的50%,而中國(guó)的數(shù)字經(jīng)濟(jì)規(guī)模將達(dá)到8.5萬(wàn)億美元,占中國(guó)總體經(jīng)濟(jì)規(guī)模的55%左右。數(shù)字化轉(zhuǎn)型是數(shù)字經(jīng)濟(jì)的動(dòng)能和引擎,在這場(chǎng)數(shù)字化轉(zhuǎn)型大潮中,云存儲(chǔ)將和其他云服務(wù)一起迎來(lái)大的發(fā)展機(jī)遇,阿里云和其他同行一起正在推動(dòng)云存儲(chǔ)技術(shù)的不斷進(jìn)步,而對(duì)于正在進(jìn)行數(shù)字化轉(zhuǎn)型的企業(yè)而言,新技術(shù)也是一個(gè)發(fā)展契機(jī),誰(shuí)先擁抱它們,誰(shuí)就率先受益,在市場(chǎng)上贏得更多的競(jìng)爭(zhēng)優(yōu)勢(shì)。
【免責(zé)聲明】本文僅代表作者本人觀點(diǎn),與CTI論壇無(wú)關(guān)。CTI論壇對(duì)文中陳述、觀點(diǎn)判斷保持中立,不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請(qǐng)讀者僅作參考,并請(qǐng)自行承擔(dān)全部責(zé)任。

專題

CTI論壇會(huì)員企業(yè)