您當(dāng)前的位置是:  首頁 > 新聞 > 國內(nèi) >
 首頁 > 新聞 > 國內(nèi) >

“這是FAST上第一次有云計算公司分享如此大規(guī)模技術(shù)實現(xiàn)”

2018-03-22 10:15:35   作者:   來源:CTI論壇   評論:0  點擊:


  不不不,我們這次要聊的FAST既不是射電望遠(yuǎn)鏡(Five-hundred-meter Aperture Spherical radioTelescope)也不是Fast Company(《快公司》雜志)。而是計算機存儲行業(yè)的頂級學(xué)術(shù)會議——FAST(USENIXConference on File and Storage Technologies)
  與CES之類熱熱鬧鬧的展會不同,F(xiàn)AST會議本身聚焦在存儲行業(yè),就連知乎上都幾乎無人提及,正是這樣,反倒讓這個會上的干貨滿滿。
  這個會通常在每年2月份在美國舊金山灣區(qū)各城市輪流舉辦,今年的FAST’18舉辦地是在灣區(qū)北部奧克蘭,2月的奧克蘭迎來了全球存儲領(lǐng)域的專家、學(xué)者以及產(chǎn)業(yè)界人士。
  當(dāng)然,很多專家其實是從臨近的山景城、西雅圖過來,這很不“全球”。倒是我們的團(tuán)隊既有從杭州、北京也有西雅圖、硅谷過去的,可見其實在此地我們卻成了體現(xiàn)“全球”的最佳標(biāo)簽。
  隨著阿里巴巴在存儲領(lǐng)域的技術(shù)深入,我們在云存儲領(lǐng)域、大規(guī)模實踐方面有了極大的突破,同時也需要得到同行們在軟硬件一體、新介質(zhì)方面的輸入。
  于是,這個大會上可以看到很多阿里巴巴的元素。是的,我們?nèi)χС至诉@個技術(shù)盛會,有存儲專家團(tuán)隊也有阿里云盤古存儲系統(tǒng),有展臺也有專場,與技術(shù)來一個全面擁抱。
  兩大整體感受:新介質(zhì)與中國面孔
  在奧克蘭的四天時間里,我們一行人每天都按照自己的研究方向擠在各個報告廳里。除了各自關(guān)注的領(lǐng)域的進(jìn)展外,也接觸到了不少擴(kuò)展的知識和應(yīng)用,以及學(xué)術(shù)界最新的一些研究方向和思路。
  回來之后,我們梳理了一下本屆FAST整體感受:
 
  圖為FAST’18 當(dāng)中的一場會議
  1、新一代存儲介質(zhì)話題最熱,將迎來行業(yè)的變革
  不難看出,近年來新硬件層出不窮給存儲行業(yè)帶來革命式發(fā)展,如何改造軟件讓新硬件發(fā)揮全部出能力是學(xué)術(shù)屆和工業(yè)屆面臨的共同難題。
  從今年發(fā)表的文章數(shù)量來看,新一代存儲介質(zhì)毫無疑問是最熱門的領(lǐng)域。
  技術(shù)報告分為8個Session,共23篇論文,其中1/3論文與本地存儲系統(tǒng)有關(guān)(硬件+本地文件系統(tǒng)),最佳論文兩篇,分別是:“Protocol-AwareRecovery for Consensus-Based Storage“解決故障副本的快速修復(fù)問題;”Barrier-EnabledIO Stack for Flash Storage“解決fsync引入的高延遲問題。
  2、存儲技術(shù)領(lǐng)域的中國面孔迅速增多
  另一大感受是參會嘉賓中有非常多的中國面孔,23篇論文中第一作者是華人的有8篇,其中清華大學(xué)有兩篇論文入選(派出了大概6名參會人員),這當(dāng)然是一個巨大的進(jìn)步。
  但如果我們?nèi)タ创髸穆?lián)席主席以及ProgramCommittee名單的話,又會發(fā)現(xiàn)已經(jīng)有數(shù)位中國學(xué)者,但尚未有中國大學(xué)及公司入列。這是一個最好的標(biāo)尺:我們?nèi)孕璐蟀汛蟀训呐,中國技術(shù)人要用技術(shù)贏得贊譽。
  工業(yè)界最關(guān)注阿里云的增強型云盤(ESSD) 百萬IOPS與百微秒延時
  接著說下在FAST上阿里巴巴分享了哪些技術(shù)。
  在FAST展臺上,我們著重展示的是「盤古」分布式存儲,以及基于盤古存儲的多個云服務(wù)、自研的雙模式 SSD 等。當(dāng)中,近期發(fā)布的增強型云盤(ESSD)又是被問及最多的產(chǎn)品,面對達(dá)到百萬 IOPS和單路百微秒延時的技術(shù)實現(xiàn),用蘋果文案風(fēng)來說就是:“真的問,問了又問”。
  “增強型云盤是我們做的第四代塊存儲產(chǎn)品,它采用了全用戶態(tài)協(xié)議棧,通過用戶態(tài)polling 模式驅(qū)動程序架構(gòu)如 SPDK、DPDK,避免了傳統(tǒng)軟件中的線程切換和系統(tǒng)調(diào)用開銷,因此能達(dá)到極低延時和高 IOPS的用戶體驗。”我們也是“答了又答”,深入交流的部分就不在此貼了。
  同行則比較關(guān)心增強型云盤單路延時100us與寫透盤掉電不丟數(shù)據(jù)這兩點。
  中國的電商和云計算如今在海外也成了技術(shù)招牌,但凡提及雙11峰值,接下去的提問就會接踵而至。“如何在復(fù)用現(xiàn)有硬件不增加成本的情況下,滿足電商交易峰值流量。”、“峰值對于存儲的準(zhǔn)備工作與日常有哪些不同”……
  這方面阿里巴巴采用計算存儲分離和在線離線混跑技術(shù),將電商容器和數(shù)據(jù)庫等延時敏感的應(yīng)用和離線數(shù)據(jù)作業(yè)部署在同一批機器上,根據(jù)交易量動態(tài)調(diào)整兩者資源占用比例,實現(xiàn)電商全鏈路的彈性部署。
  從提問者身上可以非常明顯地看到,對于技術(shù)人來說,其實特別羨慕這類極端的峰值場景,帶來的經(jīng)驗和技術(shù)積累特別的“濃縮”。我想,真正的技術(shù)人還真是一樣:有問題最好啊,我來解嘛。
  當(dāng)然了,技術(shù)人與平臺也是相輔相成的。“如果沒有如此牛逼的舞臺(技術(shù)),何處安放我牛逼的技術(shù)(何以造就牛逼的平臺)”。
  同行評價:“這是FAST上第一次有云計算公司愿意分享技術(shù)實現(xiàn)”
  除了展臺,阿里巴巴組織的“阿里之夜”報告專場也是熱鬧非凡。
  阿里云首席架構(gòu)師唐洪等在會上分享了我們在大規(guī)模分布式存儲領(lǐng)域的實踐經(jīng)驗。來自 NAS 團(tuán)隊的陸慶達(dá)在會上分享了我們?nèi)绾巫龅酵瑫r支持NFS和SMB。
  說到這里,阿里云 NAS 服務(wù)是全球首個同時支持 NFS 和 SMB 的云文件系統(tǒng)服務(wù)。NFS 和 SMB 原本是為傳統(tǒng)存儲設(shè)計的協(xié)議,至今已經(jīng)二十余年歷史。如何將它和云存儲的大規(guī)?蓴U(kuò)展架構(gòu)結(jié)合起來是 NAS 服務(wù)設(shè)計的難點。
  圖為基于盤古存儲系統(tǒng)的阿里云NAS服務(wù)架構(gòu)
  這場分享會從原定的1個小時延長至1個半小時,會議結(jié)束后大家拉著討論一些技術(shù)點一直到了晚上10點。
  來自存儲工業(yè)界組織SNIA的Michael Oros特意找到我同事致謝說,“這是FAST上第一次有云計算公司愿意分享技術(shù)實現(xiàn),希望未來多多支持存儲標(biāo)準(zhǔn)化工作。”
【免責(zé)聲明】本文僅代表作者本人觀點,與CTI論壇無關(guān)。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔(dān)全部責(zé)任。

專題