首頁 > 新聞 > 專家觀點 >

    華為:信息爆炸時代的超級數(shù)字圖書館

    2013-05-15 15:00:00   作者:   來源:CTI論壇   評論:0  點擊:


      數(shù)據(jù)產(chǎn)生與信息爆炸的挑戰(zhàn)

      為了更清晰的認識我們所生存的環(huán)境,提高相互之間更溝通的效率,人們收集和創(chuàng)造了大量的數(shù)據(jù),有些是對物理世界的客觀描述,如原子和分子的組成,或是DNA螺旋的結(jié)構(gòu);也包括煙波浩渺的宇宙中的星系和星云;亦或是人類對自身歷史的記錄;還有一些數(shù)據(jù)被用于人們相互溝通,如Facebook上每天新增數(shù)十億條內(nèi)容,或數(shù)每天被發(fā)送的數(shù)千億封郵件。

      據(jù)IDC統(tǒng)計報告預計,2009年到2020年,全球信息總量增長44倍以上,將達到35.2ZB(1ZB=1,000,000PB),如此大規(guī)模的數(shù)據(jù)給存儲系統(tǒng)帶來了巨大的挑戰(zhàn),人類將如何應(yīng)對咆哮而來的數(shù)據(jù)洪流?

      存儲方案的演進

      在人腦數(shù)據(jù)處理時代,數(shù)據(jù)處理由人類大腦完成,由于大腦存儲容量相對比較有限,仍然有大量數(shù)據(jù)被存儲在圖書館。當有需要的時候,人們便會到圖書館獲取更多的數(shù)據(jù)。

      20世紀電子與信息技術(shù)迅速發(fā)展,機器計算迅速普及, 馮•諾依曼提出了存儲程序邏輯架構(gòu),即現(xiàn)有的計算機都遵循的“馮 諾依曼體系架構(gòu)”。但馮諾依曼體系架構(gòu)沒有考慮并行計算和數(shù)據(jù)共享情形,在如今的網(wǎng)絡(luò)時代,大量計算設(shè)備通過網(wǎng)絡(luò)形成一個龐大的,相互獨立而又統(tǒng)一的計算系統(tǒng),因此我們可以總結(jié)出一個數(shù)據(jù)存儲的通用模型,這個模型包括兩級存儲,其存儲容量差距約1000倍:

    \


      SAN和NAS技術(shù)已經(jīng)出現(xiàn)了10多年,目前單臺SAN或NAS最大容量已經(jīng)做到PB級別,但在應(yīng)對EB級數(shù)據(jù)挑戰(zhàn)時,還是顯得有些力不從心。這主要由于其架構(gòu)和服務(wù)接口決定的。

      傳統(tǒng)的RAID和Scale-up的結(jié)構(gòu)也阻止了EB規(guī)?捎玫拇鎯ο到y(tǒng)誕生,傳統(tǒng)的RAID基于硬盤,通常一個RAID組最多包含20+塊硬盤,難以支持EB級存儲規(guī)模,同時Scale-up這種結(jié)構(gòu)也決定了即使達到EB級存儲容量,性能也將成為真?zhèn)系統(tǒng)的短板。

      我們再次回到人腦計算模型,在信息時代的今天,我們設(shè)想能否有一種“數(shù)字圖書館”,它可以共享大量的數(shù)據(jù)給很多人(服務(wù)器/服務(wù)器集群),提供超大的存儲容量千倍于當前的高速(SAN和NAS)存儲,人們(應(yīng)用)訪問數(shù)據(jù)的時候也不需要知道圖書館怎么對這些書,只需要指定一些關(guān)鍵信息(如書名稱,出版社,作者)就可以獲取到這本書里面的數(shù)據(jù)。如果書變得老舊殘破,書中已經(jīng)/快要爛掉的幾頁內(nèi)容被這個“數(shù)字圖書館”自動的抄寫到其他紙張上面,并重新裝訂這本書。而對于作為數(shù)據(jù)使用者的人們根本無需知道圖書館自動完成的這一切,只是根據(jù)需要去獲取數(shù)據(jù)資源?

      分布式對象存儲的誕生

      隨著信息技術(shù)的發(fā)展,“數(shù)字圖書館”不再是一個遙不可及的設(shè)想,對象存儲使得“數(shù)字圖書館”成為現(xiàn)實。對象存儲系統(tǒng)(Object-Based Storage System)改進了SAN和NAS存儲的劣勢,保留了NAS的數(shù)據(jù)共享等優(yōu)勢,通過高級的抽象接口替代了SCSI存儲塊和文件訪問接口,屏蔽了存儲底層的實現(xiàn)細節(jié),將NAS垂直的樹形結(jié)構(gòu)改變成平等的扁平結(jié)構(gòu),從而提高了擴展性、可靠性、平臺無關(guān)性等重要存儲特性,實現(xiàn)了安全數(shù)據(jù)共享的存儲體系結(jié)構(gòu)。
    換句話說對象存儲是智能化、封裝得更好的塊,是“文件”或其他應(yīng)用級邏輯結(jié)構(gòu)的組成部分,文件與對象的對應(yīng)關(guān)系由上層直接控制,對象存儲設(shè)備本身也可能是個分布式的系統(tǒng)——這就是分布式對象存儲系統(tǒng)了。

      用對象替代傳統(tǒng)模塊的好處在于對象的內(nèi)容本身來自應(yīng)用,其具有內(nèi)在的聯(lián)系,具有“原子性”。同時,對象存儲架構(gòu)還具有更好的可伸縮性。一個對象除了ID和用戶數(shù)據(jù)外,還包含了屬主、時間、大小、位置等源數(shù)據(jù)信息,權(quán)限等預定義屬性,乃至很多自定義屬性。

      具備EB級規(guī)模擴展性的分布式對象存儲,能夠有效的填補上述通用計算模型中“網(wǎng)絡(luò)計算”場景海量存儲單元空白,通過高層次的數(shù)據(jù)模型抽象,可以簡化應(yīng)用對數(shù)據(jù)訪問,同時使得海量存儲更加智能。

      華為UDS海量存儲系統(tǒng)使你存無止境

      華為基于對運營商、互聯(lián)網(wǎng)、高性能計算等各行業(yè)的深刻理解,憑借深厚的ICT技術(shù)積累,秉承存無止境,安全可信理念,通過不斷技術(shù)創(chuàng)新,面向海量存儲市場推出新一代的UDS產(chǎn)品和相關(guān)云存儲解決方案。

      UDS采用基于ARM架構(gòu)的低功耗、高密度存儲節(jié)點,通過對象存儲技術(shù)、P2P分布式存儲引擎技術(shù)、集群應(yīng)用技術(shù)等構(gòu)建海量對象存儲基礎(chǔ)架構(gòu)平臺,對外提供多種訪問接口,以滿足不同業(yè)務(wù)的適配需求。基于UDS可以構(gòu)建多種解決方案,如海量資源池,網(wǎng)盤,云備份,集中備份等。UDS幫助用戶構(gòu)建強擴展,易管理,高可靠的系統(tǒng),輕松應(yīng)對海量存儲環(huán)境下的各種挑戰(zhàn)。

      華為UDS(Unified Distributed Storage)海量存儲系統(tǒng)以對象作為基本存儲形式,通過分布式技術(shù)將本地或異地的海量存儲節(jié)點的存儲資源進行有機的整合,形成一個跨地域,跨設(shè)備,可橫向擴展的EB級的大型分布式對象存儲系統(tǒng);該系統(tǒng)通過多種安全、可靠的存儲技術(shù)確保數(shù)據(jù)私密性及數(shù)據(jù)高可用;通過自動化部署、豐富的生命周期管理策略及高效節(jié)能特性,提高運維效率。華為UDS海量存儲通過構(gòu)建數(shù)字洪流方波提,幫助客戶化挑戰(zhàn)為機遇,在發(fā)展中持續(xù)受益。

    分享到: 收藏

    專題