海量存儲(chǔ)承載衛(wèi)星環(huán)境監(jiān)測(cè)的海量數(shù)據(jù)
“看清”霧霾 構(gòu)筑更快捷、更靈活的海量存儲(chǔ)是關(guān)鍵
衛(wèi)星承擔(dān)著國(guó)家對(duì)地觀測(cè)、資源勘探等重要任務(wù)，可提供精準(zhǔn)的對(duì)以霧霾等異常情況的觀測(cè)數(shù)據(jù)，成為政府環(huán)境治理決策的數(shù)據(jù)“智囊團(tuán)”。
隨著決策數(shù)據(jù)要求的精密性增加、以及衛(wèi)星技術(shù)的不斷發(fā)展，衛(wèi)星數(shù)據(jù)采集器的數(shù)據(jù)規(guī)模越來(lái)越龐大，對(duì)存儲(chǔ)設(shè)備的容量拓展、傳輸帶寬、可靠性等方面的要求越來(lái)越高。
首先，在數(shù)據(jù)量方面，一些高分衛(wèi)星可在距離地面約36000公里的地球同步軌道運(yùn)行，觀測(cè)面積大，并能長(zhǎng)期對(duì)某一地區(qū)持續(xù)觀測(cè)，其分辨率在50米以內(nèi)，每十多分鐘便能獲取一幅圖像。衛(wèi)星每日生成數(shù)據(jù)量8TB以上，年數(shù)據(jù)容量達(dá)到2.6PB以上。
其次，在存儲(chǔ)性能方面，衛(wèi)星數(shù)據(jù)采集的原始數(shù)據(jù)主要為非結(jié)構(gòu)化的文件數(shù)據(jù)，這些原始數(shù)據(jù)的接收和處理需要占用巨大的寫(xiě)入帶寬資源。根據(jù)分析內(nèi)容和側(cè)重點(diǎn)不同，原始數(shù)據(jù)的加工處理方法也不同，同一套原始數(shù)據(jù)經(jīng)常需要反復(fù)讀取和處理，對(duì)存儲(chǔ)設(shè)備的讀寫(xiě)帶寬要求很高。而且，衛(wèi)星采集器的數(shù)據(jù)庫(kù)龐大，前端應(yīng)用系統(tǒng)對(duì)數(shù)據(jù)的調(diào)用開(kāi)銷很大，需要通過(guò)有效的方式提高數(shù)據(jù)庫(kù)的訪問(wèn)性能，減小前端系統(tǒng)的等待時(shí)間。
最后，存儲(chǔ)可靠性作為一個(gè)老生常談的話題，在衛(wèi)星數(shù)據(jù)存儲(chǔ)中同樣需要得到充足的保障。
快捷、海量、高可靠 衛(wèi)星海量存儲(chǔ)解決方案必備的“三板斧”
根據(jù)對(duì)衛(wèi)星數(shù)據(jù)采集領(lǐng)域的海量存儲(chǔ)需求分析，浪潮衛(wèi)星海量存儲(chǔ)整體解決方案框架如下：
浪潮衛(wèi)星海量存儲(chǔ)解決方案架構(gòu)圖
首先，對(duì)于衛(wèi)星海量存儲(chǔ)的大容量需求，浪潮海量存儲(chǔ)系統(tǒng)支持多控制器的橫向擴(kuò)展，實(shí)現(xiàn)了系統(tǒng)容量、性能的動(dòng)態(tài)擴(kuò)展，通過(guò)最大5000個(gè)控制器的規(guī)模提供EB級(jí)海量存儲(chǔ)空間存儲(chǔ)能力，有效保證了衛(wèi)星數(shù)據(jù)的未來(lái)8-10年的存儲(chǔ)容量需求。
同時(shí)，在容量擴(kuò)展性方面，浪潮海量存儲(chǔ)也有獨(dú)到之處。衛(wèi)星采集數(shù)據(jù)是海量的，且存儲(chǔ)容量和存儲(chǔ)性能隨著業(yè)務(wù)量的增長(zhǎng)而增長(zhǎng)。通常一套系統(tǒng)的建設(shè)初期數(shù)據(jù)存儲(chǔ)和處理量不大，但未來(lái)會(huì)出現(xiàn)爆發(fā)式的增長(zhǎng)。如果采用一次性投入的方式，前期會(huì)造成較大的資源浪費(fèi)，后期存儲(chǔ)系統(tǒng)容量及性能不足的時(shí)候又較難擴(kuò)展，因此，較合理及高性價(jià)比的方案是采用分批建設(shè)。浪潮海量存儲(chǔ)系統(tǒng)具有很高的可擴(kuò)展性，支持在線擴(kuò)展且無(wú)需對(duì)中斷業(yè)務(wù)，做到存儲(chǔ)容量和性能的在線線性擴(kuò)展。
浪潮海量存儲(chǔ)系統(tǒng)
其次，對(duì)于衛(wèi)星大規(guī)模數(shù)據(jù)的存儲(chǔ)性能需求，浪潮海量存儲(chǔ)系統(tǒng)基于橫向動(dòng)態(tài)擴(kuò)展控制器架構(gòu)設(shè)計(jì)的浪潮海量存儲(chǔ)系統(tǒng)，通過(guò)全局緩存、最先進(jìn)的FDR Infiniband數(shù)據(jù)通信網(wǎng)絡(luò)、全交換、無(wú)阻塞的存儲(chǔ)交換網(wǎng)絡(luò)有效提供數(shù)百GB聚合帶寬，滿足了衛(wèi)星數(shù)據(jù)接收、處理的高并發(fā)IO需求；同時(shí)，浪潮海量存儲(chǔ)系統(tǒng)的自動(dòng)分層功能可以把熱點(diǎn)數(shù)據(jù)遷移到FLASH緩存或SSD高性能存儲(chǔ)池中，實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)快速訪問(wèn)，也可以把文件按照大小進(jìn)行分級(jí)，衛(wèi)星下傳小文件放在IOPS更高的磁盤池中，實(shí)現(xiàn)數(shù)據(jù)分層。其中閃存層，可以提供最大程度的性能提升、支持高性能OLTP系統(tǒng)；SAS層滿足數(shù)據(jù)庫(kù)中的各個(gè)不同層級(jí)和虛擬資源的數(shù)據(jù)存儲(chǔ)；大容量存儲(chǔ)層，實(shí)現(xiàn)對(duì)歸檔數(shù)據(jù)或冷數(shù)據(jù)的存儲(chǔ)。
再次，對(duì)于衛(wèi)星大規(guī)模數(shù)據(jù)的高可靠需求，浪潮海量存儲(chǔ)系統(tǒng)利用橫向擴(kuò)展多控制器架構(gòu)、全局共享緩存、全交換網(wǎng)絡(luò)和多重冗余的數(shù)據(jù)保護(hù)機(jī)制，消除了海量存儲(chǔ)系統(tǒng)的單點(diǎn)故障。通過(guò)在線數(shù)據(jù)的快速?gòu)?fù)制、已接收數(shù)據(jù)的近線存儲(chǔ)、冷數(shù)據(jù)的備份實(shí)現(xiàn)了衛(wèi)星數(shù)據(jù)的三級(jí)存儲(chǔ)備份保護(hù)，完美滿足衛(wèi)星應(yīng)用中的在線、近線、備份三級(jí)存儲(chǔ)要求；
同時(shí)，浪潮海量存儲(chǔ)系統(tǒng)支持?jǐn)?shù)據(jù)跨數(shù)據(jù)中心、跨機(jī)房、機(jī)柜的容災(zāi)，一份數(shù)據(jù)被寫(xiě)入多個(gè)數(shù)據(jù)中心中，支持掉電保護(hù)，為數(shù)據(jù)的安全可靠提供強(qiáng)大支持，跨中心的冗余保護(hù)避免單數(shù)據(jù)中心重要數(shù)據(jù)因意外災(zāi)害導(dǎo)致的數(shù)據(jù)丟失，為衛(wèi)星數(shù)據(jù)中心提供強(qiáng)有力的保障。
三級(jí)存儲(chǔ) 浪潮海量存儲(chǔ)承載“高分衛(wèi)星”數(shù)據(jù)
“高分衛(wèi)星”項(xiàng)目地面系統(tǒng)是國(guó)家高分辨率對(duì)地觀測(cè)系統(tǒng)的重要組成部分，其主要任務(wù)是通過(guò)搭建一體化的地面系統(tǒng)體系架構(gòu)，在充分利用現(xiàn)有技術(shù)能力和基礎(chǔ)設(shè)施條件的基礎(chǔ)上進(jìn)行優(yōu)化，增強(qiáng)“高分衛(wèi)星”地面系統(tǒng)對(duì)地觀測(cè)衛(wèi)星的數(shù)據(jù)接收、綜合處理、數(shù)據(jù)庫(kù)與管理和分發(fā)服務(wù)等功能，提升運(yùn)營(yíng)和服務(wù)能力。
結(jié)合衛(wèi)星中心數(shù)據(jù)業(yè)務(wù)的特點(diǎn)，浪潮衛(wèi)星海量存儲(chǔ)解決方案將整個(gè)存儲(chǔ)系統(tǒng)分為三個(gè)部分，備份存儲(chǔ)區(qū)子系統(tǒng)、近線存儲(chǔ)區(qū)子系統(tǒng)和在線存儲(chǔ)區(qū)子系統(tǒng)，三個(gè)存儲(chǔ)子系統(tǒng)統(tǒng)一由浪潮海量存儲(chǔ)系統(tǒng)管理，實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行自動(dòng)調(diào)動(dòng)遷移和保存。
睜著眼睛做決策
浪潮衛(wèi)星海量數(shù)據(jù)整體解決方案，針對(duì)衛(wèi)星數(shù)據(jù)采集的行業(yè)應(yīng)用特點(diǎn)，提供了多種類型的存儲(chǔ)資源，支持Windows/Unix/Linux等異構(gòu)平臺(tái)，存儲(chǔ)系統(tǒng)具有大容量、高并發(fā)、高帶寬、高性能、高可擴(kuò)展性等典型特征，滿足衛(wèi)星采集器的數(shù)據(jù)存儲(chǔ)和處理分析需求，還通過(guò)分級(jí)存儲(chǔ)、自動(dòng)精簡(jiǎn)配置等方式提高存儲(chǔ)資源的利用效率、降低投入和運(yùn)行成本。浪潮海量存儲(chǔ)系統(tǒng)可與數(shù)據(jù)處理系統(tǒng)、前端應(yīng)用系統(tǒng)等無(wú)縫結(jié)合，提供統(tǒng)一的監(jiān)控和管理平臺(tái)，改善客戶的管理和使用體驗(yàn)。
“以前是閉著眼睛干活，現(xiàn)在是睜著眼睛做決策。浪潮海量存儲(chǔ)運(yùn)行后，獲得和使用衛(wèi)星對(duì)地監(jiān)測(cè)的海量數(shù)據(jù)更加高效，對(duì)霧霾等異常環(huán)境監(jiān)測(cè)更加精準(zhǔn)。一句話，利用衛(wèi)星數(shù)據(jù)使我們的眼睛更明亮，看得更清楚，決策就更有力。”某衛(wèi)星數(shù)據(jù)中心信息化負(fù)責(zé)人說(shuō)。
