HPC與AI、大數(shù)據(jù)走向融合，HPDA應(yīng)運而生
5G、云、AI等新ICT技術(shù)的快速發(fā)展使視頻、圖片等數(shù)據(jù)呈指數(shù)級增長，從數(shù)據(jù)增長軌跡中可以預(yù)測到，未來幾年數(shù)據(jù)量將達到百ZB的水平，從而促使HPC行業(yè)從計算驅(qū)動演進為數(shù)據(jù)驅(qū)動。回首過往15年以來HPC存儲增長的多種驅(qū)動因素，可以發(fā)現(xiàn)它與AI、大數(shù)據(jù)的飛速發(fā)展密不可分，進而催生出以數(shù)據(jù)分析生態(tài)為主的HPC解決方案，并在多個至關(guān)重要的科學領(lǐng)域中得到應(yīng)用，如計算科學建模和數(shù)據(jù)分析。計算科學建模和數(shù)據(jù)分析兩個生態(tài)在解決方案和技術(shù)上的融合是加速科學發(fā)現(xiàn)的關(guān)鍵因素。在此背景下，高性能數(shù)據(jù)分析（HPDA）應(yīng)運而生并迅速發(fā)展。
從計算到數(shù)據(jù)，是HPC市場發(fā)展的必然。從傳統(tǒng)HPC建模/仿真應(yīng)用向新的HPDA/AI/ML/DL應(yīng)用演進，其主要特點是從計算密集型負載向數(shù)據(jù)密集型負載轉(zhuǎn)變，有助于研究人員、工程師和業(yè)務(wù)數(shù)據(jù)分析師從最佳性能的HPC基礎(chǔ)設(shè)施中，更快地獲取研究結(jié)果并對其進行分析總結(jié)。
HPDA/AI的快速發(fā)展推動著傳統(tǒng)HPC建模/仿真應(yīng)用不斷轉(zhuǎn)型升級，然而HPDA/AI/ML/DL技術(shù)所產(chǎn)生的數(shù)據(jù)越來越多，給現(xiàn)有HPC存儲生態(tài)系統(tǒng)帶來巨大壓力，要解決和優(yōu)化這兩種類型的負載，就要高度重視并大力建設(shè)HPC存儲基礎(chǔ)設(shè)施。
科技強國政策的背景下，我國開始大力發(fā)展和推進HPC事業(yè)，建立隸屬于科技部的國 國家超級計算濟南中心發(fā)展勢頭迅猛，構(gòu)建引領(lǐng)全球科技發(fā)展的“最強大腦”家超級計算中心，用于發(fā)展高性能計算相關(guān)產(chǎn)業(yè)與應(yīng)用。截至2021年，科技部批準建立了國家超級計算濟南中心、國家超級計算天津中心、國家超級計算深圳中心等八所國家超級計算中心。
目前，濟南超算正在主導山東省“超級計算大科學工程”，研制建設(shè)全球算力領(lǐng)先的新一代超級計算機，通過根植山東、覆蓋全國、輻射全球的超算互聯(lián)網(wǎng)建設(shè)，構(gòu)建“E級超算、人工智能、大數(shù)據(jù)、工業(yè)互聯(lián)網(wǎng)”等大科學裝置集群，形成國際一流的“超算大腦”，力爭成為推動國家基礎(chǔ)科學進步和重大技術(shù)攻關(guān)，助力山東省走在“新動能”的最前沿。
面對挑戰(zhàn)，濟南超算積極追求HPC存儲架構(gòu)轉(zhuǎn)型
人工智能、大數(shù)據(jù)等新型應(yīng)用進入到超算科研領(lǐng)域，推動濟南超算改革創(chuàng)新發(fā)展，由單一計算服務(wù)向計算加多元數(shù)據(jù)處理服務(wù)轉(zhuǎn)變。
濟南超算在創(chuàng)新改革中，正在面臨如下變化與挑戰(zhàn):
- 首先，數(shù)據(jù)量的激增帶來傳輸與存儲成本的挑戰(zhàn)。數(shù)據(jù)量的激增主要有兩個原因：一是參與計算的原始數(shù)據(jù)不僅多且雜；二是數(shù)據(jù)多環(huán)節(jié)處理計算帶來數(shù)據(jù)的過度膨脹。伴隨著人工智能和大數(shù)據(jù)等新興產(chǎn)業(yè)的爆炸式增長，超算需要處理更多數(shù)據(jù)，既有結(jié)構(gòu)化數(shù)據(jù)又有非結(jié)構(gòu)化數(shù)據(jù)，而在線傳輸這些數(shù)據(jù)可能需耗費數(shù)周，拷貝TB-PB級數(shù)據(jù)時更是要耗費數(shù)月，這些都是超算中心在轉(zhuǎn)型過程中無法規(guī)避的難題。
- 其次，存儲資源搶占導致整體計算效率不高。當前多數(shù)超算場景為多任務(wù)、多并發(fā)計算，一些作業(yè)對帶寬要求很高，另一些對IOPS要求高，多任務(wù)并發(fā)造成存儲資源搶占，則會導致整體計算效率被拉低。例如生命科學作業(yè)等大帶寬類作業(yè)增多時，整個計算效率會變得非常緩慢，從而影響整個超算中心的作業(yè)效率。
- 此外，濟南超算業(yè)務(wù)在與傳統(tǒng)數(shù)據(jù)中心類業(yè)務(wù)融合過程中，也面臨著數(shù)據(jù)管理及數(shù)據(jù)孤島的挑戰(zhàn)。在提供如人工計算、大數(shù)據(jù)、虛擬化和災(zāi)備等多元化服務(wù)時，面對萬級用戶群體及各種數(shù)據(jù)形式的讀寫（如文件存儲、虛擬化的塊存儲、AI的對象存儲、大數(shù)據(jù)的HDFS存儲等），都會增加管理難度，且數(shù)據(jù)間易呈現(xiàn)割裂的孤島狀態(tài)。如何讓數(shù)據(jù)流動起來進而促進跨域創(chuàng)新，是濟南超算急需解決的問題。
濟南超算攜手華為OceanStor全閃存，打造標桿級新型超算中心
華為OceanStor全閃存超高性能、超高吞吐量滿足多平臺、多類型作業(yè)需求，為濟南超算發(fā)展降本增效。為滿足濟南超算的HPC平臺、AI平臺及云平臺各集群間存儲需求的差異性，平臺規(guī)劃建設(shè)存儲系統(tǒng)容量220PB，涵蓋高性能存儲系統(tǒng)、對象存儲、塊存儲、NAS存儲，可滿足各類應(yīng)用對存儲的需求。其中高性能文件存儲系統(tǒng)配套的全閃存儲系統(tǒng)容量15PiB。華為OceanStor全閃存憑借TBps級帶寬，千萬級IOPS超算主存系統(tǒng)，完全能滿足超算綜合場景高帶寬及高IOPS等性能需求，提升業(yè)務(wù)效率，加速業(yè)務(wù)創(chuàng)新，整體帶寬超1000GB/s，有效解決資源搶占拉低整體作業(yè)效率的問題。同時，采用數(shù)據(jù)圖像壓縮算法，進一步提升了存儲空間的利用率，大大降低了海量數(shù)據(jù)的存儲成本，為超算中心的持續(xù)發(fā)展降本增效。
華為OceanStor全閃存綠色節(jié)能，科技助力“碳達峰”。無論是基于國家政策的導向，還是超算中心降本增效的考量，綠色節(jié)能已逐步落地到生產(chǎn)和經(jīng)營的方方面面。在數(shù)據(jù)中心層面，采用華為OceanStor全閃存是理想的解決方案，可以極大縮減數(shù)據(jù)中心空間和能耗的開支，由此帶來的高資源利用率和高成本效益是驅(qū)動全閃存系統(tǒng)出貨量增長的重要因素。
華為和客戶聯(lián)創(chuàng)主存、對象存儲等系統(tǒng)間數(shù)據(jù)流動方案，解決客戶數(shù)據(jù)存儲難題。華為OceanStor全閃存已經(jīng)充分適配并能高效支撐起超算業(yè)務(wù)，面向未來的合作層面，濟南超算與華為成立了存儲創(chuàng)新中心，在數(shù)據(jù)流動、數(shù)據(jù)服務(wù)、和數(shù)據(jù)安全等方面展開深入研究并孵化產(chǎn)業(yè)；面向超算領(lǐng)域?qū)用妫瑵铣闩c華為提供了技術(shù)創(chuàng)新方向和解決方案，共同打造全球領(lǐng)先的智能數(shù)據(jù)與存儲的示范點、產(chǎn)業(yè)基地。依托華為OceanStor存儲存算占比1:1.5的數(shù)據(jù)流動方案，濟南超算將具備國內(nèi)HPC領(lǐng)域容量最大、性能最高的全閃存陣列集群，可以解決濟南超算當前面臨的塊、對象、文件互訪難題，打通數(shù)據(jù)流通，促進數(shù)據(jù)跨域創(chuàng)新，為濟南超算未來創(chuàng)新業(yè)務(wù)探索持續(xù)助力。華為提供API接口并聯(lián)合濟南超算共同定制開發(fā)，實現(xiàn)基于數(shù)據(jù)流動任務(wù)和策略，實現(xiàn)數(shù)據(jù)流動的服務(wù)化和可視化。華為與濟南超算共同基于客戶數(shù)據(jù)屬性標簽化進行定制開發(fā)，實現(xiàn)數(shù)據(jù)流動的安全管理。
業(yè)內(nèi)人士認為，華為與濟南超算合作是一個典型的標桿案例，濟南超算之所以選擇華為OceanStor全閃存，與其高效、節(jié)能的端到端超算存儲解決方案和技術(shù)創(chuàng)新能力密不可分。華為OceanStor全閃存具備敏捷性、高效率、可用性、安全性、面向云業(yè)務(wù)的適配性等特點，同時基于業(yè)界領(lǐng)先的技術(shù)和架構(gòu)，與我國全面推動的“新基建”戰(zhàn)略高度契合。此外，華為OceanStor全閃存高密度、低功耗的特點可以顯著降低超算中心PUE，賦能濟南超算完成HPC存儲架構(gòu)轉(zhuǎn)型升級，加速產(chǎn)業(yè)生態(tài)創(chuàng)新發(fā)展，以“超算速度”助推濟南超算成為全球超算中心的領(lǐng)跑者。
