您當(dāng)前的位置是:  首頁 > 新聞 > 國內(nèi) >
 首頁 > 新聞 > 國內(nèi) >

世界紀(jì)錄 騰訊云98.8秒處理100TB數(shù)據(jù)

2016-11-11 16:22:11   作者:   來源:CTI論壇   評論:0  點(diǎn)擊:


  有計(jì)算奧運(yùn)會之稱的Sort Benchmark全球排序競賽公布了2016年最終成績,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊(duì)用時(shí)僅僅98.8秒,就就完成了100TB的數(shù)據(jù)排序。
  這打破了阿里云去年創(chuàng)造的329秒紀(jì)錄,而在更早的時(shí)候,百度曾經(jīng)的紀(jì)錄是716秒,Hadoop的紀(jì)錄是4222秒。
\
  全球大數(shù)據(jù)性能進(jìn)化史
  在這次競賽中,騰訊云數(shù)智分布式計(jì)算平臺奪得了GraySort、MinuteSort兩個(gè)項(xiàng)目的冠軍,同時(shí)創(chuàng)造四項(xiàng)世界紀(jì)錄,將阿里云去年的紀(jì)錄整體提高了2-5倍。
  GraySort項(xiàng)目比的是如何在最短的時(shí)間內(nèi)將總量100TB的1萬億條無序100字節(jié)紀(jì)錄,從小到大進(jìn)行排序。騰訊云用時(shí)98.8秒完成,相當(dāng)于每分鐘處理60.7TB,而去年冠軍的成績是18.2TB/分鐘。
  MinuteSort比的則是在1分鐘之內(nèi)能夠完成多少數(shù)據(jù)量的排序。騰訊云的成績是55TB,而去年只有11TB。
  Sort Benchmark通過排序競賽考量一家公司或機(jī)構(gòu)大規(guī)模計(jì)算能力的綜合實(shí)力,通過排序這個(gè)最基本的計(jì)算問題,不僅全面評測分布式系統(tǒng)軟件架構(gòu)能力(如海量數(shù)據(jù)分布式存儲、計(jì)算任務(wù)切片調(diào)度、節(jié)點(diǎn)通信協(xié)調(diào)同步、數(shù)據(jù)計(jì)算監(jiān)控容災(zāi)等性能),也評測了硬件架構(gòu)能力(如服務(wù)器硬件選配、網(wǎng)絡(luò)架構(gòu)調(diào)優(yōu)、IDC規(guī)劃建設(shè)能力等)。
  為了參加此次競賽,騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊(duì)在基礎(chǔ)架構(gòu)上采用了512臺IBM OpenPower服務(wù)器和邁絡(luò)思公司的100Gb互聯(lián)技術(shù)。
\

專題