首頁 > 新聞 > 專家觀點 >

基于大數(shù)據(jù)的DDoS防護

2014-07-29 16:49:03   作者:華為安全產(chǎn)品領(lǐng)域總經(jīng)理 左文樹   來源:CTI論壇   評論:0  點擊:




華為安全產(chǎn)品領(lǐng)域總經(jīng)理 左文樹/

  伴隨著互聯(lián)網(wǎng)的發(fā)展,黑客網(wǎng)絡(luò)攻擊也在不斷增加和發(fā)展,在眾多的網(wǎng)絡(luò)攻擊中,拒絕服務(wù)攻擊DDoS(Distributed Denial of Service)始終被認為是黑客攻擊的終極武器,在互聯(lián)網(wǎng)發(fā)展不同階段均能掀起血雨腥風(fēng)。

  當前,DDoS攻擊產(chǎn)生了革命性的變化,由純粹的黑客技術(shù)炫耀逐漸形成了完整的黑客產(chǎn)業(yè)鏈,進而以惡意競爭、黑色產(chǎn)業(yè)鏈為目的的DDoS攻擊越來越多,攻擊流量也越來越高,2013年3月,針對歐洲反垃圾郵件公司Spamhaus的300G DDoS攻擊創(chuàng)歷史新高。DDoS攻擊,可謂互聯(lián)網(wǎng)揮之不去的夢魘。

  防御技術(shù)面臨新挑戰(zhàn)在開始談DDoS流量清洗或者防護技術(shù)之前,先一起來看看DDoS攻擊發(fā)展趨勢:一方面,以SYN Flood、UDP Flood、DNS Flood為代表的虛假源攻擊,大部分僵尸主機都來自IDC服務(wù)器,因此攻擊峰值流量帶寬越來越大,直接威脅網(wǎng)絡(luò)基礎(chǔ)設(shè)施,如網(wǎng)絡(luò)帶寬擁塞導(dǎo)致網(wǎng)絡(luò)訪問變慢、DNS服務(wù)器癱瘓造成網(wǎng)絡(luò)業(yè)務(wù)大面積癱瘓;另一方面,針對具體應(yīng)用的真實源攻擊越來越多,典型代表如針對電子商務(wù)、網(wǎng)頁游戲的CC攻擊,此類攻擊因需要僵尸主機和被攻擊服務(wù)器建立TCP連接,為了隱藏僵尸網(wǎng)絡(luò),攻擊流量越來越小,仿真程度越來越高,以有效躲避安全設(shè)備的識別。

  2013年3月,歐洲反垃圾郵件公司Spamhaus的網(wǎng)站遭遇史上最大流量DDoS攻擊,攻擊流量峰值高達300G。同樣從業(yè)界最大Anti-DDoS服務(wù)提供商Prolexic于2013年Q2發(fā)布的《Prolexic Quarterly Global DDoS Attack Report》可看到,有17%的DDoS攻擊流量平均帶寬超過60G。大流量DDoS攻擊相對容易檢測,但直接挑戰(zhàn)防御系統(tǒng)的處理性能及對攻擊的快速響應(yīng)能力,否則攻擊流量如決堤的洪水般會瞬間涌至被攻擊網(wǎng)絡(luò),導(dǎo)致網(wǎng)絡(luò)鏈路完全擁塞,部署在接入側(cè)的安全設(shè)備完全失效。此類攻擊必須依靠部署在網(wǎng)絡(luò)上游的超大容量防御系統(tǒng)阻斷,可見對超大帶寬DDoS攻擊的清洗系統(tǒng)比較適合由運營商或?qū)I(yè)Anti-DDoS服務(wù)提供商構(gòu)筑。業(yè)界針對大流量DDoS攻擊的檢測技術(shù)比較成熟,采用低成本的flow流分析技術(shù)即可。但清洗系統(tǒng)必須由高性能的硬件平臺構(gòu)成,單機可提供上百G的防御能力,否則防御設(shè)備本身就會成為網(wǎng)絡(luò)瓶頸。

  從DDoS攻擊技術(shù)發(fā)展趨勢看,攻擊手段越來越復(fù)雜,應(yīng)用層攻擊越來越像客戶端訪問,直接威脅業(yè)務(wù)可用性。針對業(yè)務(wù)的應(yīng)用層DDoS攻擊,最大特點是攻擊目標經(jīng)過精心挑選,攻擊流量小,攻擊流量速度慢、持續(xù)時間長、手段隱蔽、攻擊源分散等,最終形成的攻擊效果是服務(wù)器IP可達,業(yè)務(wù)不可用。

  DDoS攻擊檢測系統(tǒng)主要依靠流量模型識別攻擊,流量模型越精確,越容易發(fā)現(xiàn)攻擊。應(yīng)用層小流量攻擊檢測難點在于小流量的攻擊報文淹沒在大流量的網(wǎng)絡(luò)訪問報文中,直接挑戰(zhàn)檢測設(shè)備流量模型的精準度。以10G訪問背景流量下,針對移動Web應(yīng)用的DDoS攻擊為例,攻擊流量峰值僅有250kbps(50QPS,平均包長600字節(jié)),但只要攻擊目標選擇合理,比如請求不存在的資源,每次查詢都需要查詢數(shù)據(jù)庫,即可導(dǎo)致被攻擊URI無法響應(yīng)正常用戶請求。當采用傳統(tǒng)flow檢測技術(shù)時,為了減少flow流日志對路由器轉(zhuǎn)發(fā)性能的影響,一般抽樣比設(shè)置為10000:1,而250k的攻擊流量隱藏在10G的正常訪問流量中,攻擊報文僅占三十萬分之一,這么大的抽樣比,很難抽取到攻擊報文。因此對flow流分析設(shè)備而言,攻擊流量越小,越難反映到流量基線的變化。此外,flow流技術(shù)描述流量基線的模型僅限于pps和bps,無法深入到應(yīng)用層,無法用QPS描述業(yè)務(wù)訪問流量模型。由此可見,flow流技術(shù)確實不適合做應(yīng)用層攻擊檢測。

  而且針對應(yīng)用層的攻擊高度模擬業(yè)務(wù)訪問行為,攻擊源分散,每個源的訪問流量甚至還小于正常客戶端的訪問流量。尤其是針對移動Web應(yīng)用的DDoS攻擊,導(dǎo)致傳統(tǒng)防御系統(tǒng)重定向防御技術(shù)失效,傳統(tǒng)防御系統(tǒng)則只能采取類似限制源的連接數(shù)以緩解攻擊。但對移動應(yīng)用而言,正常訪問源即智能終端來自大量移動網(wǎng)關(guān),最終體現(xiàn)為每個正常源IP(移動網(wǎng)關(guān)IP)的連接數(shù)比攻擊源的連接數(shù)還高,因此限制連接數(shù)的做法會直接導(dǎo)致訪問中斷。

  引入大數(shù)據(jù)分析華為率先把“大數(shù)據(jù)”技術(shù)應(yīng)用到DDoS檢測和防御中,從而在高仿真、高隱蔽性DDoS攻擊檢測與防御方面走在了業(yè)界前列。

  為什么要大數(shù)據(jù)?

  RSA執(zhí)行主席Art Coviello在2013年RSA大會上談到他對安全行業(yè)中大數(shù)據(jù)應(yīng)用的觀點:“我看好大數(shù)據(jù)。從大數(shù)據(jù)分析中獲取情報意味著我們不再只是響應(yīng)攻擊。黑客將如何攻擊我們,這并不重要。重點在于從預(yù)防模式跳出來,大數(shù)據(jù)將讓你更快速地檢測和響應(yīng)攻擊。”

  快速發(fā)現(xiàn)和響應(yīng)應(yīng)用層攻擊的首要條件是防御系統(tǒng)能夠多維度地精確描述流量模型。流量模型又可分為業(yè)務(wù)訪問的流量模型和攻擊的流量模型兩種,業(yè)務(wù)訪問的流量模型用于描述沒有攻擊時的網(wǎng)絡(luò)狀態(tài),一旦業(yè)務(wù)訪問流量模型發(fā)生變化,說明網(wǎng)絡(luò)有異常。對于一次50QPS的CC攻擊,250k的攻擊流量隱藏在10G的正常訪問流量中,攻擊報文僅占30萬分之一,僅僅用針對80端口的TCP報文的pps顯然難以描述出業(yè)務(wù)訪問模型的變化。事實上,用于檢測攻擊的業(yè)務(wù)訪問模型必須用到目的IP的http get報文速率即QPS描述。為了防止正常訪問流量突變,比如“雙11”網(wǎng)絡(luò)購物熱潮引起的QPS突變引入檢測誤判,還可以依靠高危URI訪問流量模型變化監(jiān)控攻擊。而對攻擊的流量模型則比較適合各類針對會話缺陷或應(yīng)用缺陷的慢速攻擊檢測,比如TCP retransmission attack、socktress、SSL-DoS/DDoS、http slow headers/post attack,此類攻擊流量更小,隱蔽性更強,但攻擊效果非常明顯。此類攻擊必須基于源+會話的維度描述,由此可見,針對攻擊的流量模型的描述是否準確是快速檢測慢速攻擊的關(guān)鍵。

  由以上分析可以看出,防御系統(tǒng)要想快速發(fā)現(xiàn)和響應(yīng)攻擊,必須具備完整、無誤地描述防護網(wǎng)絡(luò)的各種流量模型的能力,這就要求防御系統(tǒng)能夠?qū)Ψ雷o網(wǎng)絡(luò)做全流量拷貝,基于大數(shù)據(jù)逐包統(tǒng)計、分析、對比。

  華為擁有一個超過300人的專業(yè)攻防團隊,實時監(jiān)控和分析全球安全事件,針對每一類新型DDoS構(gòu)建數(shù)據(jù)模型、開發(fā)關(guān)聯(lián)分析算法,以確保高檢出率。

  大數(shù)據(jù)全流量采集及分析

  - 全流量采集:首先從流量選取上一定要“全”,大數(shù)據(jù)的核心理念之一就是只有提取全面,后續(xù)的分析才能精準。華為Anti-DDoS方案采用旁路部署方式,對1:1鏡像或者分光過來的流量進行全流量分析,以確保防護網(wǎng)絡(luò)流量模型學(xué)習(xí)及攻擊檢測的精準度。以數(shù)據(jù)中心邊界防護為例進行說明,要以低成本部署實現(xiàn)對來自外部的DDoS攻擊的防御能力,僅對入數(shù)據(jù)中心的流量進行全流量采集。以百G帶寬數(shù)據(jù)中心為例,假設(shè)數(shù)據(jù)中心入和出的流量比例為1:10,進入檢測系統(tǒng)的流量,1秒鐘10G,1分鐘600G,1天高達864T,1周的數(shù)據(jù)就更大得驚人——756TB!

  華為Anti-DDoS方案對從防護網(wǎng)絡(luò)鏈路拷貝到的流量,從3/4/7層分60多種維度建立流量模型,進行關(guān)聯(lián)分析,生成業(yè)務(wù)訪問動態(tài)流量基線,然后基于動態(tài)流量基線自動生成攻擊防護策略檢測閾值。動態(tài)流量基線的學(xué)習(xí)周期默認為1周,為適應(yīng)網(wǎng)絡(luò)流量模型因業(yè)務(wù)變化而發(fā)生變化,流量基線學(xué)習(xí)也是以學(xué)習(xí)周期為一個循環(huán),不斷學(xué)習(xí)不斷調(diào)整、更新檢測閾值。因此,對一個10G帶寬網(wǎng)絡(luò)鏈路,華為Anti-DDoS方案每建立一套DDoS檢測閾值,就必須處理高達756TB的數(shù)據(jù)。帶寬越大,需要處理的數(shù)據(jù)就越多。

  - 大數(shù)據(jù)關(guān)聯(lián)分析技術(shù),提升檢測和防御精度:華為Anti-DDoS方案對防護網(wǎng)絡(luò)進行60多種維度的流量基線模型學(xué)習(xí)時,基于高性能多核CPU并行處理硬件,采用大數(shù)據(jù)處理技術(shù),以確;學(xué)習(xí)的高效性。基本工作原理是:流量進入Anti-DDoS系統(tǒng)的接口板,進行并發(fā)分流處理,到達各業(yè)務(wù)板的每個CPU,一個CPU又可分為多個微處理器,各微處理器同一時間并行處理采集到的流量,以提升處理性能。整個系統(tǒng)采用“MapReduce”大數(shù)據(jù)處理思想,將學(xué)習(xí)的60多種維度的流量模型定義成層次化的數(shù)據(jù)結(jié)構(gòu),根據(jù)報文類型有針對性地分解、統(tǒng)計、分析,最后將分析結(jié)果記錄到相應(yīng)的數(shù)據(jù)結(jié)構(gòu)。

  動態(tài)基線學(xué)習(xí)結(jié)束后,攻擊檢測流程實質(zhì)上就是不斷將進入設(shè)備的報文按3/4/7層逐層解析,以1秒為計算單位,按照這60多種維度進行精細化統(tǒng)計,然后將統(tǒng)計結(jié)果和攻擊檢測閾值相比較,當流量統(tǒng)計值大于攻擊檢測閾值,則認為流量異常,觸發(fā)防御流程,這個響應(yīng)時間在秒級。一般現(xiàn)網(wǎng)DDoS攻擊在5分鐘之內(nèi),可輕松升至20G,可見,秒級的響應(yīng)攻擊延遲是領(lǐng)先的Anti-DDoS系統(tǒng)的必備條件。

  由此可見,Anti-DDoS系統(tǒng)要做到輕松應(yīng)對網(wǎng)絡(luò)層攻擊、應(yīng)用層攻擊、會話層威脅及各類慢速攻擊,且做到秒級攻擊響應(yīng)延遲,必須依托高性能的硬件平臺,在大數(shù)據(jù)全流量采集的前提下,實施多維度的統(tǒng)計和檢測,真正有能力做到不漏判、不誤判。

  精準與實時性缺一不可

  攻擊檢測的精準度完全取決于流量模型的精細化程度。華為Anti-DDoS系統(tǒng)可實現(xiàn)從防護網(wǎng)段、防護目標IP、及源IP這3個維度展開學(xué)習(xí),按網(wǎng)絡(luò)層次不同又可將統(tǒng)計點分為網(wǎng)絡(luò)層、會話層、應(yīng)用層3大縱向維度,統(tǒng)計點又可以進一步細分為pps、bps、QPS、訪問比例。為了提升檢測精度和降低防御誤判,系統(tǒng)還分別從網(wǎng)絡(luò)層、會話層及應(yīng)用層對TOP N訪問源IP及訪問資源進行學(xué)習(xí),這些業(yè)務(wù)訪問TOP N流量模型,不僅可用來快速發(fā)現(xiàn)攻擊,還可用于檢驗防御效果。其中基于會話的多維度統(tǒng)計分析,并結(jié)合行為分析技術(shù)進行關(guān)聯(lián)分析發(fā)現(xiàn)和防御各類慢速攻擊是華為Anti-DDoS解決方案的特有技術(shù)。

  同時為提升防御時的客戶體驗,華為Anti-DDoS系統(tǒng)采用會話維度建立業(yè)務(wù)訪問IP信譽體系,當攻擊發(fā)生時,直接作為白名單,快速轉(zhuǎn)發(fā)業(yè)務(wù)訪問流量。業(yè)務(wù)訪問IP信譽的數(shù)量最大最高可達40M,足以滿足攻擊發(fā)生時業(yè)務(wù)訪問流量快速轉(zhuǎn)發(fā)需求。

  從以上分析可以看出,為了應(yīng)對越來越像正常用戶業(yè)務(wù)訪問的DDoS攻擊,基于大數(shù)據(jù)的DDoS攻擊檢測,必須保證攻擊檢測的精準以確?焖夙憫(yīng)攻擊,同時又要保證防御的精準,以確保防御不影響用戶體驗。

  歷經(jīng)考驗,表現(xiàn)卓越2013年11月11日——“雙11”網(wǎng)絡(luò)購物節(jié)當天,國內(nèi)著名的電子商務(wù)網(wǎng)站阿里巴巴的網(wǎng)上流量峰值達到了數(shù)Tbps,與此同時阿里巴巴的業(yè)務(wù)系統(tǒng)也遭受著多輪DDoS攻擊,有近20Gbps的大流量攻擊,也有小于500Mbps的應(yīng)用層攻擊,每輪攻擊華為的清洗方案均在2秒內(nèi)成功阻斷,無漏報誤報現(xiàn)象,有力地保障了阿里巴巴“雙11”的業(yè)務(wù)正常運轉(zhuǎn),充分驗證了大數(shù)據(jù)時代華為Anti-DDoS技術(shù)的優(yōu)勢。

  除此之外,華為Anti-DDoS系統(tǒng)在全球多個國家的數(shù)據(jù)中心均有成功部署,每天成功抵御攻擊次數(shù)上萬次,防護效果獲得客戶的一致好評。

分享到: 收藏

專題