技術(shù)生態(tài)圈
有了世界頂尖的硬件環(huán)境，軟件環(huán)境也不可少。下面我們著重介紹下Yahoo!的技術(shù)生態(tài)圈，看看Yahoo!使用了哪些產(chǎn)品和技術(shù)來(lái)支持大規(guī)模網(wǎng)絡(luò)應(yīng)用。
在雅虎內(nèi)部構(gòu)建一個(gè)超大規(guī)模應(yīng)用其實(shí)并不是那么的復(fù)雜，因?yàn)槲覀円呀?jīng)提供了一整套完整的技術(shù)體系來(lái)幫助開(kāi)發(fā)人員快速建立起一個(gè)具有高可維護(hù)性的超大規(guī)模應(yīng)用。
圖3 Yahoo!數(shù)據(jù)中心技術(shù)生態(tài)圈
從這張圖我們可以看到一個(gè)新應(yīng)用在生態(tài)圈里和現(xiàn)有技術(shù)平臺(tái)的關(guān)系：
新應(yīng)用（APPLICATION）只需要更多的關(guān)注自身的業(yè)務(wù)邏輯。與應(yīng)用密切關(guān)聯(lián)的本地信息，我們有一些本地存儲(chǔ)（LOCAL STORAGE）技術(shù)來(lái)供應(yīng)用使用，比如關(guān)系性數(shù)據(jù)庫(kù)MySQL、Oracle，存儲(chǔ)Key-value型數(shù)據(jù)的MDBM和Memcache。另外，雅虎還提供了大量的平臺(tái)服務(wù)（PLATFORM SERVICES）供我們各種應(yīng)用使用。比如統(tǒng)一驗(yàn)證平臺(tái)YCA來(lái)完成所有應(yīng)用內(nèi)及應(yīng)用間的身份驗(yàn)證，統(tǒng)一防御平臺(tái)Ydod來(lái)幫助我們識(shí)別并且隔離惡意/濫用的流量，用戶信息服務(wù)UPS可以讓?xiě)?yīng)用方便的獲取這個(gè)用戶的相關(guān)信息，如地理位置，興趣喜好等。個(gè)性化內(nèi)容推薦服務(wù)Slingstone，可以直接向用戶提供個(gè)性化的雅虎內(nèi)部及合作伙伴的內(nèi)容信息。另外新應(yīng)用還能方便快捷的接入廣告平臺(tái)（AD SERVER），獲取個(gè)性化推薦的廣告。前端應(yīng)用收集到的各種應(yīng)用相關(guān)信息（如瀏覽點(diǎn)擊數(shù)據(jù)），通過(guò)我們構(gòu)建在全球骨干網(wǎng)絡(luò)之上的數(shù)據(jù)高速公路（DATA HIGHWAY）這一統(tǒng)一數(shù)據(jù)通道，及時(shí)地回傳到雅虎全球最大的商用Hadoop群集。在Hadoop群集上不同應(yīng)用及平臺(tái)服務(wù)根據(jù)各自的需求，處理對(duì)應(yīng)的數(shù)據(jù)，并將處理好的數(shù)據(jù)在通過(guò)雅虎全球骨干網(wǎng)絡(luò)分發(fā)到各個(gè)數(shù)據(jù)中心的服務(wù)端，以方便前端應(yīng)用的調(diào)用。同時(shí)Yahoo!在云端（THE CLOUD）還提供共享的云存儲(chǔ)（STORAGE），以方便全球化應(yīng)用的同步和調(diào)用各種共享數(shù)據(jù)。
除了這些常見(jiàn)的技術(shù)來(lái)幫助快速構(gòu)建超大規(guī)模應(yīng)用，我們還提供了大量的技術(shù)和產(chǎn)品來(lái)進(jìn)行高效的運(yùn)維和管理：
主機(jī)信息管理系統(tǒng)：通過(guò)主機(jī)信息管理系統(tǒng)管理所有系統(tǒng)硬件信息，如CPU、內(nèi)存、硬盤(pán)、網(wǎng)卡地址、Console接口、電源接口、物理位置等。
角色配置管理系統(tǒng)：主要是把主機(jī)根據(jù)角色分成不同的組，不同角色的主機(jī)會(huì)應(yīng)用不同的配置。不同角色的主機(jī)有不同的運(yùn)維團(tuán)隊(duì)、系統(tǒng)配置、應(yīng)用配置等。
網(wǎng)絡(luò)設(shè)備管理系統(tǒng)：包括交換機(jī)上的訪問(wèn)控制列表、負(fù)載均衡設(shè)備的配置、全球負(fù)載均衡配置，以及訪問(wèn)狀態(tài)數(shù)據(jù)的統(tǒng)計(jì)。
統(tǒng)一的監(jiān)控平臺(tái)：用于從不同層面進(jìn)行監(jiān)控，我們有所有主機(jī)系統(tǒng)數(shù)據(jù)的監(jiān)控，也有基于服務(wù)可用性的監(jiān)控。然后我們也有訪問(wèn)量、訪問(wèn)延時(shí)等應(yīng)用層面的數(shù)據(jù)監(jiān)控，并可以和歷史數(shù)據(jù)進(jìn)行比較。
所有的這些平臺(tái)大多都是雅虎運(yùn)維團(tuán)隊(duì)自行開(kāi)發(fā)和維護(hù)的，更貼合Yahoo!的使用體驗(yàn)，幫助對(duì)超大規(guī)模的主機(jī)進(jìn)行統(tǒng)一和高效的管理。
運(yùn)維團(tuán)隊(duì)
前面的兩條分別是硬件和軟件環(huán)境，除了一流的硬件和完備的軟件環(huán)境，能夠?qū)崿F(xiàn)高可用性大規(guī)模應(yīng)用的核心，還是人。所以我們?cè)谧詈螅瑫?huì)給大家介紹雅虎的全球運(yùn)維團(tuán)隊(duì)是如何工作的。
在Yahoo!我們的運(yùn)維團(tuán)隊(duì)除了基礎(chǔ)設(shè)施的Operation團(tuán)隊(duì)，如數(shù)據(jù)中心現(xiàn)場(chǎng)工程師（SiteOps）、網(wǎng)絡(luò)運(yùn)維工程師（NetOps）、基礎(chǔ)設(shè)施（DNS、DHCP等）運(yùn)維團(tuán)隊(duì)（InfraOps）和安全團(tuán)隊(duì)（Paranoid）等。我們還會(huì)按照產(chǎn)品線劃分出Service Engineer團(tuán)隊(duì)，來(lái)支持這項(xiàng)產(chǎn)品的應(yīng)用運(yùn)維。
SE（Service Engineer）團(tuán)隊(duì)和大部分公司的系統(tǒng)運(yùn)維工程師一樣，會(huì)負(fù)責(zé)生產(chǎn)系統(tǒng)維護(hù)，如部署應(yīng)用、監(jiān)控報(bào)警、配置管理、變更管理及故障管理。除此之外，在雅虎SE團(tuán)隊(duì)會(huì)更多的深入了解應(yīng)用。
