您當(dāng)前的位置是:  首頁 > 資訊 > IT與互聯(lián)網(wǎng) >

Apache Doris 首屆峰會(huì)完美收官,開啟數(shù)據(jù)分析架構(gòu)全新征程

2023-01-11 17:08:54   作者:   來源:   評(píng)論:0  點(diǎn)擊:


  近期,由 SelectDB 主辦,百度智能云、騰訊云聯(lián)合舉辦的 Apache Doris (社區(qū)首屆峰會(huì)  Doris Summit 2022 圓滿落下帷幕。本次峰會(huì)以 Select Future From Doris 為主題,匯聚了來自 SelectDB、百度、騰訊、美團(tuán)、小米、京東、字節(jié)跳動(dòng)、阿里云、亞馬遜云科技、網(wǎng)易、知乎、斗魚、馬上消費(fèi)金融、易觀、韻達(dá)、360 等行業(yè)領(lǐng)軍企業(yè)的 40 余位資深數(shù)據(jù)專家。在為期兩天的在線峰會(huì)上,眾多專家共同探討了業(yè)界最前沿?cái)?shù)據(jù)分析技術(shù)的演進(jìn)趨勢(shì)以及數(shù)字化時(shí)代數(shù)據(jù)分析平臺(tái)建設(shè)的最佳實(shí)踐,為參會(huì)的數(shù)萬名大數(shù)據(jù)領(lǐng)域開發(fā)者奉上了一份精彩的技術(shù)盛宴。

  全球大數(shù)據(jù)和數(shù)據(jù)庫領(lǐng)域最活躍的開源社區(qū)之一

  本次峰會(huì)在 Apache 基金會(huì) 2022 年董事姜寧的開場(chǎng)致辭中正式拉開序幕,Apache Doris PMC 主席陳明雨以 《New Journey of Apache Doris》 為題,詳細(xì)回顧了過去一年 Apache Doris 社區(qū)所取得的成績(jī) —— 累計(jì)貢獻(xiàn)者規(guī)模超過 420 位、同比增長(zhǎng)超過 100%,每月活躍貢獻(xiàn)者增長(zhǎng)至 100 位、同樣呈翻倍增長(zhǎng)的趨勢(shì),GitHub Star 數(shù)量從 3.6k 增長(zhǎng)至 7.6k,多次登上 GitHub Trending 榜單、受到全球開發(fā)者的關(guān)注……從多個(gè)社區(qū)活躍度指標(biāo)看,Apache Doris 已經(jīng)成為全球大數(shù)據(jù)和數(shù)據(jù)庫領(lǐng)域最為活躍的開源社區(qū)之一!

  “另外在 2022 年 6 月, Apache Doris 迎來了開源以來最重要的里程碑之一,正式從 Apache 孵化器畢業(yè)、成為了 Apache 頂級(jí)項(xiàng)目”,陳明雨說到,“ 所有取得的成就,都離不開社區(qū)所有開發(fā)者與用戶的支持,也正是因?yàn)橛辛怂麄兊呢暙I(xiàn),才使得 Apache Doris 有如此快的發(fā)展,未來 Apache Doris 也會(huì)回饋所有用戶以極致的數(shù)據(jù)分析體驗(yàn)。”

  2022,更快、更實(shí)時(shí)、更統(tǒng)一

  在主論壇的主題分享環(huán)節(jié),來自 SelectDB、百度、美團(tuán)、字節(jié)跳動(dòng)等多家企業(yè)的社區(qū)核心貢獻(xiàn)者帶來了 Apache Doris 在性能和功能上的優(yōu)化創(chuàng)新及取得的成效。

  性能方面,SelectDB CTO 衣國(guó)壘介紹到:“通過向量化執(zhí)行、內(nèi)存管理優(yōu)化、自適應(yīng)字典計(jì)算、Global Runtime Filter 等一系列查詢優(yōu)化手段,Apache Doris 在單表場(chǎng)景斬獲 Clickbench 全球數(shù)據(jù)庫性能榜單前三的優(yōu)異成績(jī),多表關(guān)聯(lián)場(chǎng)景在 SSB 和 TPC-H 等標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集有數(shù)倍乃至數(shù)十倍的性能提升,躋身全球數(shù)據(jù)庫性能最前列!”

  功能方面,來自 SelectDB、美團(tuán)、字節(jié)跳動(dòng)、百度的多位技術(shù)專家介紹了全新 Unqiue Key 主鍵模型、全新查詢優(yōu)化器、數(shù)據(jù)湖聯(lián)邦分析、半結(jié)構(gòu)化數(shù)據(jù)分析以及多表物化視圖等核心特性的研發(fā)進(jìn)展,同時(shí)分享了社區(qū)在版本發(fā)布和代碼質(zhì)量保障方面的思考。這一系列工作使得 Apache Doris 在實(shí)時(shí)性、穩(wěn)定性和易用性等多方面得到全面進(jìn)化,同時(shí)也具備了更多數(shù)據(jù)分析場(chǎng)景的適應(yīng)性,開始邁入極速實(shí)時(shí)統(tǒng)一的數(shù)據(jù)分析時(shí)代。

  來自各行業(yè)用戶最真實(shí)的聲音

  社區(qū)用戶方面,在過去一年,Apache Doris 也收獲到了更多開發(fā)者的認(rèn)可,有越來越多的企業(yè)基于 Apache Doris 構(gòu)建全新的數(shù)據(jù)分析平臺(tái)架構(gòu)。

  “經(jīng)過統(tǒng)計(jì),在全球范圍內(nèi) Apache Doris 的企業(yè)用戶規(guī)模已經(jīng)超過了 1000 家、被廣泛應(yīng)用于數(shù)十個(gè)行業(yè)中,成為最受人們認(rèn)可的 OLAP 數(shù)據(jù)庫之一!”陳明雨補(bǔ)充道,“同時(shí) Apache Doris 社區(qū)已經(jīng)聚集了數(shù)萬人的用戶社群,社區(qū)成立了一只專職的工程師團(tuán)隊(duì)在社群中為所有用戶答疑解惑,同時(shí)也有許多開發(fā)者在社群中交流使用心得和分享實(shí)踐經(jīng)驗(yàn),讓更多技術(shù)愛好者有了一個(gè)自由交流數(shù)據(jù)庫知識(shí)和提升技術(shù)水平的平臺(tái)。”

如圖片無法顯示,請(qǐng)刷新頁面

  在此次峰會(huì)的行業(yè)最佳實(shí)踐論壇中,美團(tuán)、京東、小米、騰訊音樂、360、馬上消費(fèi)金融、杭銀消金、斗魚、知乎、韻達(dá)、易觀、同程數(shù)科等行業(yè)領(lǐng)軍企業(yè)的多名參會(huì)專家,紛紛介紹了 Apache Doris 在企業(yè)內(nèi)部大規(guī)模落地應(yīng)用的實(shí)踐經(jīng)驗(yàn),并深度解讀了 Apache Doris 如何幫助企業(yè)實(shí)現(xiàn)降本增效。

  在縱騰集團(tuán)的案例分享中,Apache Doris 已經(jīng)助力縱騰集團(tuán)快速構(gòu)建起一個(gè)全新的流批一體數(shù)倉(cāng)架構(gòu),單日實(shí)時(shí)入庫數(shù)據(jù)量可達(dá)上億規(guī)模,同時(shí)支持上百個(gè)調(diào)度任務(wù)平穩(wěn)運(yùn)行,解決了隨數(shù)據(jù)增長(zhǎng)而日益復(fù)雜的業(yè)務(wù)需求。 在騰訊音樂的案例分享中,Apache Doris 助力騰訊音樂內(nèi)容數(shù)據(jù)平臺(tái)在百萬分群圈選場(chǎng)景中實(shí)現(xiàn)了近 20 倍的性能提升,同時(shí)在存儲(chǔ)和開發(fā)維護(hù)上降低了 40%以上的投入成本。在慧策的案例分享中,通過 Apache Doris 替代了原有的 Clickhouse,不僅極大提升了ETL效率,還極大降低了存儲(chǔ)成本、存儲(chǔ)空間僅原先40%不到。在美團(tuán)的案例分享中,Apache Doris 已成為美團(tuán)內(nèi)部統(tǒng)一的OLAP引擎,支持外賣、買菜、優(yōu)選等十余業(yè)務(wù)線,集群規(guī)模超百個(gè)、總機(jī)器規(guī)模數(shù)千臺(tái)。在馬上消費(fèi)金融的案例分享中, 基于 Apache Doris 全新的實(shí)時(shí)數(shù)倉(cāng)架構(gòu)極大提升了數(shù)據(jù)時(shí)效性,從數(shù)據(jù)生產(chǎn)至數(shù)據(jù)應(yīng)用,整個(gè)數(shù)據(jù)處理鏈路時(shí)延不超過1分鐘。在杭銀消金的案例分享中,利用 Apache Doris 1.2 最新版本的數(shù)據(jù)湖分析功能,實(shí)現(xiàn)對(duì)ES/Hive等多種異構(gòu)數(shù)據(jù)源的統(tǒng)一分析,并極大提升了查詢性能,降低資源消耗的同時(shí)使系統(tǒng)穩(wěn)定性進(jìn)一步提升。在斗魚的案例分享中,Apache Doris 解決了過去煙囪式開發(fā)和繁重架構(gòu)帶來的難運(yùn)維問題,并實(shí)現(xiàn)標(biāo)簽圈選時(shí)間分鐘級(jí)至秒級(jí)的進(jìn)化,實(shí)時(shí)標(biāo)簽任務(wù)穩(wěn)定性的同時(shí)產(chǎn)出時(shí)間也提升了40%。

  除以上所摘選內(nèi)容外,還有更多技術(shù)專家把自身真實(shí)業(yè)務(wù)場(chǎng)景的需求與實(shí)踐沉淀成寶貴的經(jīng)驗(yàn),在峰會(huì)上分享給所有參會(huì)的開發(fā)者。

  豐富的數(shù)據(jù)上下游與商業(yè)生態(tài)

  數(shù)據(jù)生態(tài)同樣是 Apache Doris 社區(qū)重點(diǎn)建設(shè)的方向。在商業(yè)與數(shù)據(jù)生態(tài)論壇上,來自 Apache DolphinScheduler PMC、Apache Kyuubi 、Apache Inlong、Dinky 社區(qū)、ClouGence 等開源社區(qū)及企業(yè)的多名技術(shù)專家為大家?guī)砹藬?shù)據(jù)分析與處理鏈路的深入思考,并解讀了如何結(jié)合 Apache Doris 構(gòu)建對(duì)用戶體驗(yàn)更加的數(shù)據(jù)分析解決方案。

  開源項(xiàng)目的成功離不開商業(yè)化力量的支持,如何通過企業(yè)級(jí)特性的增強(qiáng)為客戶提供具備差異性價(jià)值的服務(wù),以及如何將開源技術(shù)和云原生更好地結(jié)合、構(gòu)建具有競(jìng)爭(zhēng)力和影響力的產(chǎn)品和解決方案,同樣是本次峰會(huì)的亮點(diǎn)。在商業(yè)與數(shù)據(jù)生態(tài)論壇上,來自 SelectDB 的技術(shù)副總裁楊勇強(qiáng)在峰會(huì)上介紹了基于 Apache Doris 內(nèi)核打造的云原生實(shí)時(shí)數(shù)據(jù)倉(cāng)庫 SelectDB Cloud,采用完全存算分離的架構(gòu)設(shè)計(jì),是國(guó)內(nèi)首款實(shí)現(xiàn)多云中立、全托管且 SaaS 化的云數(shù)據(jù)倉(cāng)庫。

  此外 百度智能云、騰訊云以及火山引擎等國(guó)內(nèi)一線云廠商分別介紹了基于 Apache Doris 打造的云數(shù)據(jù)倉(cāng)庫服務(wù),可以快速助力企業(yè)建極速易用的云上數(shù)據(jù)分析平臺(tái)。

  全新定位,極速、易用、實(shí)時(shí)、統(tǒng)一的多模分析型數(shù)據(jù)庫

  在本次峰會(huì)上,Apache Doris PMC 陳明雨還代表社區(qū)首次發(fā)布了全新定位,并公布了社區(qū) 2023 年的研發(fā)計(jì)劃。

  “如果說過去 Apache Doris 更多是服務(wù)于在線報(bào)表場(chǎng)景和 Ad-hoc 分析的 OLAP 引擎的話,那么在所有社區(qū)和開發(fā)者的努力下,當(dāng)前 Apache Doris 已經(jīng)具備了更為廣闊的定位,即極速、易用、實(shí)時(shí)、統(tǒng)一的多模分析型數(shù)據(jù)庫。”陳明雨說道,“這其中的統(tǒng)一,既包含了架構(gòu)的統(tǒng)一、也包含了業(yè)務(wù)和數(shù)據(jù)的統(tǒng)一。用戶可以通過 Apache Doris 構(gòu)建多種不同場(chǎng)景的數(shù)據(jù)分析服務(wù)、同時(shí)支撐在線與離線的業(yè)務(wù)負(fù)載、高吞吐的交互式分析與高并發(fā)的點(diǎn)查詢;通過一套架構(gòu)實(shí)現(xiàn)湖和倉(cāng)的統(tǒng)一、在數(shù)據(jù)湖和多種異構(gòu)存儲(chǔ)之上提供無縫且極速的分析服務(wù);也可通過對(duì)日志/文本等半結(jié)構(gòu)化乃至非結(jié)構(gòu)化的多模數(shù)據(jù)進(jìn)行統(tǒng)一管理和分析、來滿足更多樣化數(shù)據(jù)分析的需求。這是我們希望 Apache Doris 能夠帶給用戶的價(jià)值,不再讓用戶在多套系統(tǒng)之間權(quán)衡,僅通過一個(gè)系統(tǒng)解決絕大部分問題,降低復(fù)雜技術(shù)棧帶來的開發(fā)、運(yùn)維和使用成本,最大化提升生產(chǎn)力。”

如圖片無法顯示,請(qǐng)刷新頁面

  在2023 年,Apache Doris 社區(qū)將開啟更多有意義的工作,全年的研發(fā)計(jì)劃主要會(huì)圍繞高性能、高性價(jià)比、混合負(fù)載分析、多模態(tài)數(shù)據(jù)分析、湖倉(cāng)一體、實(shí)時(shí)性以及易用性與穩(wěn)定性等方向展開,將回饋所有用戶以更佳的數(shù)據(jù)分析體驗(yàn),致力于成為全球OLAP 數(shù)據(jù)庫的新標(biāo)桿。

  至此,Doris Summit 2022 社區(qū)首屆峰會(huì)圓滿收官! 峰會(huì)的順利舉行,要特別感謝參與本次峰會(huì)分享的 40 余位技術(shù)專家以及 10 余位議題評(píng)審委員會(huì)專家,為所有社區(qū)用戶、開發(fā)者、數(shù)據(jù)庫技術(shù)從業(yè)者以及全體熱愛開源的人士帶來了一場(chǎng)如此精彩的技術(shù)盛宴,同樣也要感謝所有參與本次峰會(huì)的合作伙伴以及工作人員。

  2023 年是 Apache Doris 全新征程的開始,在未來的日子里,Apache Doris 必將本著為人們解決數(shù)據(jù)分析問題的初心,繼續(xù)砥礪前行。相信在所有社區(qū)用戶和開發(fā)者的幫助下, Apache Doris 會(huì)在更多的行業(yè)中和場(chǎng)景中得到更深度的應(yīng)用。也期待 Apache Doris 走向全球,為更多不同地域的人解決數(shù)據(jù)分析難題,代表中國(guó)開源力量在全球舞臺(tái)閃耀!

  # 關(guān)于 Doris Summit

  Doris Summit 是 Apache Doris 社區(qū)年度技術(shù)盛會(huì),大會(huì)匯聚世界各地 Apache Doris 社區(qū)成員及實(shí)時(shí)分析數(shù)據(jù)庫領(lǐng)域的專家。社區(qū)通過大會(huì)公布最新動(dòng)態(tài)以及年度 Roadmap,集結(jié)國(guó)內(nèi)外各大廠商分享基于 Doris 的實(shí)踐經(jīng)驗(yàn)及行業(yè)未來發(fā)展趨勢(shì),更有領(lǐng)域內(nèi)大咖與大家在線互動(dòng)交流。這是社區(qū)用戶及相關(guān)領(lǐng)域從業(yè)者不可多得的技術(shù)盛會(huì),不容錯(cuò)過,誠(chéng)邀您來參加!

  # 關(guān)于SelectDB

  SelectDB 是Doris Summit Asia 2022 的組織者,也是 Apache Doris 背后的商業(yè)化公司。致力于為 Apache Doris 社區(qū)提供一個(gè)由全職工程師、產(chǎn)品經(jīng)理和支持工程師組成的團(tuán)隊(duì),繁榮開源社區(qū)生態(tài),打造實(shí)時(shí)分析型數(shù)據(jù)庫領(lǐng)域的國(guó)際工業(yè)界標(biāo)準(zhǔn); Apache Doris 研發(fā)的新一代云原生實(shí)時(shí)數(shù)倉(cāng) SelectDB,運(yùn)行于多家云上,為用戶和客戶提供開箱即用的能力。

【免責(zé)聲明】本文僅代表作者本人觀點(diǎn),與CTI論壇無關(guān)。CTI論壇對(duì)文中陳述、觀點(diǎn)判斷保持中立,不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請(qǐng)讀者僅作參考,并請(qǐng)自行承擔(dān)全部責(zé)任。

相關(guān)熱詞搜索:

上一篇:昆石SBC-信令媒體加密處理

下一篇:最后一頁

相關(guān)閱讀:

專題

CTI論壇會(huì)員企業(yè)