安全管理能力擴(kuò)展
安全性在大數(shù)據(jù)生態(tài)系統(tǒng)中是至關(guān)重要的。為此，優(yōu)刻得在USDP v3.1 版本中加強(qiáng)了安全性措施，提供更全面的數(shù)據(jù)保護(hù)和管理功能。引入了 LDAP 服務(wù)可視化配置集成功能，可以大幅簡(jiǎn)化手動(dòng)管理和配置 LDAP 服務(wù)的復(fù)雜性。通過(guò)使用配置向?qū)В脩艨梢暂p松地為集群內(nèi)各大數(shù)據(jù)服務(wù)組件進(jìn)行配置集成 LDAP 服務(wù)并生效。USDP v3.1 版本還支持了一鍵解除 LDAP 功能，使用戶可以快速、便捷地實(shí)現(xiàn)集群生態(tài)統(tǒng)一管控能力。此外，該版本還增加了對(duì) FreeIPA 類型的 KDC 的支持，以適應(yīng)將 FreeIPA 作為身份管理系統(tǒng)的用戶的使用場(chǎng)景。這些安全管理能力的擴(kuò)展，為企業(yè)提供了更加靈活、可靠的安全解決方案。
數(shù)據(jù)湖架構(gòu)及相關(guān)服務(wù)擴(kuò)展
為了滿足日益增長(zhǎng)的數(shù)據(jù)處理和分析需求，以及對(duì)數(shù)據(jù)分析時(shí)效性、存儲(chǔ)管理的要求，USDP v3.1 版本中，引入了 Hudi、Iceberg 和 Canal 等組件，進(jìn)一步豐富了USDP的大數(shù)據(jù)服務(wù)生態(tài)，為用戶提供全面的數(shù)據(jù)管理解決方案。
Hudi 和 Iceberg 提供了強(qiáng)大的數(shù)據(jù)管理和存儲(chǔ)能力，支持增量數(shù)據(jù)更新、事務(wù)性寫(xiě)入和元數(shù)據(jù)管理，使數(shù)據(jù)操作更高效、更可靠。這些組件可以幫助用戶構(gòu)建湖倉(cāng)一體的數(shù)據(jù)湖架構(gòu)，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)和管理，同時(shí)提供靈活、可靠的數(shù)據(jù)操作和查詢。
而 Canal 作為一種流式數(shù)據(jù)采集工具，能夠?qū)崟r(shí)捕獲數(shù)據(jù)庫(kù)的變更，并將數(shù)據(jù)發(fā)送到目標(biāo)系統(tǒng)，實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)采集和傳輸。
通過(guò)引入這些組件，用戶可以在現(xiàn)有的大數(shù)據(jù)集群基礎(chǔ)上，構(gòu)建更加完整和可靠的數(shù)據(jù)湖架構(gòu)。無(wú)論是數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理，還是數(shù)據(jù)采集和傳輸，都能夠滿足企業(yè)的大數(shù)據(jù)處理和分析需求。
集群資源池管理配置功能
集群資源池管理配置功能為用戶提供了便捷的管理工具，可以對(duì) YARN 和 Impala 的集群資源池進(jìn)行可視化動(dòng)態(tài)配置。對(duì)于 YARN，用戶可以選擇容量調(diào)度模式，而對(duì)于 Impala，用戶可以選擇公平調(diào)度模式。通過(guò)這個(gè)工具，為用戶提供了更靈活、易優(yōu)化的資源管理方式，使不同的業(yè)務(wù)獲得整個(gè)集群計(jì)算資源的合理分配，規(guī)避資源爭(zhēng)搶等問(wèn)題，從容地應(yīng)對(duì)復(fù)雜的業(yè)務(wù)需求和資源分配挑戰(zhàn)。
集群資源池管理配置功能的應(yīng)用場(chǎng)景非常廣泛。例如，在一個(gè)大數(shù)據(jù)集群中，可能有不同的業(yè)務(wù)部門(mén)或應(yīng)用，需要使用不同的計(jì)算資源，而資源的分配和管理可能面臨挑戰(zhàn)。通過(guò)集群資源池管理配置功能，用戶可以根據(jù)實(shí)際需求，為各個(gè)業(yè)務(wù)部門(mén)或應(yīng)用分配合適的資源，確保資源的公平分配和有效利用。這樣一來(lái)，不同的業(yè)務(wù)可以更高效地運(yùn)行，避免資源爭(zhēng)奪導(dǎo)致的性能下降或系統(tǒng)崩潰。同時(shí)，管理員也可以更好地監(jiān)控和管理集群中資源的使用情況，及時(shí)調(diào)整資源分配策略，提高集群的整體性能和效率�？傊髷�(shù)據(jù)集群資源池的管理配置功能為用戶提供了更靈活和優(yōu)化的資源管理方式，幫助他們更好地應(yīng)對(duì)復(fù)雜的業(yè)務(wù)需求和資源分配挑戰(zhàn)。
監(jiān)控能力擴(kuò)展
監(jiān)控能力擴(kuò)展功能為用戶提供了更強(qiáng)大和靈活的監(jiān)控工具，滿足不同業(yè)務(wù)場(chǎng)景下的監(jiān)控需求。新增的自定義監(jiān)控圖表功能，使用戶可以按照業(yè)務(wù)關(guān)注點(diǎn)自主選擇關(guān)鍵的監(jiān)控指標(biāo)，并以圖表化的方式展示，實(shí)現(xiàn)對(duì)集群、主機(jī)和大數(shù)據(jù)服務(wù)的關(guān)鍵狀態(tài)反饋的快速捕獲。用戶可以根據(jù)自己的需求進(jìn)行指標(biāo)匯總、對(duì)比等處理，便捷地獲得所關(guān)注的監(jiān)控?cái)?shù)據(jù)圖表化呈現(xiàn)。v3.1 版本中對(duì)監(jiān)控能力的擴(kuò)展，提供了更靈活、個(gè)性化的監(jiān)控解決方案，幫助用戶更好地管理和優(yōu)化大數(shù)據(jù)平臺(tái)的運(yùn)行情況和性能。
此外，該功能還支持用戶自定義業(yè)務(wù)監(jiān)控的擴(kuò)展。用戶可以通過(guò)擴(kuò)展采集端的方式，采集平臺(tái)默認(rèn)未采集的系統(tǒng)或服務(wù)的監(jiān)控指標(biāo)。借助 USDP 監(jiān)控模塊，用戶可以自定義拓展監(jiān)控，滿足特定業(yè)務(wù)需求。使得用戶能夠更全面地監(jiān)控和評(píng)估與業(yè)務(wù)相關(guān)的指標(biāo)，從而更好地把握系統(tǒng)的運(yùn)行狀況和性能表現(xiàn)。
這些監(jiān)控能力的擴(kuò)展功能適用于各種應(yīng)用場(chǎng)景。例如，在大規(guī)模數(shù)據(jù)處理的場(chǎng)景下，用戶可以自定義監(jiān)控圖表，以展示關(guān)鍵指標(biāo)的趨勢(shì)和變化，幫助監(jiān)控任務(wù)的執(zhí)行和資源利用；在復(fù)雜的服務(wù)架構(gòu)中，用戶可以自定義業(yè)務(wù)監(jiān)控，以追蹤特定服務(wù)的性能和可用性。
運(yùn)維審計(jì)能力擴(kuò)展
運(yùn)維審計(jì)能力的擴(kuò)展功能為管理員提供了更強(qiáng)大和全面的審計(jì)工具，用于監(jiān)控和記錄平臺(tái)、集群和大數(shù)據(jù)服務(wù)的關(guān)鍵狀態(tài)變化。新增的記錄和展示功能，使管理員能夠快速發(fā)現(xiàn)已發(fā)生的異常情況，并及時(shí)介入診斷和處理這些異常事件，確保系統(tǒng)的穩(wěn)定和安全。
新增的操作日志審計(jì)功能能夠幫助管理員追溯操作行為，通過(guò)篩選器快速檢索所需的操作日志，實(shí)現(xiàn)對(duì)操作行為的追溯能力。
在大數(shù)據(jù)平臺(tái)的日常運(yùn)維中，管理員可以通過(guò)審計(jì)功能追蹤和記錄平臺(tái)、集群和各大數(shù)據(jù)服務(wù)的關(guān)鍵信息，如硬件資源異常檢測(cè)、服務(wù)狀態(tài)異常、集群資源緊缺、錯(cuò)誤告警等，以便快速識(shí)別和解決潛在問(wèn)題。操作日志審計(jì)功能可以幫助管理員跟蹤和審查管理用戶操作行為，提高安全性和合規(guī)性。
另外，在故障排除和系統(tǒng)故障恢復(fù)的場(chǎng)景中，運(yùn)維審計(jì)功能可以提供有關(guān)事件發(fā)生的詳細(xì)信息，輔助管理員進(jìn)行診斷和處理，縮短故障恢復(fù)時(shí)間。
