大數(shù)據(jù)分析決策解決方案架構圖
但是,隨著數(shù)據(jù)的爆炸增長,企業(yè)對于數(shù)據(jù)價值的需求越來越高,需要通過大量的數(shù)據(jù)分析來支持業(yè)務決策,因此,建立一套數(shù)據(jù)分析系統(tǒng)(如上圖所示)對數(shù)據(jù)進行一站式整合、挖掘、分析、可視化的需求越來越強,因為一旦原始數(shù)據(jù)流被以圖像形式表示,以此做決策就變得更加輕松。
本文將會把架構圖中出現(xiàn)的一些可視化工具與大家分享一下,希望幫助大家找到適合自己需求的工具,使企業(yè)可快速的獲取業(yè)務數(shù)據(jù),并通過圖形化的手段進行展現(xiàn)和分析,一眼洞察自身業(yè)務數(shù)據(jù)信息,實現(xiàn)企業(yè)數(shù)據(jù)化運營。
前端可視化應用
HENGSHI LITE
輕量的數(shù)據(jù)可視化,為數(shù)據(jù)驅動型組織量身打造的敏捷、實時、協(xié)作的大數(shù)據(jù)可視化分析平臺。
核心亮點
1. 大數(shù)據(jù)平臺的最優(yōu)價值體現(xiàn)
支持當前所有主流 Hadoop-based 數(shù)據(jù)源,可配合 Spark SQL 或 Cloudera Impala 等高效查詢引擎,對 TB 級別數(shù)據(jù)進行秒級交互式查詢。支持 ElasticSearch/Cloudera Search 等搜索類數(shù)據(jù)源,對日志文件進行可視化分析。
2. 多數(shù)據(jù)源接入
異構數(shù)據(jù)接入能力,可對接大數(shù)據(jù)環(huán)境中主流的各種數(shù)據(jù)源,包括傳統(tǒng)數(shù)據(jù)庫、日志文件、Apache Hadoop 平臺、NoSQL 平臺,搜索類平臺和 SaaS API 等數(shù)據(jù)源,提供異構數(shù)據(jù)源的關聯(lián)查詢。
3. 數(shù)據(jù)科學工作臺
提供基于 R/Python 的機器學習建模等高級分析手段。
4. 豐富的數(shù)據(jù)可視化
包括儀表盤(DashBoard)和數(shù)據(jù)集(DateSet)。其中,儀表盤作為數(shù)據(jù)分析的成果展覽室,可對某項業(yè)務當前的全貌進行多角度展現(xiàn),并提供畫布 Canvas 的調整功能,可自由拖拽進行布局。構成儀表盤的各個探索圖標來自于某個數(shù)據(jù)集的分析成果,用戶可以直接在儀表盤中直接打開進入下一個探索圖表,進行數(shù)據(jù)的進一步探索、優(yōu)化和完善。
5. 安全認證和協(xié)作分享
支持靈活的權限角色設置,企業(yè)用戶各部門可進行數(shù)據(jù)驅動式的運營協(xié)作。同時提供便利的發(fā)布分享途徑,讓數(shù)據(jù)分析的可視化成果在企業(yè)成員之間一鍵可達。
數(shù)果SUGO-TSA時序多維分析
數(shù)果 SUGO-TSA (Time Series Analytics) 時序多維分析工具,幫助企業(yè)快速突破處理爆發(fā)的行為數(shù)據(jù)、日志數(shù)據(jù)等時序數(shù)據(jù)遇到的瓶頸,能夠快速對時序數(shù)據(jù)進行實時多維分析,并迅速生成可視化報表。只需要進行簡單拖拽式操作,即可將上億數(shù)據(jù)秒級分析,且以專業(yè)的可視化圖形呈現(xiàn)出來,讓企業(yè)中每一個業(yè)務人員都具有自助分析的能力。
SUGO-TSA 基于“數(shù)果Tindex”加速引擎實現(xiàn),整合了“搜索引擎”對數(shù)據(jù)的檢索能力,以及大數(shù)據(jù)實時分析平臺的聚合分析能力,既保證了數(shù)據(jù)的實時性和指標自由定義,又能滿足大數(shù)據(jù)量秒級查詢的需求。
Tindex 技術架構
核心亮點
- 海量增量數(shù)據(jù)實時接入
- 明細數(shù)據(jù)儲存+預聚合存儲
- 海量數(shù)據(jù)中實現(xiàn)快速檢索
- 靈活的多維分析
- 實時監(jiān)控及跟蹤告警
Yonghong Z-Suite
永洪 BI 享有超快上線周期和高性價比的美譽,拖拽式的簡單操作使得人人都能以自服務的方式來進行數(shù)據(jù)分析。它的速度快得超乎你的想象,只需幾分鐘時間就能生成分析結果,一天時間內變更分析需求。
產(chǎn)品內整合了聚類、分類、回歸、時序等深度分析算法,讓用戶能在一個操作界面中同時進行統(tǒng)計分析和深度分析, 且對二者進行關聯(lián)處理。通過結合深度分析算法,幫助用戶洞察無法直接觀測到的數(shù)據(jù)背后的關聯(lián)、趨勢和邏輯。界面極為易用,無需技術背景,業(yè)務人員可輕松上手,自服務完成深度分析需求。 通過深度分析算法進行數(shù)據(jù)預測和數(shù)據(jù)關聯(lián)性洞察,實現(xiàn)對數(shù)據(jù)含義和價值的深度挖掘。
敏捷 BI 技術架構
核心亮點
- 簡單交付、極致易用
- 靈活的自服務操作
- 美觀的交互界面
- 提供不同級別的查詢支持,支持跨庫跨源連接
- 提供多種權限控制選擇
- 移動跨屏
DataHunter業(yè)務數(shù)據(jù)可視化分析平臺
DataHunter 可以幫助企業(yè)搭建一站式的業(yè)務數(shù)據(jù)可視化分析平臺,幫助企業(yè)快速了解業(yè)務狀況,及時發(fā)現(xiàn)問題進而改進業(yè)務。
產(chǎn)品架構
核心亮點
1. 異構數(shù)據(jù)源整合
兼容各種數(shù)據(jù)源類型,支持海量數(shù)據(jù)。可接入Excel/CSV等數(shù)據(jù)文件、企業(yè)各種業(yè)務系統(tǒng)、第三方互聯(lián)網(wǎng)數(shù)據(jù)、公共數(shù)據(jù)服務平臺等來源,輕松整合所有相關業(yè)務數(shù)據(jù),幫助企業(yè)消滅數(shù)據(jù)孤島。
2. 深度交互分析
基于探索式分析,支持智能推薦圖形、圖表協(xié)同過濾、全維度數(shù)據(jù)鉆取,幫助用戶快速定位并發(fā)現(xiàn)問題。拖拽式的操作,簡單易用。
3. 團隊溝通協(xié)作
便捷的看板分享與討論功能,可通過生成鏈接的方式將看板快速分享給團隊成員或其他人,同時支持基于看板的討論,通過發(fā)送文字、圖片、圖表快照等內容進行溝通,滿足團隊溝通協(xié)作需求。
4. 實時多屏展現(xiàn)
多平臺數(shù)據(jù)可視化展現(xiàn),可在電視、電腦、手機等多終端同步顯示,7x24小時不間斷展示業(yè)務數(shù)據(jù)動態(tài),方便隨時決策。
5. 定制化權限管理
支持用戶創(chuàng)建團隊和自定義權限管理,可對團隊中不同的角色分配對應的數(shù)據(jù)和看板,滿足各級人員分析查看業(yè)務數(shù)據(jù)的需求。
后端數(shù)據(jù)處理分析應用
Kyligence Enterprise
Kyligence Enterprise
過去,企業(yè)通過自建大數(shù)據(jù)基礎架構、運維分析平臺、培訓各類技術人才等形式滿足大數(shù)據(jù)分析的需求,但冗長、復雜的流程拖慢了海量大數(shù)據(jù)分析的步伐。為了解決這一痛點,青云QingCloud AppCenter 近期上線了 Kyligence Analytics Platform(企業(yè)級 Kylin 應用),青云與 Kyligence 攜手為企業(yè)提供從部署到分析都更加高效、便捷的云上大數(shù)據(jù)分析解決方案,助力云時代企業(yè)用戶的業(yè)務發(fā)展。
Kyligence Analytics Platform (KAP) 是 Kyligence 提供的基于 Apache Kylin 的企業(yè)級大數(shù)據(jù)智能分析平臺,來自Apache Kylin原創(chuàng)團隊,在 PB 級數(shù)據(jù)集上提供亞秒級標準 SQL 查詢響應,提供互聯(lián)網(wǎng)級的高并發(fā)訪問,賦能分析師以行業(yè)標準的數(shù)據(jù)倉庫和商業(yè)智能方法論架構基于 Hadoop 的解決方案,支持主流BI工具無縫集成。
目前,Kyligence 已廣泛應用于諸多客戶,為國內外金融、電信運營商、零售業(yè)、制造、廣告等相關領域客戶提供大數(shù)據(jù)分析技術及解決方案,包括太平洋保險、國泰君安、華泰證券、上汽集團、華為、OPPO、陸金所等數(shù)十家大中型企業(yè)。
產(chǎn)品架構
核心亮點
該應用運行在 QingMR1.2.0+之上,深度整合了 Hadoop 集群。
使用它您將方便地獲得一個 Hadoop 集群,以及運行在其上的 KAP 實例,所有的配置均為您自動完成。通過安裝實施本軟件,可以有效地降低大數(shù)據(jù)使用的難度,提高大數(shù)據(jù)分析的效率,有利于企業(yè)在云上快速開展業(yè)務。
HashData 數(shù)據(jù)倉庫
HashData 數(shù)據(jù)倉庫是一個高性能、完全托管的PB級數(shù)據(jù)倉庫服務,讓企業(yè)用戶能夠輕松地分析海量數(shù)據(jù)。
通過集成 MPP 數(shù)據(jù)庫的查詢能力、云計算的彈性以及大數(shù)據(jù)平臺的靈活性,HashData 數(shù)據(jù)倉庫創(chuàng)新性的元數(shù)據(jù)、計算和存儲三者分離的架構提供了傳統(tǒng)數(shù)據(jù)倉庫解決方案無法比擬的易用性、高可用、擴展性和高并發(fā),并在互聯(lián)網(wǎng) SaaS、政務、工業(yè)物聯(lián)網(wǎng)等行業(yè)成功落地多個項目。
產(chǎn)品架構
核心亮點
1. 數(shù)據(jù)倉庫服務
“加載數(shù)據(jù),分析數(shù)據(jù),其它交給我們”。通過使用 HashData 云端數(shù)據(jù)倉庫,企業(yè)用戶可以在幾分中內啟動一個包含幾十個甚至上百個節(jié)點的數(shù)據(jù)倉庫集群,數(shù)據(jù)加載后馬上可以開始數(shù)據(jù)分析任務。同時由于是完全托管的云服務,HashData 數(shù)據(jù)倉庫承擔了所有的集群資源配置、數(shù)據(jù)備份、監(jiān)控審計、錯誤恢復、高可用和升級等紛繁復雜、極易出錯的運維工作,讓用戶專注于業(yè)務分析上面。
2. 多維度彈性
基于云平臺,計算和存儲物理上分離、邏輯上集成的架構使得 HashData 實現(xiàn)了多維度彈性:橫向伸縮和縱向伸縮。企業(yè)用戶可以根據(jù)業(yè)務和數(shù)據(jù)量的變化,動態(tài)調整數(shù)據(jù)倉庫集群中計算節(jié)點的數(shù)量。同時,用戶也可以在不增刪節(jié)點的時候,調整每個計算節(jié)點的計算和存儲能力。這種多維度彈性使得用戶可以使用最合適的資源處理當前業(yè)務。
3. 超高性能
HashData 的架構專門為數(shù)據(jù)倉庫應用優(yōu)化,從而能夠提供超高性能。這些優(yōu)化包括無共享大規(guī)模并行處理(MPP)、流水式執(zhí)行引擎、列式存儲和大表分區(qū)等技術。配合我們提供的多維度彈性,用戶可以取得非常高的性價比。
4. 兼容開源
作為云原生的數(shù)據(jù)倉庫服務,HashData 在 PostgreSQL 和 Greenplum Database 的基礎上對系統(tǒng)架構和運行實現(xiàn)上面進行了大量深度的優(yōu)化。但在查詢接口(包括使用習慣)以及底層數(shù)據(jù)文件存儲格式和訪問協(xié)議方面,我們保持與開源系統(tǒng)一致。這一方面意味著用戶可以充分利用已有的 SQL 技能和在 BI 和 ETL 工具方面的投入;另一方面也意味著使用 HashData 完全沒有應用和數(shù)據(jù)綁架的風險。
如上圖所示,文中提到的 6 種可視化工具只不過是青云QingCloud AppCenter 『數(shù)據(jù)可視化應用推薦專題』大量數(shù)據(jù)可視化解決方案和工具中的一部分。
我們希望所有的用戶都可以通過該專題找到最適合他們的工具,并能夠使用這些工具幫助他們將輸入的原始數(shù)據(jù)轉化為一系列清晰易懂的圖像和圖表,并通過圖形化的手段進行展現(xiàn)和分析,實現(xiàn)數(shù)據(jù)驅動價值。
總結
PS:為了給企業(yè)與開發(fā)者提供更好的用戶體驗,我們對 AppCenter 進行了改版與升級,主要新增一下幾點功能:
- 增加專題頁面:用戶可以更加方便的獲取適合他們的應用與工具。同時首頁與 App 明細頁面也進行了優(yōu)化。
- 增加優(yōu)惠券功能:ISV 開發(fā)者可以為自己的應用發(fā)放服務優(yōu)惠券。
- 計費系統(tǒng)升級:服務費優(yōu)惠劵與計費系統(tǒng)整合,方便開發(fā)者與企業(yè)進行財務管理。