大數(shu)(shu)據(ju)平(ping)臺(tai)支(zhi)持數(shu)(shu)據(ju)倉(cang)庫(ku)和數(shu)(shu)據(ju)湖的(de)(de)建設,提供一個完整的(de)(de)任(ren)務(wu)開發和運維(wei)的(de)(de)平(ping)臺(tai)能力。平(ping)臺(tai)主要分為Data Studio 以及運維(wei)平(ping)臺(tai),數(shu)(shu)據(ju)開發方面主要支(zhi)持 Flink SQL、Flink Jar 以及普通的(de)(de) SQL 任(ren)務(wu)。
核心特性包括:
DataStudio提(ti)供(gong)專業的大(da)數(shu)據開發功(gong)能(neng),支持血緣分(fen)析、元數(shu)據查詢 、自動提(ti)示(shi)與補全、語法(fa)校驗、 MetaStore等(deng)。
運維(wei)平臺提供從開發調試到上線下線的運維(wei)監控及 SQL 的查詢執行能力,使數(shu)倉建設及數(shu)據治(zhi)理一(yi)體化。
DolphinScheduler 進行離線工作流編排和(he)調度(du)。
Flink CDC 和 Flink SQL 實現流處理能力,進(jin)行實時任務的(de)開發。
選擇 Doris 作為實時(shi)數據(ju)倉庫來(lai)寫入數據(ju)并(bing)進(jin)行 OLAP 查詢。