隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的快速發(fā)展,實時數(shù)據(jù)分析應(yīng)用的業(yè)務(wù)需求量日益增長,例如實時推薦、實時風(fēng)控、實時監(jiān)測、精準(zhǔn)營銷等,數(shù)據(jù)實時處理能力成為企業(yè)提升競爭力的一大因素。華為云GaussDB(DWS)實時數(shù)倉提供即開即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)倉庫服務(wù),支撐高并發(fā)高性能實時數(shù)據(jù)分析。4月8日,在華為云TechWave全球技術(shù)峰會數(shù)據(jù)使能分論壇上,GaussDB(DWS)技術(shù)專家詳談實時數(shù)倉黑科技。
GaussDB(DWS)實時數(shù)據(jù)分析技術(shù)架構(gòu)基于企業(yè)級內(nèi)核,采用統(tǒng)一SQL引擎,多引擎協(xié)同,實現(xiàn)數(shù)據(jù)體系內(nèi)自閉環(huán),從而達(dá)到一份數(shù)據(jù)多個引擎調(diào)用,高效多維度分析。依據(jù)流數(shù)據(jù)和時序數(shù)據(jù)特征打造出從優(yōu)化器、執(zhí)行器到存儲的全系列、高性能、可擴(kuò)展的實時數(shù)倉,提供四大技術(shù)創(chuàng)新:
1.CEP引擎告別T+1模式
改變傳統(tǒng)數(shù)據(jù)先入庫再查詢的分析模式,CEP引擎提供流計算能力:數(shù)據(jù)先計算分析,并實時反饋計算結(jié)果,計算結(jié)果可以繼續(xù)進(jìn)行下一步計算或者保存,大大降低了數(shù)據(jù)處理時延。
2.1=N:GaussDB(DWS)實時數(shù)倉=Flink/SparkStreaming+Druid+InfluxDB……
國內(nèi)首創(chuàng)在同一套系統(tǒng)內(nèi)實現(xiàn)流和時序數(shù)據(jù)的處理和預(yù)聚合操作,減少數(shù)據(jù)跨系統(tǒng)間遷移,降低冗余存儲和加載時間,最大化的利用系統(tǒng)緩存,提高處理效率。
3.預(yù)置豐富時序、流處理函數(shù),一切皆SQL
采用最簡潔高效的數(shù)據(jù)開發(fā)語言SQL,并預(yù)置豐富的時序和流處理函數(shù),通過SQL即可完成復(fù)雜流式計算,可實現(xiàn)億級數(shù)據(jù),秒級聚合,極大簡化應(yīng)用開發(fā)。
4.高達(dá)40:1的壓縮比,極大節(jié)約存儲成本
通過自適應(yīng)壓縮算法,充分利用行列混合存儲+時序數(shù)據(jù)專用壓縮算法優(yōu)勢,實現(xiàn)低時延查詢和高效存儲。
技術(shù)專家還分享了實時智能監(jiān)控平臺的實踐,傳統(tǒng)數(shù)據(jù)倉庫單節(jié)點(diǎn)入口性能和散列度存在瓶頸,GaussDB(DWS)實時數(shù)倉單節(jié)點(diǎn)入庫性能超過10w/s,支持千萬級散列度計算,徹底解決時序數(shù)據(jù)和流數(shù)據(jù)“裝不進(jìn)”和“算不動”的問題。
目前GaussDB(DWS)實時數(shù)倉已經(jīng)正式發(fā)布公測。華為云GaussDB(DWS)實時數(shù)倉仍將不斷迭代優(yōu)化,為企業(yè)用戶提供更強(qiáng)大的實時數(shù)據(jù)分析能力。
責(zé)任編輯: 中國能源網(wǎng)