數(shù)據(jù)清洗融合系統(tǒng)
國內(nèi)首創(chuàng)基于政務(wù)邏輯數(shù)據(jù)模型GLDM（Government Logical Data Model）的大數(shù)據(jù)融合平臺(tái)，以GLDM模型指導(dǎo)，支持湖倉一體6大分層設(shè)計(jì)架構(gòu)，內(nèi)置低代碼、流程式的數(shù)據(jù)清洗能力，快速實(shí)現(xiàn)對(duì)海量的、零碎的數(shù)據(jù)資源歸集、整理、清洗、轉(zhuǎn)換和融合
功能特性
分層管理表模型，多樣模型設(shè)計(jì)能力
提供六層數(shù)倉分層模式，支持各層數(shù)據(jù)表單獨(dú)管理。以資源目錄多部門\系統(tǒng)的統(tǒng)一管理樹，提供自動(dòng)連接讀取源表數(shù)據(jù)元結(jié)構(gòu)、自動(dòng)創(chuàng)建數(shù)倉貼源表等多種自動(dòng)能力。對(duì)各類資源庫的表設(shè)計(jì)，提供可視化的表模型設(shè)計(jì)能力，包括在線設(shè)計(jì)、批量導(dǎo)入、DDL解析建表和物理庫引入等多種方式，幫助快速構(gòu)建數(shù)據(jù)模型。
可視化數(shù)據(jù)開發(fā)，低代碼實(shí)現(xiàn)數(shù)據(jù)集成
提供可視化的頁面引導(dǎo)操作，幫助開發(fā)人員快速實(shí)現(xiàn)數(shù)據(jù)的源數(shù)據(jù)采集策略、標(biāo)準(zhǔn)表清洗規(guī)則引入、源和目標(biāo)表關(guān)聯(lián)、多表字段映射、多表融合策略配置、多表連接配置等操作。全程頁面配置后由系統(tǒng)自動(dòng)生成腳本，實(shí)現(xiàn)低代碼甚至零代碼輸入即可完成數(shù)據(jù)的集成作業(yè)開發(fā)操作。
作業(yè)依賴自動(dòng)生成、異常告警實(shí)時(shí)通知
一健自動(dòng)生成任務(wù)作業(yè)工作流，根據(jù)任務(wù)開發(fā)自動(dòng)創(chuàng)建任務(wù)數(shù)據(jù)表間的上下依賴，無需人工劃線設(shè)計(jì)工作流DAG圖。在生成的任務(wù)流實(shí)例中，系統(tǒng)提供以任務(wù)異常、數(shù)據(jù)異常、作業(yè)等待異常等多維度設(shè)置告警規(guī)則，幫助識(shí)別異常并實(shí)現(xiàn)作業(yè)快速解決異常的能力。
統(tǒng)一清洗規(guī)則管理，內(nèi)置常用清洗規(guī)則
提供統(tǒng)一的清洗規(guī)則管理功能，實(shí)現(xiàn)規(guī)則的"一次開發(fā)、無限復(fù)用"。可通過腳本將常用清洗函數(shù)規(guī)則在系統(tǒng)初始部署時(shí)直接內(nèi)置帶入，節(jié)省開發(fā)時(shí)間，幫助快速完成數(shù)據(jù)清洗加工。
多租戶模式支撐數(shù)據(jù)隔離
提供一鍵快速完成數(shù)倉初始化，無需任何代碼編寫，實(shí)現(xiàn)“即點(diǎn)即用”的系統(tǒng)初始能力。提供多租戶管理能力，可自定義租戶下各分層存儲(chǔ)數(shù)倉schema，實(shí)現(xiàn)租戶靈活配置數(shù)據(jù)的邏輯隔離能力。
產(chǎn)品優(yōu)勢
-
GLDM政務(wù)模型理論指導(dǎo)
GLDM模型是華傲從經(jīng)驗(yàn)中提煉，專業(yè)服務(wù)在政務(wù)領(lǐng)域的數(shù)據(jù)治理理論，以統(tǒng)一管理、六層構(gòu)建方式高效建設(shè)政務(wù)數(shù)據(jù)資源庫
-
自帶政務(wù)數(shù)據(jù)融合策略
內(nèi)置一數(shù)一源、來源優(yōu)先、數(shù)據(jù)新鮮度、最值等多種策略，無需開發(fā)即選即用，實(shí)現(xiàn)多源數(shù)據(jù)融合歸一
-
可視化的數(shù)據(jù)開發(fā)過程
采用可視化的步驟流程方式指導(dǎo)數(shù)據(jù)開發(fā)，由系統(tǒng)自動(dòng)生成數(shù)據(jù)腳本。簡化實(shí)施門檻，讓業(yè)務(wù)人員也可進(jìn)行專業(yè)的數(shù)據(jù)開發(fā)
-
支持主流云廠商底座
系統(tǒng)國產(chǎn)化全面適配，支持市場主流的數(shù)據(jù)庫、中間件和操作系統(tǒng)
-
支持湖倉一體架構(gòu)
GLDM六層支持配置HDFS系列、MPP數(shù)據(jù)倉庫的數(shù)據(jù)湖倉架構(gòu)部署，充分利用湖倉特點(diǎn)完成各類數(shù)據(jù)開發(fā)場景