數據清洗融合系統
國內首創基于政務邏輯數據模型GLDM(Government Logical Data Model)的大數據融合平臺,以GLDM模型指導,支持湖倉一體6大分層設計架構,內置低代碼、流程式的數據清洗能力,快速實現對海量的、零碎的數據資源歸集、整理、清洗、轉換和融合
功能特性
分層管理表模型,多樣模型設計能力
提供六層數倉分層模式,支持各層數據表單獨管理。以資源目錄多部門\系統的統一管理樹,提供自動連接讀取源表數據元結構、自動創建數倉貼源表等多種自動能力。對各類資源庫的表設計,提供可視化的表模型設計能力,包括在線設計、批量導入、DDL解析建表和物理庫引入等多種方式,幫助快速構建數據模型。

可視化數據開發,低代碼實現數據集成
提供可視化的頁面引導操作,幫助開發人員快速實現數據的源數據采集策略、標準表清洗規則引入、源和目標表關聯、多表字段映射、多表融合策略配置、多表連接配置等操作。全程頁面配置后由系統自動生成腳本,實現低代碼甚至零代碼輸入即可完成數據的集成作業開發操作。

作業依賴自動生成、異常告警實時通知
一健自動生成任務作業工作流,根據任務開發自動創建任務數據表間的上下依賴,無需人工劃線設計工作流DAG圖。在生成的任務流實例中,系統提供以任務異常、數據異常、作業等待異常等多維度設置告警規則,幫助識別異常并實現作業快速解決異常的能力。

統一清洗規則管理,內置常用清洗規則
提供統一的清洗規則管理功能,實現規則的"一次開發、無限復用"。可通過腳本將常用清洗函數規則在系統初始部署時直接內置帶入,節省開發時間,幫助快速完成數據清洗加工。

多租戶模式支撐數據隔離
提供一鍵快速完成數倉初始化,無需任何代碼編寫,實現“即點即用”的系統初始能力。提供多租戶管理能力,可自定義租戶下各分層存儲數倉schema,實現租戶靈活配置數據的邏輯隔離能力。

產品優勢
-
GLDM政務模型理論指導
GLDM模型是華傲從經驗中提煉,專業服務在政務領域的數據治理理論,以統一管理、六層構建方式高效建設政務數據資源庫
-
自帶政務數據融合策略
內置一數一源、來源優先、數據新鮮度、最值等多種策略,無需開發即選即用,實現多源數據融合歸一
-
可視化的數據開發過程
采用可視化的步驟流程方式指導數據開發,由系統自動生成數據腳本。簡化實施門檻,讓業務人員也可進行專業的數據開發
-
支持主流云廠商底座
系統國產化全面適配,支持市場主流的數據庫、中間件和操作系統
-
支持湖倉一體架構
GLDM六層支持配置HDFS系列、MPP數據倉庫的數據湖倉架構部署,充分利用湖倉特點完成各類數據開發場景