數(shù)據(jù)集成系統(tǒng)
華傲數(shù)據(jù)集成系統(tǒng)提供靈活的數(shù)據(jù)讀寫插件，支持多源異構(gòu)數(shù)據(jù)源的讀取和寫入，在任意時(shí)間、任意系統(tǒng)之間實(shí)現(xiàn)輕量級(jí)離線數(shù)據(jù)集成和實(shí)時(shí)數(shù)據(jù)同步。通過構(gòu)建集成任務(wù)，源端選擇相應(yīng)的數(shù)據(jù)源，目的端選擇數(shù)據(jù)歸集目標(biāo)庫(kù)，即可完成定時(shí)或?qū)崟r(shí)的數(shù)據(jù)歸集工作，實(shí)現(xiàn)數(shù)據(jù)歸集的全流程監(jiān)控管理，致力于幫助企事業(yè)單位在大數(shù)據(jù)應(yīng)用的采集端保障數(shù)據(jù)質(zhì)量。
功能特性
30+種豐富的異構(gòu)數(shù)據(jù)源
支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的同步。結(jié)構(gòu)化庫(kù)表數(shù)據(jù)同步，支持主流的Mysql、Oracle、達(dá)夢(mèng)、PostgreSQL、Hive、DWS、Hudi等數(shù)據(jù)庫(kù)的數(shù)據(jù)同步。Excel、CSV/TXT、RestAPI等半結(jié)構(gòu)化數(shù)據(jù)同步入庫(kù)。文件、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)遷移。
可靠、 高效、 便捷的數(shù)據(jù)同步
數(shù)據(jù)同步效率，是影響數(shù)據(jù)集成質(zhì)量的關(guān)鍵因素，華傲數(shù)據(jù)集成系統(tǒng)提供的靈活數(shù)據(jù)讀寫插件，不但實(shí)現(xiàn)了不同數(shù)據(jù)源異構(gòu)數(shù)據(jù)之間的準(zhǔn)確、 可靠、 高效、 便捷的同步支持，還大大提升數(shù)據(jù)遷移效率，能夠充分滿足企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖項(xiàng)目的數(shù)據(jù)遷移需求。
統(tǒng)一編排、調(diào)度、管控
數(shù)據(jù)集成系統(tǒng)結(jié)合華傲編排調(diào)度系統(tǒng)作業(yè)編排、調(diào)度、運(yùn)維功能，實(shí)現(xiàn)所有的數(shù)據(jù)同步任務(wù)便捷集中進(jìn)行，支持應(yīng)用流程的發(fā)布和管理，方便管理員根據(jù)實(shí)際情況最大限度提升流程執(zhí)行效率。
智能、便捷配置數(shù)據(jù)遷移任務(wù)
由于數(shù)據(jù)集成工作常常牽扯到多個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，在傳統(tǒng)的處理流程中，涉及到的編碼工作量往往非常巨大。數(shù)據(jù)集成系統(tǒng)將復(fù)雜的數(shù)據(jù)遷移開發(fā)流程提供可視化的任務(wù)配置界面，通過配置數(shù)據(jù)來源、數(shù)據(jù)目標(biāo)，并快速確認(rèn)兩個(gè)異構(gòu)庫(kù)之間的數(shù)據(jù)類型映射，就可以輕松完成任務(wù)配置，同時(shí)可配置遷移過程中的最大并發(fā)數(shù)、同步速率和臟數(shù)據(jù)內(nèi)容。以低代碼的智能操作幫助用戶節(jié)省工作時(shí)間，提高工作效率。
任務(wù)監(jiān)測(cè)預(yù)警、數(shù)據(jù)缺失填充
對(duì)結(jié)構(gòu)化數(shù)據(jù)同步，支持?jǐn)?shù)據(jù)的同步質(zhì)量校驗(yàn)，智能識(shí)別異常數(shù)據(jù)，并提供異常結(jié)果，同時(shí)支持對(duì)寫入目的庫(kù)的異常缺失數(shù)據(jù)的填補(bǔ)。支持智能基線告警，擁有豐富的監(jiān)控策略，對(duì)任務(wù)異常及時(shí)發(fā)出告警通知。
產(chǎn)品優(yōu)勢(shì)
-
支持豐富的數(shù)據(jù)庫(kù)類型
數(shù)據(jù)同步適配的數(shù)據(jù)庫(kù)類型囊括近年來國(guó)內(nèi)外主流數(shù)據(jù)庫(kù)類型，如MySql、Oracle、達(dá)夢(mèng)、DWS、Hive、Hudi等
-
多種數(shù)據(jù)采集方式
支持批量和增量數(shù)據(jù)離線同步，庫(kù)表、Kafka、API等實(shí)時(shí)數(shù)據(jù)同步，數(shù)據(jù)同步準(zhǔn)確、可靠、高效
-
多源異構(gòu)數(shù)據(jù)集成
支持結(jié)構(gòu)化數(shù)據(jù)（如庫(kù)表數(shù)據(jù)等）、半結(jié)構(gòu)化（如文件解析、API）和非結(jié)構(gòu)化數(shù)據(jù)（如視頻、音頻等）的全量、增量和批量數(shù)據(jù)集成，以滿足用戶不同的數(shù)據(jù)集成需求
-
可視化便捷操作
可視化表單形式配置數(shù)據(jù)同步任務(wù)，以低代碼的智能操作實(shí)現(xiàn)數(shù)據(jù)采集任務(wù)的增刪改查、采集任務(wù)的監(jiān)控管理等功能，能夠?yàn)橛脩籼峁└庇^的數(shù)據(jù)同步執(zhí)行結(jié)果展示