數據集成系統
華傲數據集成系統提供靈活的數據讀寫插件，支持多源異構數據源的讀取和寫入，在任意時間、任意系統之間實現輕量級離線數據集成和實時數據同步。通過構建集成任務，源端選擇相應的數據源，目的端選擇數據歸集目標庫，即可完成定時或實時的數據歸集工作，實現數據歸集的全流程監控管理，致力于幫助企事業單位在大數據應用的采集端保障數據質量。
功能特性
30+種豐富的異構數據源
支持結構化、半結構化、非結構化數據的同步。結構化庫表數據同步，支持主流的Mysql、Oracle、達夢、PostgreSQL、Hive、DWS、Hudi等數據庫的數據同步。Excel、CSV/TXT、RestAPI等半結構化數據同步入庫。文件、圖片、視頻等非結構化數據遷移。
可靠、 高效、 便捷的數據同步
數據同步效率，是影響數據集成質量的關鍵因素，華傲數據集成系統提供的靈活數據讀寫插件，不但實現了不同數據源異構數據之間的準確、 可靠、 高效、 便捷的同步支持，還大大提升數據遷移效率，能夠充分滿足企業級數據倉庫、數據湖項目的數據遷移需求。
統一編排、調度、管控
數據集成系統結合華傲編排調度系統作業編排、調度、運維功能，實現所有的數據同步任務便捷集中進行，支持應用流程的發布和管理，方便管理員根據實際情況最大限度提升流程執行效率。
智能、便捷配置數據遷移任務
由于數據集成工作常常牽扯到多個業務系統的數據，在傳統的處理流程中，涉及到的編碼工作量往往非常巨大。數據集成系統將復雜的數據遷移開發流程提供可視化的任務配置界面，通過配置數據來源、數據目標，并快速確認兩個異構庫之間的數據類型映射，就可以輕松完成任務配置，同時可配置遷移過程中的最大并發數、同步速率和臟數據內容。以低代碼的智能操作幫助用戶節省工作時間，提高工作效率。
任務監測預警、數據缺失填充
對結構化數據同步，支持數據的同步質量校驗，智能識別異常數據，并提供異常結果，同時支持對寫入目的庫的異常缺失數據的填補。支持智能基線告警，擁有豐富的監控策略，對任務異常及時發出告警通知。
產品優勢
-
支持豐富的數據庫類型
數據同步適配的數據庫類型囊括近年來國內外主流數據庫類型，如MySql、Oracle、達夢、DWS、Hive、Hudi等
-
多種數據采集方式
支持批量和增量數據離線同步，庫表、Kafka、API等實時數據同步，數據同步準確、可靠、高效
-
多源異構數據集成
支持結構化數據（如庫表數據等）、半結構化（如文件解析、API）和非結構化數據（如視頻、音頻等）的全量、增量和批量數據集成，以滿足用戶不同的數據集成需求
-
可視化便捷操作
可視化表單形式配置數據同步任務，以低代碼的智能操作實現數據采集任務的增刪改查、采集任務的監控管理等功能，能夠為用戶提供更直觀的數據同步執行結果展示