大(dà)數(shù)據集成系統

産品概述

大(dà)數(shù)據集成系統是(shì)巨龍信息以20年(n≥λ←ián)的(de)數(shù)據整合治理(lǐ)實踐為(wèi)基±÷"✘礎，采用(yòng)分(fēn)布式并行(xí÷€∏©ng)計(jì)算(suàn)架構自(zì)主研發的(de≥φ )大(dà)數(shù)據ETL集成系統，具備高(gāo)吞吐、 ‌§高(gāo)可(kě)用(yòng)、高(gāo)>>擴展特性，支持主流雲平台、數(shù)據庫、文(wén)件(jiàn↓γ)、消息對(duì)接、接口等數(shù)十種異構數(shù)據源φ•‍，內(nèi)置上(shàng)百種數(shù)據處理(lǐ)組件(jiàn׶₩)和(hé)函數(shù)，為(wèi)海(hǎi)量異構數 ↓(shù)據的(de)超大(dà)規模數(shù)據倉庫建設提供抽取、<™清洗、整合、入庫等集成業(yè)務，消除數(shù)據孤島，加快(₽δ♠←kuài)數(shù)據變現(xiàn)，實現(x≠ ₽iàn)數(shù)字化(huà)轉型。'‌

産品亮(liàng)點

		海(hǎi)納百川，數(shù)據源适配廣泛 支持市(shì)面上(shàng)主流的$‍(de)雲平台；支持涵蓋OldSQL、NoSQL、NewSQLδ÷•的(de)各類數(shù)據庫；支持文(wén)件(jiàn)自(♠↑zì)動下(xià)載 解壓、解密處理(lǐ)；支持消息<←₽✔隊列實時(shí)數(shù)據消費(fèi)；支持→ ✔γWebService接口對(duì)接配置。
		無代碼開(kāi)發，組件(jiàn)開(k§ āi)箱即用(yòng) 內(nèi)置上(shàng)百個(gè)組件(jiàn)和(hé)上(shà♥γ<ng)百個(gè)公式，開(kāi)箱即用(yòng)；支持第三方按©‍↔‍照(zhào)組件(jiàn)開(kāi)發标準定制(zhì)業(yè ←φε)務性組件(jiàn)。
		高(gāo)吞吐處理(lǐ)能(néng)力，支撐百億數(shù)據處理(lǐ↓±±) 采用(yòng)多(duō)線程處理(lǐ≥™₹)算(suàn)法，高(gāo)效的(de)內(nèi)存利用(yò♠ ng)率；可(kě)拓展形成100節點以上↓αβ(shàng)集群、任務運行(xíng)過程無需本地€←↓↑(dì)磁 盤IO操作(zuò)，提升整體(tǐ)單位時(shí)間(j→™iān)的(de)大(dà)批量處理(lǐ)能(néng)力；支£¶↔持TB/h級的(de)大(dà)數(shù)據集成業(yè)務性能(n> $éng)。
		“火(huǒ)眼金(jīn)睛”，全方位實時(sh♣✘í)監控 支持對(duì)系統運行(xíng)環境（如(rú)調度引擎、執行(xíng)⶙•引擎）和(hé)流程作(zuò)業(yè)↔σ€σ業(yè)務的(de)實時(shí)狀态監控，通(tōng)過圖形可(∑αkě)視(shì)化(huà)的(de) 方式展現(xiàn)監控結果，≤>£極大(dà)降低(dī)了(le)系統日(rì₩∞)常的(de)維護成本。
		“縱橫”架構融合，運行(xíng)持續穩定 并行(xíng)架構提升單機(jī)處理(lǐ)能(n>×£βéng)力的(de)縱向線性擴展；分(fēn)布式架構提升多(duō<∏×&)機(jī)處理(lǐ)能(néng)力的(de)橫向線±≈性擴展；支持 執行(xíng)引擎快(kuài)速部署及自(zì)動識别；α​§支持資源調度中心雙活模式；支持執行(xíng)引擎宕機(jī)自(z÷✘ì)動識别和(hé)任務轉移；支持引擎集群管理(lǐ)節∏λ∞€點自(zì)動競選，确保系統穩定運行(xíng)，任務執行(xíδ↔ ↑ng)不(bù)脫機(jī)。
		自(zì)動容錯(cuò)，異常數(shù)據分(fēn)流 采用(yòng)異常數(shù)據分(fēn₽≥)流機(jī)制(zhì)，在不(bù)影(₽'εyǐng)響正常流程的(de)情況下(xià)，自(zì)動将ETL處理(l₽☆φǐ)過程中出現(xiàn)的(de)異常數(s↓₹hù)據轉儲 到(dào)指定位置，保證數(shù)據不(bù☆✔™)丢失。在任務分(fēn)發和(hé)執行(xíng)的(de)過程中，感​φ$知(zhī)引擎狀态，自(zì)動将異常設備的(de)任務 轉移到 ✔≠(dào)正常設備上(shàng)重新執行(xíng)，保證 γ 了(le)任務執行(xíng)高(gāo)可(≠£kě)用(yòng)。
		以點帶面，知(zhī)識賦能(néng) 支持一(yī)鍵生(shēng)成數(shù₩δ)據處理(lǐ)模闆，結合特有(yǒu)的(de)環節分(f<φ"ēn)組及批注功能(néng)，實現(xiàn)專業(yè)人(rén) ♠員(yuán)知(zhī)識沉澱，滴灌賦能(néng)執行(✔≤xíng)人(rén)員(yuán)，以點帶¶βλ面，形成知(zhī)識輻射。

應用(yòng)案例

大(dà)數(shù)據集成系統已經服務政府、政∞× ≠數(shù)局、水(shuǐ)利廳、财政廳λ≠ε、海(hǎi)關總署、公安廳/局等多(duō)個(g©λ ∏è)用(yòng)戶部門(mén)，累計(jì)支撐2↓≠₹ 萬+數(shù)據處理(lǐ)方案的(de)穩定€∏運行(xíng)，共處理(lǐ)數(shù)據已達P級★♠¥ ，用(yòng)戶遍及廣東(dōng)、天津、福建、安徽、甘肅、湖(hú)南(≥☆∏nán)、內(nèi)蒙古、青海(hǎi) 等省份，其中天津某行(ε≠×xíng)局配置管理(lǐ)2000個(gè)大(dà)數α&±$(shù)據ETL作(zuò)業(yè)，完成£♥‌約600億數(shù)據抽取、整合行(xíng)務，當前運行(xíng)穩定β€‌✔；福建某大(dà)數(shù)據治理(lǐ)項目采用(yòng)混合異構數∏✔∞₽(shù)據庫模式，分(fēn)别與騰訊雲、阿∑ ‍♦裡(lǐ)雲ODPS、Gbase 8a、億榕文(wén)件(jiàn✔&)存儲等大(dà)數(shù)據庫完成适配。