巨龍信息大(dà)數(shù)據集成系統是(shì​♠)一(yī)款基于分(fēn)布式并行(xíng)計(jì)算(suàn)架構∞↑₽開(kāi)發的(de)ETL數(shù)據集成系統。具備高(gāo)吞吐€∑'、高(gāo)可(kě)用(yòng)、高(gāo)擴展特性，可☆σ÷∏(kě)以為(wèi)海(hǎi)量數(s↓δΩ hù)據的(de)超大(dà)規模數(s→←hù)據倉庫建設提供抽取、整合、清洗、入庫等集成業(→↓‍↕yè)務。

産品特征

■高(gāo)吞吐處理(lǐ)能(néng)力：★₩¶采用(yòng)多(duō)線程處理(lǐ)算(suàn)法，高(g¥×‍±āo)效的(de)內(nèi)存利用(yòng)£₩↕率；任務運行(xíng)過程無需本地(dì)磁盤IO操作(zu↑≤©ò)，提升整體(tǐ)單位時(shí)間(jiān)的(de)大(dà‍&π)批量處理(lǐ)能(néng)力；支持TB/h級的(de)α★λ♠大(dà)數(shù)據集成業(yè)務性能(n→>↕↕éng)。

■高(gāo)擴展、高(gāo)可(kě)靠：并行(xíng)架構提升單機(jī)處理γγφ(lǐ)能(néng)力的(de)線性擴展；新增執行(x♣£íng)引擎的(de)快(kuài)速部署和(hé)自(zì)動識别，分(fΩ"ēn)布式架構提升多(duō)機(jī)處理×★(lǐ)能(néng)力的(de)線性擴展；執行(xíng)引擎£•♦宕機(jī)的(de)自(zì)動識别和(hé)任務轉移，保證任≠≠♣務的(de)順利執行(xíng)。

■可(kě)視(shì)化(huà)流程配置：通(tōng)過簡單的(de)圖形拖拽配置數(shù)★αα≈據集成流程，簡單易用(yòng)的(de)專業(yè)化(huλ±à)配置。

■集成業(yè)務全流程監控：可(kě)對(duì)處理(lǐ)過程的(de)每個(gè)步εφ☆驟，每個(gè)子(zǐ)流程處理(lǐ)進行(xíng)實時(shí)監≤¶控，簡單快(kuài)速發現(xiàn)處理$£(lǐ)過程遇到(dào)的(de)漏數(shù)據，錯(cuò)處理✔ (lǐ)等問(wèn)題。

■統一(yī)的(de)元數(shù)據模型：基于統一(yī)公共倉庫元模型，可(kě)與公司産品線其 <♠他(tā)産品無縫對(duì)接，簡化(huà£↑)整體(tǐ)解決方案的(de)實施運維。

■大(dà)數(shù)據技(jì)術(shù)支持：支持主流的(de)關系型數(shù)據庫，NεεOSQL數(shù)據庫,全文(wén)庫處理(lǐ)等主流大✔β∑(dà)數(shù)據産品的(de)抽取入庫，以及異構庫之間(•∏ ♠jiān)的(de)抽取入庫。

■低(dī)廉的(de)硬件(jiàn)成本：使用(yòng)x86架構的(de)PCServer，無需昂貴的(de)unασ≥ix服務器(qì)。

技(jì)術(shù)亮(liàng)點

高(gāo)性能(néng)

■任務的(de)水(shuǐ)平切分(fēn)

一(yī)個(gè)分(fēn)布式ETL任務會(h↔ε≥≈uì)根據分(fēn)區(qū)自(zì)動被分(fēn)片到(dào)多(&Ω≥∏duō)台ETL-執行(xíng)引擎中，每個&÷↕(gè)執行(xíng)引擎的(de)執行(xíng)容器(qì)使用¥→π(yòng)多(duō)線程并發的(de)對(duì)數(shù)據進行(xíπ₽§ng)加工(gōng)處理(lǐ)後加載到(dào)數(shù)據倉庫中。←™∏當源頭庫單表數(shù)據量巨大(dà)時(shí)，可(kě)極大​>(dà)提升整體(tǐ)的(de)數(s"¥ Ωhù)據集成效率和(hé)性能(néng) "δ

■任務拓撲切分(fēn)

一(yī)個(gè)任務的(de)各個(¥φ$∏gè)步驟，可(kě)根據現(xiàn)場(chǎng)物(wù)理∞σ®♥(lǐ)設備的(de)實際配置，合理(lǐ)>§₽地(dì)安排到(dào)不(bù)同的(de)物(wù)理(lǐ)Ω♣§♣設備上(shàng)，保證硬件(jiàn)資源滿足步驟的α ®δ(de)執行(xíng)

高(gāo)擴展

■集群處理(lǐ)能(néng)力的(de)線性擴展

Ø 集群處理(lǐ)能(néng)力的©  (de)快(kuài)速擴充

Ø 集群自(zì)動識别和(hé)熱(rè)部署新增執行(xíng)引<±擎

■多(duō)集群組

Ø 根據業(yè)務劃分(fēn)集群組，使關注點分(fēn)離(lí) ♣&•α

Ø 集群組有(yǒu)利于異常幹擾的(de)隔離(★πlí)

■單任務并行(xíng)計(jì)算(suàn)

Ø 任務步驟的(de)獨立線程數(shù)可(kě)配置

Ø IO的(de)合理(lǐ)平衡

Ø 內(nèi)存空(kōng)間(jiān)的(de)合理(∏&lǐ)利用(yòng)，減少(shǎo)內(nèi)存垃圾回收率

■任務的(de)分(fēn)布式調度

Ø 帶權重的(de)負載均衡算(suàn)法，可(kě)根據÷​Ω✘設備處理(lǐ)能(néng)力安排并發任務數(shù)

Ø 控制(zhì)中心對(duì)集群環境的(de)自(zì)動負載均衡 φ≥±γ

高(gāo)可(kě)用(yòng)

■異常數(shù)據分(fēn)流

Ø 可(kě)選的(de)異常數(shù)據分>σ∑₽(fēn)流機(jī)制(zhì)，保證不(¶×$πbù)影(yǐng)響正常流程的(de)情況下(±±ε$xià)異常數(shù)據分(fēn)流

Ø 保證每個(gè)步驟出現(xiàn)的(de)異常數(shù)據轉儲δ€σ到(dào)指定地(dì)點，不(bù)丢失¶'‍

■控制(zhì)中心HA

■任務的(de)異常處理(lǐ)

Ø 自(zì)動感知(zhī)執行(xíng)引擎異常，将異常設備的(d'↓♣™e)任務轉發到(dào)正常設備上(shàng)重新執λ←行(xíng)

Ø 任務在一(yī)台設備上(shàng)執行(xí✔α ng)過程出現(xiàn)錯(cuò)誤，自(zì)動↓±重新在另外(wài)一(yī)台設備重新執行 ≈(xíng)