技(jì)術(shù)背景

大(dà)數(shù)據時(shí)代的(de)到(dào)來(lλ₽λβái)，數(shù)據正以前所未有(yǒu)的(de)速度爆發性增長(chán™"±∞g)，數(shù)據已經成為(wèi)土(tǔ)地(dì)、≥γ δ能(néng)源等傳統資源之外(wài)的(de)一(yī)種→€≥新資源。大(dà)量的(de)數(shù)據來(lái)自✘β(zì)不(bù)同的(de)源頭，雜(∏​<zá)亂無章(zhāng)，質量參差不( ♠₩→bù)齊。一(yī)般單位少(shǎo)則十幾個(gè)>↕∑信息系統，多(duō)則幾十上(shàng)百個(gè)，這(zhè✘©"δ)些(xiē)系統之間(jiān)若溝通(tōng)不(bù)暢，¥♦會(huì)産生(shēng)數(shù)據孤島，造成工(gōng)£‍$‍作(zuò)效率低(dī)下(xià)。一(yī)方面大(dà)量數(sh☆‌∞λù)據閑置，無法有(yǒu)效被利用(yòng)，另一(∑±∏yī)方面數(shù)據被重複錄入，費(fèi)時(€'±shí)費(fèi)力，容易産生(shēng)差錯(cuò)。

隻有(yǒu)可(kě)管理(lǐ)，可(kě)調用(yòng)，α π↔可(kě)計(jì)算(suàn)，可(kě)變現≥★<‌(xiàn)的(de)數(shù)據資源才能(né↔©¥≥ng)成為(wèi)資産，才能(néng)服務政府，城(ch₩<éng)市(shì)和(hé)産業(yè)，幫助實時(shí)統籌科(kē)學£≥→決策。正确決策來(lái)源于對(duì)實際×<情況的(de)了(le)解，某種意義上(shàng)說(shuō)，就(jiδ←ù)是(shì)對(duì)來(lái)自(zì)各方的(<©$de)各類數(shù)據的(de)正确彙集、整理(lǐ)、歸納、分&✔₹(fēn)析，從(cóng)而得(de)出正确的∞☆(de)結論。

數(shù)據集成是(shì)把不(bù)同來∞$≥γ(lái)源、格式、特點性質的(de)數(shù)據在邏輯上(shàng✔​")或物(wù)理(lǐ)上(shàng)有(©✘©yǒu)機(jī)地(dì)集中，通(tōng)過應用(yòng)間(jiān​¶≠)的(de)數(shù)據交換從(cóng)而達到( ÷<dào)集成，解決數(shù)據的(de♥¶)分(fēn)布性和(hé)異構性的(de)問(w​©èn)題，從(cóng)而為(wèi)企業(y₹♦è)提供全面的(de)數(shù)據共享。 ↔​§φ

産品簡介

巨龍信息大(dà)數(shù)據集成系統是(shì)一(☆♦‌ yī)款基于分(fēn)布式并行(xíng)計(jì)算(suàn)δδ架構開(kāi)發的(de)ETL數(shù)據集成系統。采用(yòng)組¥φ≈件(jiàn)化(huà)設計(jì)，适配混合主流雲，提供多(du£β♦♦ō)種類型的(de)數(shù)據抽取、整合插件(jiàn)、監控組件(j☆↓βiàn)、作(zuò)業(yè)流程模型，支持快(kuài)速定制(zhì)插₩≈件(jiàn)開(kāi)發，具備高(gāo)吞←♠吐、高(gāo)可(kě)用(yòng)、高(gāo)擴展特性，為(wèi)©©海(hǎi)量數(shù)據的(de)超大(dà)規模數(shù)≥λ≈¥據倉庫建設提供抽取、整合、清洗、入庫等集成業(y>§γ¶è)務。

技(jì)術(shù)架構

運行(xíng)架構

系統運行(xíng)具有(yǒu)高(gāo)可✘ ≤(kě)用(yòng)的(de)特性，會(huì)自(zì)動感知(z₩☆ →hī)執行(xíng)引擎異常，将異常設備的(de)任務轉發到(π× ¥dào)正常設備上(shàng)重新執行(xíλ↕φ∞ng)。運行(xíng)架構如(rú)下(xià€δε)圖：

部署架構

系統部署包含應用(yòng)端、調度引擎、執行(xíng)引擎。

ETL-應用(yòng)： 完成數(shù)據集成邏輯的(de)工(gōng)作(zu↕©ò)流建模和(hé)日(rì)常監控管理(lǐ)。

ETL調度引擎：統一(yī)執行(xíng)邏輯的(de)調度控制(zhì)和(hé)任™↑ 務分(fēn)發，分(fēn)布式管理(lǐ)。

ETL-執行(xíng)引擎：ETL任務的(de)具體(tǐ)執行(xíng)器→₩(qì)。

部署架構如(rú)下(xià)圖所示：

産品優勢

■高(gāo)吞吐處理(lǐ)能(néng)力：采用(yòng)多(duō)線程處理(lǐ)算(suàn)法，高(gāo)✔↑↔效的(de)內(nèi)存利用(yòng)率；♦γ任務運行(xíng)過程無需本地(dì)磁盤IO操作(zuò)，提≥✔升整體(tǐ)單位時(shí)間(jiān)的(de)大(dà¥$)批量處理(lǐ)能(néng)力；支持T ↔>B/h級的(de)大(dà)數(shù)據集成業(yè)務性能(β‌néng)。

■高(gāo)擴展、高(gāo)可(kě)靠：并行(xíng)架構提升單機(jī)處理(lǐ)能(néng)Ωλ  力的(de)線性擴展；新增執行(xíng)引擎的( ∏de)快(kuài)速部署和(hé)自(zì)動識别，分(fēn§✘∞)布式架構提升多(duō)機(jī)處理(lǐ)₽↓能(néng)力的(de)線性擴展；執行(xíng)引擎宕機ε​(jī)的(de)自(zì)動識别和(hé)任務轉移，保證任務的(de✔φ)順利執行(xíng)。

■可(kě)視(shì)化(huà)流程配置：通(tōng)過簡單的(de)圖形拖拽配置數(shù)✔→據集成流程，簡單易用(yòng)的(de)專業₽δ↑¥(yè)化(huà)配置。

■集成業(yè)務全流程監控：可(kě)對(duì)處理(lǐ)過程的(de)每個(gè)π≤¶"步驟，每個(gè)子(zǐ)流程處理(lǐ)進行(xíng)實時(shí✔×→€)監控，簡單快(kuài)速發現(xiàn)處理(lǐ)過程遇到(dào"β£)的(de)漏數(shù)據，錯(cuò)處理(lǐ)₩$ 等問(wèn)題。

■統一(yī)的(de)元數(shù)據模型：基于統一(yī)公共倉庫元模型，可(kě)與産品線其他(tā)産品無π ε$縫對(duì)接，簡化(huà)整體(tǐ)解決方案的(de)實施運αδ"​維。

■大(dà)數(shù)據技(jì)術(shù)支持：支持主流的(de)關系型數(shù)據庫，NOSQL數(shù)據庫,全文(w≈↑én)庫處理(lǐ)等主流大(dà)數(shù)據¥•産品的(de)抽取入庫，以及異構庫之間(jiān)的(​♣de)抽取入庫。

■低(dī)廉的(de)硬件(jiàn)成本：使用(yòng)x86架構的(de)PCServer &，無需昂貴的(de)unix服務器(qì)。

■數(shù)據源支持：支持超過40+數(shù)據源的(de)鏈接包括國(guó§☆)産數(shù)據庫。

■業(yè)務規則支持：支持自(zì)定義數(shù)據檢查規則<↕ε、質量規則、補全規則等，可(kě)以實現(xiàn)複雜↕✘(zá)的(de)數(shù)據集成需求。

■處理(lǐ)模式：支持批流一(yī)體(tǐ)化(huà)處理(lǐ)，大(dà ≤¥)幅提升數(shù)據的(de)采集和(hé)同步時(♣×shí)間(jiān)。

■快(kuài)速擴展支持：提供插件(jiàn)開(kāi)發SDK，可(kě♥δ₽)快(kuài)速定制(zhì)開(kāi)發所需的(deΩ )業(yè)務插件(jiàn)。

1、系統在某地(dì)配置管理(lǐ)2000餘個(gè)大‍≤(dà)數(shù)據治理(lǐ)作(zuò)業(y→‌♠è)，支撐日(rì)增量百億級别的(de)數(shù)據抽取、整合、清δ∑洗、轉換、入庫等集成業(yè)務，運行(xíngλ≥ )穩定。

2、系統在多(duō)地(dì)已經分(fēn)别與華×↔為(wèi)雲、騰訊雲、華三雲、阿裡(lǐ)雲，甚至是(×¥‍shì)一(yī)地(dì)多(duō)雲進行(xíng₹¶ ®)适配對(duì)接，完成數(shù)據的(de)抽取、整合、清'✔洗、轉換，入庫等集成業(yè)務。