NEWS CENTER

新聞中心

【技(jì)術(shù)工(gōng)場(ch∞‍★ǎng)】巨龍信息大(dà)數(shù)據建模與分(fēn∏®↔)析技(jì)術(shù)淺析

時(shí)間(jiān)：2022-03-2×γλ©8 17:06:12 次數(shù)：4158

産品介紹

智立方是(shì)巨龍信息研發的(de)一(yī)款跨數(sh<₽ù)據平台的(de)數(shù)據挖掘、分(fēn)析、建模工(gōng® ↓)具。面向各行(xíng)各業(yè)在大(dà)數(s∏₩hù)據建設過程的(de)應用(yòng)訴求，緻力于構建智能(néng)數(≈>shù)據體(tǐ)系，打造更便捷、更易用(yòng)的±π‌(de)大(dà)數(shù)據生(sh↑≠ēng)産力平台，提供從(cóng)數(↔★shù)據準備、數(shù)據建模、分(fēn)析探索、數(sh>∑ù)據可(kě)視(shì)化(huà)到(dào)數(shù)據API服¶♦αΩ務等全鏈路(lù)的(de)完整解決方案，充分(fēn)滿足建設數(s&¶hù)據過程中的(de)多(duō)樣複雜(zá)需求，幫助客戶打通(t ōng)挖掘數(shù)據價值，促進在業(yè)務場(chǎnα£←♠g)景中應用(yòng)大(dà)數(shù)據。<α

産品特征

全流程體(tǐ)驗：提供“一(yī)站(zhàn)式”體(tǐ)驗，從(c∞δóng)數(shù)據接入、數(shù)據準備、數(shù)據建模、分(≥φfēn)析探索、數(shù)據可(kě)視(€>shì)化(huà)到(dào)數(shù)據API服務，覆蓋全流程↑∞‌形成完整閉環。

可(kě)視(shì)化(huà)建模：提供全程可(kě)視(shì)化(huà)的(de)模型搭建，σ±通(tōng)過拖拽的(de)交互方式，采用(yòng)引導式及“搭 ₩積木(mù)”般的(de)畫(huà)圖式∏σ界面幫助用(yòng)戶實現(xiàn)數(shù)據、組€×件(jiàn)的(de)靈活的(de)組合，從(cóng)而快(k€∞≥uài)速地(dì)獲得(de)高(gāo)質量的(d£←e)模型搭建。

數(shù)據可(kě)視(shì)化(huà)：提供常見(jiàn)的(de)可(kě)視(shì)化(huà)圖表和(héγ♥)探索分(fēn)析能(néng)力，讓用( 'yòng)戶可(kě)以便捷的(de)将模型結果采用(yòngσ∞∏✔)圖表的(de)形式展現(xiàn)，讓數(shù)據更∞₩✔生(shēng)動更直觀。

簡捷高(gāo)效易用(yòng)：純拖拽式操作(zuò)，能(néng)夠極大(Ω>∞♣dà)地(dì)降低(dī)建模的(deδ"™≥)技(jì)術(shù)門(mén)檻，讓複雜(zá)、繁瑣的λ≥←(de)數(shù)據建模過程變更簡單、高(gāo)效。

數(shù)據應用(yòng)簡單：模型結果可(kě)便捷的(de)生(shēng)成儀表盤，以及快(kuài)速✘<生(shēng)成數(shù)據API的(de)能(néng)力，以滿足不δ↔©λ(bù)同的(de)業(yè)務應用(yòng)場(chǎnγφδg)景對(duì)模型結果的(de)使用(yòng)需♠← 求，非常方便實現(xiàn)建模成果的(de→α<♦)分(fēn)享和(hé)使用(yòng)。

技(jì)術(shù)淺析

标準化(huà)數(shù)據集

■統一(yī)數(shù)據集模型：适配主流關系庫，NOSQL庫，文(wén)件(jiàn)，統一(yīσ™$)數(shù)據訪問(wèn)方式，方便項目的(de)快(kuài)速擴展，€λ‌☆打通(tōng)各個(gè)異構庫之間(ji©₹ān)的(de)數(shù)據集計(jì)算(suàn)過程

■标準化(huà)SQL解析引擎：實現(xiàn)異構庫之間(jiān)跨庫JOIN，分(fēn)組統↑↔'計(jì)等查詢檢索業(yè)務

統一(yī)的(de)表達式框架

■可(kě)擴展的(de)表達式定制(zhì₽•)框架：方便根據項目定義特定的(de)分(fēn)析計(jì)算(suàn)公×δ式，滿足多(duō)變複雜(zá)的(de)項目定制(zhì)®&需求

■統一(yī)的(de)表達式解析器(qì)：滿足表達式邏輯的(de)統一(yī)複用(yòng)，實←π♣‌現(xiàn)一(yī)次編寫，随處可(≤$€kě)用(yòng)

圖形化(huà)模型構建

■标準化(huà)數(shù)據集：用(yòng)戶無需關注使用(yòng)的(de)庫類型↓→或數(shù)據類型，統一(yī)标準化( ≈huà)為(wèi)二維數(shù)據集

■過程可(kě)視(shì)化(huà)：通(tōng)過“拖”，“拉”，“拽”的≠₹(de)方式配置模型計(jì)算(suàn)的(de)流程，步驟‍↔¶與步驟之間(jiān)松耦合，每個(gè)步驟輸出新的(de)标準數(shù)">≠據集，方便用(yòng)戶控制(zhì)數✘✔¥(shù)據的(de)計(jì)算(suà ¥$n)和(hé)流轉

■計(jì)算(suàn)過程插件(jiàn)化(huà)§ ♠™：插件(jiàn)化(huà)的(de)計(jì)算(suàn)過程，可σ→♦↔(kě)快(kuài)速響應項目定制(z≈÷ hì)的(de)過程插件(jiàn)

■內(nèi)置主流數(shù)據集計(jì)算∏∑★(suàn)插件(jiàn)：提供主流的(de)集合運算(suàn)插件(jiàn)，适應各種$♣≥數(shù)據集負責運算(suàn)

■快(kuài)速即席查詢配置：計(jì)算(suàn)出的(de)結果集可(kěβ<"<)快(kuài)速通(tōng)過即席查詢配置構建方案，發布到≠™(dào)前台，給用(yòng)戶提供快(kuài)速的(de)結÷ φ果集檢索

靈活高(gāo)效的(de)标簽體(tǐ)系

■自(zì)定義标簽體(tǐ)系：自(zì)定義标簽項，标簽值，标簽分(fēn)類；支持枚舉标簽，複雜(zá)業®•✘₩(yè)務标簽，基本類型标簽的(de)定義；方便€ ↑用(yòng)戶快(kuài)速構建行(xíng)業(yè)标簽體(tǐ∞∏↕)系。

■複雜(zá)标簽計(jì)算(suàn)邏輯：≠₩ '支持複雜(zá)标簽計(jì)算(suàn÷✘±¥)邏輯的(de)表達式編寫，支持事(shì)件(jià↑£n)觸發的(de)标簽計(jì)算(suàn)。靈活應對(₹ duì)各種複雜(zá)業(yè)務場(c$λ↔αhǎng)景。

■高(gāo)效的(de)标簽立方體(tǐ)：分(fēn)布式标簽立方體(tǐ)，可(kě)擴展的(de)存儲架®✘λσ構，支持超過10000+的(de)标簽項的(de)毫秒(miǎo©↑γ∏)級檢索，研判，比對(duì)。為(wè±≈i)行(xíng)業(yè)用(yòng)戶的(de)行(xíng)為(♠™wèi)決策分(fēn)析提供強大(dà)支撐。

高(gāo)性能(néng)關系分(fēn)析模型

■高(gāo)性能(néng)關系檢索：快(kuài)速定位帶時(shí)間(jiān)周≠$期的(de)行(xíng)為(wèi)關系人(rénαβ≥)，根據關系親密度排分(fēn)，不(bù)落下(xià)任何可( αεkě)疑人(rén)員(yuán)。

■複雜(zá)關系計(jì)算(suàn)邏輯：支持複雜(zá)關系計(jì)算(suàn)邏輯的(de)表達✘‍Ω式編寫，靈活應對(duì)各種複雜(zá)業(yè)務場(ch•σ≠πǎng)景，如(rú)同車(chē)廂，相(xiàng)鄰位置等。

數(shù)據集的(de)快(kuài)速比對(duì)

■比對(duì)數(shù)據集的(de)快(kuài)速構建：支持文(wén)件(jiàn)，數(shù)據庫表 ✔Ω，SQL語句等多(duō)種數(shù)據集的(de)構建，适應各≤‍種複雜(zá)場(chǎng)景。

■高(gāo)效的(de)比對(duì)引擎：分(fēn)布式比對(duì)引擎，實現(xiàn)千萬，億數(shù)據級★₽數(shù)據的(de)秒(miǎo)級β≠£比對(duì)，10億級數(shù)據的(de)分(fēn)鐘(z•<hōng)比對(duì)。

■結果集的(de)自(zì)定義存儲與再次比對(duì)≠Ω：可(kě)将結果集根據用(yòng)戶要(yào)求存儲或再次生(sε₽hēng)成比對(duì)方案，方便用(yòφ☆ng)戶快(kuài)速洞察數(shù)據集與結果集之間(jiān)的(d"•e)關注信息。

■比對(duì)隊列的(de)合理(lǐ)調度：根據集群情況合理(lǐ)安排比對(duì)任務，保證比對(duì)引擎的(d✔επe)高(gāo)可(kě)用(yòng)。

高(gāo)性能(néng)任務執行(xí§₹←₹ng)

■任務的(de)水(shuǐ)平切分(fēn)

任務根據分(fēn)區(qū)自(zì)動被♥>分(fēn)片到(dào)多(duō)台DMC-分(fē↕σn)析引擎中，每個(gè)分(fēn)析引擎的(de)執‍♣✘行(xíng)容器(qì)使用(yòng)多(duō)線程并發的(de $≠)對(duì)數(shù)據進行(xíng)加工(g©₹ōng)處理(lǐ)後加載到(dào)數(shù)據倉庫中。↔©δ當源頭庫單表數(shù)據量巨大(dà)時(shí)，可(kě)極大(dà)提₩σγ<升整體(tǐ)的(de)數(shù)據集成效率和(hé)性能(néng)