産品介紹

大(dà)數(shù)據服務總線是(shì)雲計(jì)算(suàn)βσ平台內(nèi)平台服務層的(de)核心支撐組件(jiàn)，承載著γπ(zhe)可(kě)提供的(de)數(shù)據服務資源，γ∏'并對(duì)服務提供者和(hé)使用(yòng)者搭建一(yī)©>個(gè)可(kě)交互共享的(de)服務中介平台，兼容适配異構多(×↑Ωduō)雲，解決分(fēn)布式數(shù↑∞)據訪問(wèn)和(hé)不(bù)同應用(yòng)間(jiān)訪✔∏問(wèn)調用(yòng)的(de)差異問ε®&(wèn)題，将跨地(dì)域、跨層級、跨部門(mén)的(de)應用(yò ☆ng)系統及數(shù)據有(yǒu)機(jī)地(dì)聯系與整合↓φ在一(yī)起，實現(xiàn)了(le)全網分(fēn)布式αΩ♠♠信息共享和(hé)資源綜合利用(yòng)。

技(jì)術(shù)淺析

傳輸可(kě)觀察

提供可(kě)觀察性，實現(xiàn)傳輸過程的(de≥★↑)可(kě)見(jiàn)、透明(míng≠×)、白(bái)盒化(huà)

●日(rì)志(zhì)采集+解析：指标度量、分(fēn)★Ω布式鏈路(lù)、結構化(huà)日(rì)志(zhì)、傳輸賬單

●标準數(shù)據格式和(hé)上(shàng)報(bào)A∞λ©PI

●開(kāi)放(fàng)數(shù)據格式和(h£✔é)采集API

高(gāo)可(kě)靠傳輸

網絡可(kě)靠：檢測-重傳機(jī)制(zhì)

●差錯(cuò)檢測：數(shù)據摘要(yα☆×"ào)/指紋→錯(cuò)誤重傳

●丢包檢測

●發送方檢測：定時(shí)檢查等待的(de)确認→超時(shí)重傳

●接收方檢測：協商連續編号/數(shù)據清單→選擇重傳

●重複檢測：唯一(yī)性數(shù)據标識/摘要(yào)指±σ 紋→冗餘過濾

●順序檢測：時(shí)間(jiān)戳/有(yǒu)序編号→重新排序

節點可(kě)靠性

●本地(dì)持久化(huà)緩沖，支持斷電(diàn)保護、異常恢複

●滾動WAL和(hé)異步落盤，降低(dī)持久化(hu ☆à)影(yǐng)響

●節點HA集群

對(duì)賬支持

●輸出邊界賬單，供外(wài)部對(duì)賬

可(kě)靠與性能(néng)的(de)平衡

高(gāo)性能(néng)傳輸

并發模型

●非阻塞異步IO：epoll多(duō)路(lù)§♦複用(yòng)、Reactor線程模型

協議(yì)效率

●七層HTTP  四層TCP

●減少(shǎo)報(bào)文(wén)冗餘，支持二進制(zhì)格式（壓縮透↓π傳）

大(dà)報(bào)文(wén)：超過發送緩沖區(qū)大(dà)小(∏←xiǎo)

●分(fēn)塊并發：切分(fēn)參數(shù)支持靜(jìng)态配置、"π↑動态統計(jì)更新

●流水(shuǐ)線并發、多(duō)鏈路(lù ✘ ​)并行(xíng)、多(duō)核心并行(xín¶© g)

●內(nèi)部編号，确保接收端的(de)可β (kě)靠拼裝

●斷點續傳

文(wén)件(jiàn)系統

●零拷貝

●小(xiǎo)文(wén)件(jiàn)合并：拼€§α包，對(duì)齊MTU；減少(shǎo¥®ε)新建連接數(shù)

适應性傳輸

根據功能(néng)、部門(mén)及業(yè)務等因φ₹素動态構建差異化(huà)、隔離(lí)的(de)專用(yòn↓©₹ g)虛拟通(tōng)道(dào)

●綁定資源池（ CPU、線程、內(nèi)存、網絡、磁盤）、傳輸策略（優✔♣✘↔先級、可(kě)靠性等）

适應不(bù)同優先級、可(kě)靠性、安全要(yào)求、傳輸策π↔λ☆略的(de)精準、平衡需要(yào)

●高(gāo)可(kě)靠 vs. 高(gāoΩ​♦​)吞吐

●大(dà)報(bào)文(wén)&£♣;大(dà)文(wén)件(jiàn)傳輸 vs. ✘<♦©普通(tōng)請(qǐng)求服務

應用(yòng)場(chǎng)景

邏輯上(shàng)把請(qǐng)求過程和(hé)響應過程分(fēn)成異₩÷步的(de)兩部分(fēn)，但(dàn)在具體(tǐ)®✘∑的(de)物(wù)理(lǐ)協議(yì)适配上(shà÷≠ng)：

●對(duì)于HTTP這(zhè)種同步請(qǐng♥₹✘)求響應的(de)協議(yì)，在節點側同步阻塞ε♠≤響應，保持物(wù)理(lǐ)的(de)同步調用(yòng)

●對(duì)于PCI這(zhè)種異步請(qǐng)求響應的(de)協議(λ↕↕γyì)，就(jiù)原生(shēng)支持了(le)；當然目前提供♣¥₩σ的(de)PCI Client API的(de)封裝版↑ε本rbsp api，有(yǒu)實現(xiàn)應用(yòng)★÷≥​側的(de)異步仿真同步。