PolarDB 云原生數(shù)據(jù)庫(kù)內(nèi)核揭秘

案例背景:
云原生數(shù)據(jù)庫(kù)通常采用存儲(chǔ)計(jì)算分離架構(gòu)來(lái)實(shí)現(xiàn)計(jì)存獨(dú)立彈性、服務(wù)高可用和按需付費(fèi)等特性。對(duì)于這種架構(gòu)，直接使用成熟的云存儲(chǔ)服務(wù)（而非自建專有儲(chǔ)存服務(wù)），能夠有效降低數(shù)據(jù)庫(kù)的維護(hù)成本、提升穩(wěn)定性和版本迭代速度。
然而，問題是云存儲(chǔ)與本地存儲(chǔ)是存在巨大特性差異的，因此在將為本地盤設(shè)計(jì)的本地?cái)?shù)據(jù)庫(kù)遷移至云儲(chǔ)存上時(shí)，需要進(jìn)行適配性優(yōu)化。 否則性能上完全無(wú)法滿足數(shù)據(jù)庫(kù)

解決思路:
我們首先分析了云存儲(chǔ)的工作特性差異及其根因，并討論了將B-tree和LSM-tree類存儲(chǔ)引擎的部署至云存儲(chǔ)上時(shí)所會(huì)遇到的問題與挑戰(zhàn)。
通過系統(tǒng)實(shí)驗(yàn)、總結(jié)分析等，我們發(fā)現(xiàn)本地存儲(chǔ)與云存儲(chǔ)面臨以下差異和挑戰(zhàn)

1. 遠(yuǎn)程分布式存儲(chǔ)集群的訪問導(dǎo)致云存儲(chǔ)服務(wù)的I/O延遲高；
2. 通常聚合I/O帶寬未被充分利用；
3. 在具有本地存儲(chǔ)的單機(jī)上運(yùn)行良好但需要適應(yīng)云存儲(chǔ)而導(dǎo)致特性改變的傳統(tǒng)設(shè)計(jì)，例如文件cache緩存；
4. 長(zhǎng)鏈路導(dǎo)致各種數(shù)據(jù)庫(kù)I/O操作之間的隔離度較低（例如，日志刷寫與大量數(shù)據(jù)I/O的競(jìng)爭(zhēng)）；
5.云用戶允許且可能使用非常大的單表文件（例如數(shù)十TB）而不進(jìn)行數(shù)據(jù)切分，這加劇了I/O問題的影響。

然后，針對(duì)這些問題，我們提出了一個(gè)優(yōu)化框架Cloudjump，來(lái)幫助開發(fā)人員實(shí)現(xiàn)中心化數(shù)據(jù)庫(kù)上云時(shí)的性能適配。

成果：
最后，我們通過兩個(gè)實(shí)用案例，將CloudJump分別應(yīng)用到基于B-tree的PolarDB和基于LSM-tree的RocksDB上，來(lái)展示所提優(yōu)化框架的使用及優(yōu)化效果
體會(huì): 云存儲(chǔ)可以被看做是最新一代的硬件, 目前大部分存儲(chǔ)引擎都是針對(duì)本地盤進(jìn)行設(shè)計(jì), 這些存儲(chǔ)引擎需要針對(duì)云存儲(chǔ)進(jìn)行重新優(yōu)化設(shè)計(jì).