PolarDB 云原生數(shù)據(jù)庫內(nèi)核揭秘

案例背景:
云原生數(shù)據(jù)庫通常采用存儲計算分離架構(gòu)來實現(xiàn)計存獨立彈性、服務高可用和按需付費等特性。對于這種架構(gòu)，直接使用成熟的云存儲服務（而非自建專有儲存服務），能夠有效降低數(shù)據(jù)庫的維護成本、提升穩(wěn)定性和版本迭代速度。
然而，問題是云存儲與本地存儲是存在巨大特性差異的，因此在將為本地盤設計的本地數(shù)據(jù)庫遷移至云儲存上時，需要進行適配性優(yōu)化。 否則性能上完全無法滿足數(shù)據(jù)庫

解決思路:
我們首先分析了云存儲的工作特性差異及其根因，并討論了將B-tree和LSM-tree類存儲引擎的部署至云存儲上時所會遇到的問題與挑戰(zhàn)。
通過系統(tǒng)實驗、總結(jié)分析等，我們發(fā)現(xiàn)本地存儲與云存儲面臨以下差異和挑戰(zhàn)

1. 遠程分布式存儲集群的訪問導致云存儲服務的I/O延遲高；
2. 通常聚合I/O帶寬未被充分利用；
3. 在具有本地存儲的單機上運行良好但需要適應云存儲而導致特性改變的傳統(tǒng)設計，例如文件cache緩存；
4. 長鏈路導致各種數(shù)據(jù)庫I/O操作之間的隔離度較低（例如，日志刷寫與大量數(shù)據(jù)I/O的競爭）；
5.云用戶允許且可能使用非常大的單表文件（例如數(shù)十TB）而不進行數(shù)據(jù)切分，這加劇了I/O問題的影響。

然后，針對這些問題，我們提出了一個優(yōu)化框架Cloudjump，來幫助開發(fā)人員實現(xiàn)中心化數(shù)據(jù)庫上云時的性能適配。

成果：
最后，我們通過兩個實用案例，將CloudJump分別應用到基于B-tree的PolarDB和基于LSM-tree的RocksDB上，來展示所提優(yōu)化框架的使用及優(yōu)化效果
體會: 云存儲可以被看做是最新一代的硬件, 目前大部分存儲引擎都是針對本地盤進行設計, 這些存儲引擎需要針對云存儲進行重新優(yōu)化設計.