課程簡介
本課程圍繞湖倉一體展開，重點介紹企業(yè)湖倉一體數(shù)據(jù)架構(gòu)的介紹，從數(shù)據(jù)架構(gòu)的 演進，到數(shù)據(jù)湖的出現(xiàn)，再到湖倉一體架構(gòu)的發(fā)展，深入解析湖倉一體的核心主流技術， 以及企業(yè)級湖倉一體架構(gòu)建設方法，幫助學習者從各個方面對湖倉一體架構(gòu)有更深入的 理解。
目標收益
培訓對象
1. 大數(shù)據(jù)從業(yè)人員 2. 企業(yè) IT 開發(fā)人員 3. 企業(yè)數(shù)據(jù)部門人員
課程大綱
| 數(shù)據(jù)架構(gòu)的演進 |
1. 數(shù)據(jù)架構(gòu)的發(fā)展史 1.1 早期的數(shù)據(jù)架構(gòu) 1.2 數(shù)據(jù)倉庫時代 1.3 數(shù)據(jù)湖的出現(xiàn) 1.3.1 非結(jié)構(gòu)化數(shù)據(jù)存儲 1.3.2 數(shù)據(jù)湖的基本原理 1.3.3 數(shù)據(jù)湖的應用場景 3.1.1 結(jié)構(gòu)化數(shù)據(jù) 3.1.2 半結(jié)構(gòu)數(shù)據(jù) 3.1.3 非結(jié)構(gòu)化數(shù)據(jù) 3.1.4 異構(gòu)數(shù)據(jù)存儲 3.2 不同的終端用戶 3.2.1 分析型架構(gòu)下的數(shù)據(jù)存儲 3.2.2 探索型架構(gòu)下的數(shù)據(jù)存儲 3.2.3 開放的數(shù)據(jù)存儲格式 3.2.4 分析性數(shù)據(jù)架構(gòu) 3.3 數(shù)據(jù)存儲技術的發(fā)展 3.3.1 磁帶存儲 3.3.2 分布式存儲技術 |
| 湖倉一體的主流核心 技術上 |
2. 湖倉一體架構(gòu)的出現(xiàn) 2.1 什么是湖倉一體 2.1.1 湖倉一體架構(gòu)介紹 2.1.2 湖倉一體架構(gòu)的優(yōu)勢 2.1.3 湖倉一體架構(gòu)的挑戰(zhàn) 2.1.4 為什么會是湖倉一體 2.2 數(shù)據(jù)湖倉與數(shù)據(jù)倉庫 2.2.1 數(shù)據(jù)倉庫的優(yōu)勢與局限性 2.3 數(shù)據(jù)湖倉與數(shù)據(jù)湖 2.3.1 數(shù)據(jù)湖的優(yōu)勢與局限性 2.3.2 異構(gòu)數(shù)據(jù)管理的挑戰(zhàn) 3. 數(shù)據(jù)存儲技術的發(fā)展 3.1 不同的數(shù)據(jù)存儲類型 |
| 湖倉一體的主流核心 技術下 |
4. 數(shù)據(jù)處理技術的發(fā)展 4.1 單體式數(shù)據(jù)處理技術 4.2Map-Reduce 分布式計算模型 4.3 實時數(shù)據(jù)處理技術的興起 4.4 批流一體化技術的發(fā)展 4.5 存算分離技術的演進 4.6 數(shù)據(jù)處理技術對數(shù)據(jù)架構(gòu)的影響 5. 數(shù)據(jù)湖倉的核心能力 5.1 數(shù)據(jù)湖的核心能力 5.1.1ACID 事務能力 5.1.2 批流一體數(shù)據(jù)讀寫 5.2 數(shù)據(jù)湖技術的發(fā)展 5.3 數(shù)據(jù)湖主流技術 6. 數(shù)據(jù)湖技術之 Apache Iceberg 6.1Apache Iceberg 的發(fā)展歷史 6.2Apache Iceberg 核心優(yōu)勢 6.3Apache Iceberg 的數(shù)據(jù)存儲格式 6.4Apache Iceberg 元數(shù)據(jù)管理 7. 數(shù)據(jù)湖技術之 Apache Hudi 7.1Apache Hudi 的發(fā)展歷史 7.2Apache Hudi 核心優(yōu)勢 7.3Apache Hudi 的數(shù)據(jù)存儲格式 7.4Apache Hudi 元數(shù)據(jù)管理 8. 選擇合適的數(shù)據(jù)湖技術 8.1 數(shù)據(jù)湖技術對比 8.2 數(shù)據(jù)湖技術的未來 8.3 如何選擇正確的數(shù)據(jù)湖 |
| 企業(yè)級湖倉一體架構(gòu) |
9. 構(gòu)建企業(yè)級湖倉一體架構(gòu) 9.1 數(shù)據(jù)倉庫的構(gòu)建 9.2 數(shù)據(jù)湖的能力構(gòu)建 9.3 湖倉一體融合實踐 9.4 批流一體化建設 10. 數(shù)據(jù)分析與數(shù)據(jù)湖倉 10.1 數(shù)據(jù)分析技術 10.2 數(shù)據(jù)服務 10.3 數(shù)據(jù)可視化 11. 機器學習與數(shù)據(jù)湖倉 11.1 機器學習與數(shù)據(jù)湖 11.2AI 與 BI 的隔離 11.3 機器學習下的數(shù)據(jù)訪問與管理 12. 湖倉一體化下的數(shù)據(jù)治理 12.1 數(shù)據(jù)倉庫下的數(shù)據(jù)治理 12.2 數(shù)據(jù)湖下數(shù)據(jù)治理的挑戰(zhàn) 12.3 湖倉一體下的數(shù)據(jù)治理體系 |
|
數(shù)據(jù)架構(gòu)的演進 1. 數(shù)據(jù)架構(gòu)的發(fā)展史 1.1 早期的數(shù)據(jù)架構(gòu) 1.2 數(shù)據(jù)倉庫時代 1.3 數(shù)據(jù)湖的出現(xiàn) 1.3.1 非結(jié)構(gòu)化數(shù)據(jù)存儲 1.3.2 數(shù)據(jù)湖的基本原理 1.3.3 數(shù)據(jù)湖的應用場景 3.1.1 結(jié)構(gòu)化數(shù)據(jù) 3.1.2 半結(jié)構(gòu)數(shù)據(jù) 3.1.3 非結(jié)構(gòu)化數(shù)據(jù) 3.1.4 異構(gòu)數(shù)據(jù)存儲 3.2 不同的終端用戶 3.2.1 分析型架構(gòu)下的數(shù)據(jù)存儲 3.2.2 探索型架構(gòu)下的數(shù)據(jù)存儲 3.2.3 開放的數(shù)據(jù)存儲格式 3.2.4 分析性數(shù)據(jù)架構(gòu) 3.3 數(shù)據(jù)存儲技術的發(fā)展 3.3.1 磁帶存儲 3.3.2 分布式存儲技術 |
|
湖倉一體的主流核心 技術上 2. 湖倉一體架構(gòu)的出現(xiàn) 2.1 什么是湖倉一體 2.1.1 湖倉一體架構(gòu)介紹 2.1.2 湖倉一體架構(gòu)的優(yōu)勢 2.1.3 湖倉一體架構(gòu)的挑戰(zhàn) 2.1.4 為什么會是湖倉一體 2.2 數(shù)據(jù)湖倉與數(shù)據(jù)倉庫 2.2.1 數(shù)據(jù)倉庫的優(yōu)勢與局限性 2.3 數(shù)據(jù)湖倉與數(shù)據(jù)湖 2.3.1 數(shù)據(jù)湖的優(yōu)勢與局限性 2.3.2 異構(gòu)數(shù)據(jù)管理的挑戰(zhàn) 3. 數(shù)據(jù)存儲技術的發(fā)展 3.1 不同的數(shù)據(jù)存儲類型 |
|
湖倉一體的主流核心 技術下 4. 數(shù)據(jù)處理技術的發(fā)展 4.1 單體式數(shù)據(jù)處理技術 4.2Map-Reduce 分布式計算模型 4.3 實時數(shù)據(jù)處理技術的興起 4.4 批流一體化技術的發(fā)展 4.5 存算分離技術的演進 4.6 數(shù)據(jù)處理技術對數(shù)據(jù)架構(gòu)的影響 5. 數(shù)據(jù)湖倉的核心能力 5.1 數(shù)據(jù)湖的核心能力 5.1.1ACID 事務能力 5.1.2 批流一體數(shù)據(jù)讀寫 5.2 數(shù)據(jù)湖技術的發(fā)展 5.3 數(shù)據(jù)湖主流技術 6. 數(shù)據(jù)湖技術之 Apache Iceberg 6.1Apache Iceberg 的發(fā)展歷史 6.2Apache Iceberg 核心優(yōu)勢 6.3Apache Iceberg 的數(shù)據(jù)存儲格式 6.4Apache Iceberg 元數(shù)據(jù)管理 7. 數(shù)據(jù)湖技術之 Apache Hudi 7.1Apache Hudi 的發(fā)展歷史 7.2Apache Hudi 核心優(yōu)勢 7.3Apache Hudi 的數(shù)據(jù)存儲格式 7.4Apache Hudi 元數(shù)據(jù)管理 8. 選擇合適的數(shù)據(jù)湖技術 8.1 數(shù)據(jù)湖技術對比 8.2 數(shù)據(jù)湖技術的未來 8.3 如何選擇正確的數(shù)據(jù)湖 |
|
企業(yè)級湖倉一體架構(gòu) 9. 構(gòu)建企業(yè)級湖倉一體架構(gòu) 9.1 數(shù)據(jù)倉庫的構(gòu)建 9.2 數(shù)據(jù)湖的能力構(gòu)建 9.3 湖倉一體融合實踐 9.4 批流一體化建設 10. 數(shù)據(jù)分析與數(shù)據(jù)湖倉 10.1 數(shù)據(jù)分析技術 10.2 數(shù)據(jù)服務 10.3 數(shù)據(jù)可視化 11. 機器學習與數(shù)據(jù)湖倉 11.1 機器學習與數(shù)據(jù)湖 11.2AI 與 BI 的隔離 11.3 機器學習下的數(shù)據(jù)訪問與管理 12. 湖倉一體化下的數(shù)據(jù)治理 12.1 數(shù)據(jù)倉庫下的數(shù)據(jù)治理 12.2 數(shù)據(jù)湖下數(shù)據(jù)治理的挑戰(zhàn) 12.3 湖倉一體下的數(shù)據(jù)治理體系 |
近期公開課推薦
