課程簡介
課程將詳細介紹數(shù)據(jù)架構(gòu)的發(fā)展、典型數(shù)據(jù)倉庫架構(gòu)、湖倉一體數(shù)據(jù)架構(gòu)及其工具。重點講解Hudi技術(shù)在湖倉一體架構(gòu)中的應用，并通過Flink+Hudi構(gòu)建湖倉一體數(shù)據(jù)平臺的案例分享，加深理解。此外，還將通過實戰(zhàn)案例，探討湖倉一體數(shù)據(jù)底座的構(gòu)建方法，包括數(shù)據(jù)域劃分、指標體系構(gòu)建等。本課程適合大數(shù)據(jù)架構(gòu)師、數(shù)據(jù)工程師等角色，旨在提升學員在湖倉一體架構(gòu)設計和落地方面的能力。
目標收益
培訓對象
課程大綱
| 數(shù)據(jù)架構(gòu)的發(fā)展 |
離線數(shù)倉解決方案 實時數(shù)倉數(shù)倉解決方案 新一代數(shù)倉---數(shù)據(jù)中臺概念及架構(gòu) 湖倉一體數(shù)據(jù)架構(gòu)解決方案 實時OLAP數(shù)據(jù)平臺架構(gòu)方案 基于Flink構(gòu)建實時數(shù)據(jù)平臺的解決方案 基于Flink構(gòu)建湖倉一體數(shù)據(jù)平臺的解決方案 |
| 數(shù)據(jù)架構(gòu)設計架構(gòu) |
數(shù)據(jù)倉庫典型架構(gòu)介紹 —ODS層 —DW層 —DM層 數(shù)據(jù)安全控制 ETL任務調(diào)度 |
| 湖倉一體數(shù)據(jù)架構(gòu) |
數(shù)據(jù)接入大數(shù)據(jù)平臺 —離線數(shù)據(jù)接入 —實時的數(shù)據(jù)接入 數(shù)據(jù)處理過程 —數(shù)據(jù)的ETL —數(shù)據(jù)分層(ODS、DW和DM等) —數(shù)據(jù)建模 —數(shù)據(jù)校驗 數(shù)據(jù)應用 —數(shù)據(jù)離線應用 —數(shù)據(jù)實時應用 —數(shù)據(jù)實驗室 —數(shù)據(jù)展示工具(BI工具) |
| 湖倉一體工具介紹 |
數(shù)據(jù)湖工具介紹 常見的數(shù)據(jù)湖技術(shù) 開源架構(gòu)Hudi技術(shù)介紹和應用場景 開源架構(gòu)Iceberg技術(shù)介紹和應用場景 開源架構(gòu)Delta Lake技術(shù)介紹和應用場景 hudi、Iceberg和Delta Lake的比較 Hudi 在業(yè)內(nèi)的使用案例介紹 |
| Flink+hudi構(gòu)建湖倉一體技術(shù)介紹 |
數(shù)據(jù)湖以及Hudi數(shù)據(jù)湖概述 Hudi數(shù)據(jù)湖插入數(shù)據(jù) Hudi數(shù)據(jù)湖之更新數(shù)據(jù) Hudi數(shù)據(jù)湖查詢數(shù)據(jù) Hudi增量數(shù)據(jù)查詢 Hudi表格式介紹 Hudi表索引介紹 Hudi數(shù)據(jù)湖COW表引擎 Hudi數(shù)據(jù)湖MOR表引擎 Hudi Timeline詳解 Hudi數(shù)據(jù)湖之flink實時數(shù)據(jù)分析服務構(gòu)建 實戰(zhàn)： Flink+Hudi構(gòu)建湖倉一體數(shù)據(jù)平臺的案例分享 |
| 案例實戰(zhàn)：湖倉一體數(shù)據(jù)底座實戰(zhàn) |
數(shù)據(jù)域劃分方法論介紹 主題域劃分 指標體系構(gòu)建 –業(yè)務需求梳理方法 –指標和維度梳理 –選擇業(yè)務過程 –聲明粒度 –確定維度 –確定事實 –指標和維度一致性矩陣 建模規(guī)范介紹 數(shù)據(jù)架構(gòu)解決的問題 數(shù)據(jù)分層的好處 數(shù)據(jù)倉庫分層模型介紹（OneData） 明細模型 -ODS -DWD 匯總模型 -DWS -ADS 數(shù)據(jù)分層核心原則—公共數(shù)據(jù)下沉介紹 指標數(shù)據(jù)規(guī)范定義 事實表和維度表識別 數(shù)據(jù)一致性解決方案 - 指標一致性 - 維度一致性 - 事實一致性 OneID梳理流程和生成規(guī)則案例介紹 建模生命周期 數(shù)據(jù)倉庫OneModel設計規(guī)范 存儲規(guī)范 時間維度規(guī)范 ODS、DWD、DWS、ADS層規(guī)范 數(shù)據(jù)類型轉(zhuǎn)換規(guī)范 視圖、臨時表規(guī)范 |
|
數(shù)據(jù)架構(gòu)的發(fā)展 離線數(shù)倉解決方案 實時數(shù)倉數(shù)倉解決方案 新一代數(shù)倉---數(shù)據(jù)中臺概念及架構(gòu) 湖倉一體數(shù)據(jù)架構(gòu)解決方案 實時OLAP數(shù)據(jù)平臺架構(gòu)方案 基于Flink構(gòu)建實時數(shù)據(jù)平臺的解決方案 基于Flink構(gòu)建湖倉一體數(shù)據(jù)平臺的解決方案 |
|
數(shù)據(jù)架構(gòu)設計架構(gòu) 數(shù)據(jù)倉庫典型架構(gòu)介紹 —ODS層 —DW層 —DM層 數(shù)據(jù)安全控制 ETL任務調(diào)度 |
|
湖倉一體數(shù)據(jù)架構(gòu) 數(shù)據(jù)接入大數(shù)據(jù)平臺 —離線數(shù)據(jù)接入 —實時的數(shù)據(jù)接入 數(shù)據(jù)處理過程 —數(shù)據(jù)的ETL —數(shù)據(jù)分層(ODS、DW和DM等) —數(shù)據(jù)建模 —數(shù)據(jù)校驗 數(shù)據(jù)應用 —數(shù)據(jù)離線應用 —數(shù)據(jù)實時應用 —數(shù)據(jù)實驗室 —數(shù)據(jù)展示工具(BI工具) |
|
湖倉一體工具介紹 數(shù)據(jù)湖工具介紹 常見的數(shù)據(jù)湖技術(shù) 開源架構(gòu)Hudi技術(shù)介紹和應用場景 開源架構(gòu)Iceberg技術(shù)介紹和應用場景 開源架構(gòu)Delta Lake技術(shù)介紹和應用場景 hudi、Iceberg和Delta Lake的比較 Hudi 在業(yè)內(nèi)的使用案例介紹 |
|
Flink+hudi構(gòu)建湖倉一體技術(shù)介紹 數(shù)據(jù)湖以及Hudi數(shù)據(jù)湖概述 Hudi數(shù)據(jù)湖插入數(shù)據(jù) Hudi數(shù)據(jù)湖之更新數(shù)據(jù) Hudi數(shù)據(jù)湖查詢數(shù)據(jù) Hudi增量數(shù)據(jù)查詢 Hudi表格式介紹 Hudi表索引介紹 Hudi數(shù)據(jù)湖COW表引擎 Hudi數(shù)據(jù)湖MOR表引擎 Hudi Timeline詳解 Hudi數(shù)據(jù)湖之flink實時數(shù)據(jù)分析服務構(gòu)建 實戰(zhàn)： Flink+Hudi構(gòu)建湖倉一體數(shù)據(jù)平臺的案例分享 |
|
案例實戰(zhàn)：湖倉一體數(shù)據(jù)底座實戰(zhàn) 數(shù)據(jù)域劃分方法論介紹 主題域劃分 指標體系構(gòu)建 –業(yè)務需求梳理方法 –指標和維度梳理 –選擇業(yè)務過程 –聲明粒度 –確定維度 –確定事實 –指標和維度一致性矩陣 建模規(guī)范介紹 數(shù)據(jù)架構(gòu)解決的問題 數(shù)據(jù)分層的好處 數(shù)據(jù)倉庫分層模型介紹（OneData） 明細模型 -ODS -DWD 匯總模型 -DWS -ADS 數(shù)據(jù)分層核心原則—公共數(shù)據(jù)下沉介紹 指標數(shù)據(jù)規(guī)范定義 事實表和維度表識別 數(shù)據(jù)一致性解決方案 - 指標一致性 - 維度一致性 - 事實一致性 OneID梳理流程和生成規(guī)則案例介紹 建模生命周期 數(shù)據(jù)倉庫OneModel設計規(guī)范 存儲規(guī)范 時間維度規(guī)范 ODS、DWD、DWS、ADS層規(guī)范 數(shù)據(jù)類型轉(zhuǎn)換規(guī)范 視圖、臨時表規(guī)范 |
近期公開課推薦
