課程簡介
基于互聯(lián)網(wǎng)超大規(guī)模應(yīng)用為基礎(chǔ)的真實架構(gòu)案例驅(qū)動教學(xué);
超大規(guī)模分布式數(shù)據(jù)庫架構(gòu)設(shè)計與真實案例實踐
構(gòu)筑頂級能力維度模型,帶你快速成長為數(shù)據(jù)化轉(zhuǎn)型所需的復(fù)合型人才
培養(yǎng)大數(shù)據(jù)架構(gòu)師從技術(shù)本質(zhì)向技術(shù)管理本質(zhì)的遷移能力
目標收益
培訓(xùn)對象
系統(tǒng)架構(gòu)師,業(yè)務(wù)架構(gòu)師,云原生架構(gòu)師,大數(shù)據(jù)架構(gòu)師,運維架構(gòu)師,DBA架構(gòu)師,解決方案架構(gòu)師。對分布式數(shù)據(jù)庫知識和應(yīng)用感興趣的IT工作者。
課程大綱
大數(shù)據(jù)平臺架構(gòu)介紹和數(shù)據(jù)處理流程(2小時) |
1.大數(shù)據(jù)架構(gòu)發(fā)展從過去到現(xiàn)在以及未來技術(shù)演進 2.HDFS總體架構(gòu)設(shè)計 3.MapReduce執(zhí)行流程 4.分布式資源調(diào)度器YARN深度剖析 5.Zookeeper總體設(shè)計 6.HBase生態(tài)體系結(jié)構(gòu) 7.Hive體系結(jié)構(gòu) 8.Spark核心知識 9.Flink核心知識 分布式內(nèi)存實時分析系統(tǒng)-Driud |
數(shù)據(jù)倉庫技術(shù)選型(5小時) |
1. Oracle ?Oracle數(shù)據(jù)庫體系結(jié)構(gòu) ?Oracle高可用架構(gòu) ?Oracle必須掌握的性能優(yōu)化工具 ?應(yīng)用場景 ?案例詳解 2. MongoDB ?MongoDB體系結(jié)構(gòu) ?MongoDB高可用架構(gòu) ?MongoDB診斷及優(yōu)化實踐 ?應(yīng)用場景 ?案例詳解 3. Hadoop ?Lambda架構(gòu) ?Kappa架構(gòu) ?Lambda和Kappa架構(gòu)優(yōu)缺點對比 4. 建設(shè)OLAP技術(shù)可行性分析和應(yīng)用場景(實時數(shù)倉和批量數(shù)倉技術(shù)選型) ?Kylin ?ClickHouse ?Doris ?Impala ?Presto Driuid |
ELK |
. Talend 2. DateStage 3. Solix 4. Sqoop 5. Flum 6. DataPipeline |
數(shù)據(jù)湖 |
. 數(shù)據(jù)湖理念介紹 2. 數(shù)據(jù)湖解決數(shù)倉痛點 3. 數(shù)據(jù)“入湖”,讓資源變資產(chǎn) |
金融大數(shù)據(jù)場景案例 |
1. OLAP平臺建設(shè)和場景實踐 2. 用戶畫像與實時數(shù)倉 3. 用戶理財購買產(chǎn)品行為 4. Hudi湖倉一體技術(shù)實踐 5. …… |
大數(shù)據(jù)平臺架構(gòu)介紹和數(shù)據(jù)處理流程(2小時) 1.大數(shù)據(jù)架構(gòu)發(fā)展從過去到現(xiàn)在以及未來技術(shù)演進 2.HDFS總體架構(gòu)設(shè)計 3.MapReduce執(zhí)行流程 4.分布式資源調(diào)度器YARN深度剖析 5.Zookeeper總體設(shè)計 6.HBase生態(tài)體系結(jié)構(gòu) 7.Hive體系結(jié)構(gòu) 8.Spark核心知識 9.Flink核心知識 分布式內(nèi)存實時分析系統(tǒng)-Driud |
數(shù)據(jù)倉庫技術(shù)選型(5小時) 1. Oracle ?Oracle數(shù)據(jù)庫體系結(jié)構(gòu) ?Oracle高可用架構(gòu) ?Oracle必須掌握的性能優(yōu)化工具 ?應(yīng)用場景 ?案例詳解 2. MongoDB ?MongoDB體系結(jié)構(gòu) ?MongoDB高可用架構(gòu) ?MongoDB診斷及優(yōu)化實踐 ?應(yīng)用場景 ?案例詳解 3. Hadoop ?Lambda架構(gòu) ?Kappa架構(gòu) ?Lambda和Kappa架構(gòu)優(yōu)缺點對比 4. 建設(shè)OLAP技術(shù)可行性分析和應(yīng)用場景(實時數(shù)倉和批量數(shù)倉技術(shù)選型) ?Kylin ?ClickHouse ?Doris ?Impala ?Presto Driuid |
ELK . Talend 2. DateStage 3. Solix 4. Sqoop 5. Flum 6. DataPipeline |
數(shù)據(jù)湖 . 數(shù)據(jù)湖理念介紹 2. 數(shù)據(jù)湖解決數(shù)倉痛點 3. 數(shù)據(jù)“入湖”,讓資源變資產(chǎn) |
金融大數(shù)據(jù)場景案例 1. OLAP平臺建設(shè)和場景實踐 2. 用戶畫像與實時數(shù)倉 3. 用戶理財購買產(chǎn)品行為 4. Hudi湖倉一體技術(shù)實踐 5. …… |