課程簡介
Spark大數(shù)據(jù)計算框架學(xué)習與實踐-待補充
目標收益
培訓(xùn)對象
課程大綱
| 大數(shù)據(jù)基礎(chǔ) |
第01講： MapReduce：計算框架和編程模型 第02講：Hadoop體系-大數(shù)據(jù)操作系統(tǒng) 第03講：計算的本質(zhì)：資源管理和生命周期管理 第04講：Spark 數(shù)據(jù)處理與分析應(yīng)用場景 第05講：上手Spark：如何部署&本地測試 |
| Spark 編程 |
第06講：Spark 抽象、架構(gòu)與運行環(huán)境 第07講：Spark 核心數(shù)據(jù)結(jié)構(gòu)：彈性分布式數(shù)據(jù)集 RDD 第08講：計算框架的分布式實現(xiàn)：剖析 Spark Shuffle 原理 第09講：什么是函數(shù)式編程思想？ |
| Spark 高級編程 |
第10講：如何處理結(jié)構(gòu)化數(shù)據(jù)：DataFrame 、Dataset 和 Spark SQL 第11講：如何使用用戶自定義函數(shù)？ 第12講：列式存儲：針對查詢場景的極致優(yōu)化 第13講：如何對 Spark 進行全方位性能調(diào)優(yōu)？ 第14講：Tungsten 和 Hydrogen：Spark 性能提升與優(yōu)化計劃 第15講：實戰(zhàn)：探索葡萄牙銀行電話調(diào)查的結(jié)果 |
| Spark 流處理 |
第16講：流處理：什么是流處理？實時性和一致性問題 第17講：Spark Streaming 抽象、架構(gòu)與使用方法 第18講：如何在生產(chǎn)環(huán)境中使用 Spark Streaming，以及性能調(diào)優(yōu) 第19講：新一代流式計算框架：Structured Streaming 第20講：實戰(zhàn)：游戲任務(wù)中實時規(guī)則觸發(fā)發(fā)獎系統(tǒng)建設(shè) |
| Spark 機器學(xué)習 |
第21講：機器學(xué)習是什么： 機器學(xué)習與機器學(xué)習工作流 第22講：標準化機器學(xué)習流程：ML pipeline 第23講：如何對數(shù)據(jù)進行預(yù)處理？ 第24講：物以類聚：Kmeans 聚類算法 第25講：推薦引擎：協(xié)同過濾 第26講：實踐：基于活躍預(yù)測的用戶推薦干預(yù)系統(tǒng)建設(shè) |
|
大數(shù)據(jù)基礎(chǔ) 第01講： MapReduce：計算框架和編程模型 第02講：Hadoop體系-大數(shù)據(jù)操作系統(tǒng) 第03講：計算的本質(zhì)：資源管理和生命周期管理 第04講：Spark 數(shù)據(jù)處理與分析應(yīng)用場景 第05講：上手Spark：如何部署&本地測試 |
|
Spark 編程 第06講：Spark 抽象、架構(gòu)與運行環(huán)境 第07講：Spark 核心數(shù)據(jù)結(jié)構(gòu)：彈性分布式數(shù)據(jù)集 RDD 第08講：計算框架的分布式實現(xiàn)：剖析 Spark Shuffle 原理 第09講：什么是函數(shù)式編程思想？ |
|
Spark 高級編程 第10講：如何處理結(jié)構(gòu)化數(shù)據(jù)：DataFrame 、Dataset 和 Spark SQL 第11講：如何使用用戶自定義函數(shù)？ 第12講：列式存儲：針對查詢場景的極致優(yōu)化 第13講：如何對 Spark 進行全方位性能調(diào)優(yōu)？ 第14講：Tungsten 和 Hydrogen：Spark 性能提升與優(yōu)化計劃 第15講：實戰(zhàn)：探索葡萄牙銀行電話調(diào)查的結(jié)果 |
|
Spark 流處理 第16講：流處理：什么是流處理？實時性和一致性問題 第17講：Spark Streaming 抽象、架構(gòu)與使用方法 第18講：如何在生產(chǎn)環(huán)境中使用 Spark Streaming，以及性能調(diào)優(yōu) 第19講：新一代流式計算框架：Structured Streaming 第20講：實戰(zhàn)：游戲任務(wù)中實時規(guī)則觸發(fā)發(fā)獎系統(tǒng)建設(shè) |
|
Spark 機器學(xué)習 第21講：機器學(xué)習是什么： 機器學(xué)習與機器學(xué)習工作流 第22講：標準化機器學(xué)習流程：ML pipeline 第23講：如何對數(shù)據(jù)進行預(yù)處理？ 第24講：物以類聚：Kmeans 聚類算法 第25講：推薦引擎：協(xié)同過濾 第26講：實踐：基于活躍預(yù)測的用戶推薦干預(yù)系統(tǒng)建設(shè) |
近期公開課推薦
