Jason
0 ? $score . '分' : '10.0分' ?>互聯(lián)網
大數(shù)據(jù)
Java
數(shù)據(jù)庫
訪問次數(shù)
6248
反饋數(shù)量
0
關于教練
多年Kafka/Hadoop/Spark研究、應用及調優(yōu)經驗?，F(xiàn)從事大數(shù)據(jù)平臺優(yōu)化工作。 高性能Java應用架構與設計
敏捷團隊建設與管理
數(shù)據(jù)庫、數(shù)據(jù)倉庫的設計與優(yōu)化
分布式應用架構與開發(fā)
大數(shù)據(jù)系統(tǒng)（如Kafka、Hadoop和Spark）架構與開發(fā)
課程
-
大數(shù)據(jù)平臺Spark的原理分析與實戰(zhàn)演練
a) 鑒于一般Spark不會單獨使用，而是與Hadoop一起使用，因此該課程首先簡單闡述HDFS與Yarn的關鍵技術與高可用及水平擴展方案
b) 結合精典案例講解一個Spark Job的整個生命周期，以及如何劃分Stage，如何生成邏輯執(zhí)行計劃和物理執(zhí)行計劃
c) 從Hash Shuffle到Sort Shuffle再到Tungsten Sort Shuffle詳細分析Spark Shuffle機制的原理與演進
d) 結合Yarn分析Spark的內存模型以及如何進行相關調優(yōu)
e) 介紹Spark Streaming使用方式，分析通用流式處理系統(tǒng)的關鍵問題以及Spark Streaming對相應問題的解決方案，如窗口，亂序，Checkpoint等，并分析Spark Streaming與Storm和Kafka Stream各自的優(yōu)缺點和適用場景
f) 結合源碼分析Spark SQL的原理，以及實現(xiàn)SQL引擎的一般方法，并介紹如何進行Spark SQL性能優(yōu)化
g) 結合電影推薦系統(tǒng)這一案例，介紹如何使用Spark MLlib解決機器學習問題
h) 結合大量真實案例，分析如何解決數(shù)據(jù)傾斜問題從而提高應用性能
暫無課程排期架構師 -
分布式消息系統(tǒng)Kafka架構分析與應用
a) 結合實戰(zhàn)分析大數(shù)據(jù)系統(tǒng)的基石——Zookeeper的實現(xiàn)原理以及典型使用場景，如分布式配置管理，領導選舉，分布式鎖
b) 分析分布式系統(tǒng)的消息路由策略以及如何解決數(shù)據(jù)傾斜問題
c) 從Kafka 0.8到0.10的數(shù)據(jù)復制與領導選舉策略的演進，分析通用分布式系統(tǒng)中典型的復制與領導選舉的關鍵技術及解決方案
d) 分析Kafka 0.8到0.10的Consumer Group Rebalance方案的演進——從分布式“自各為政”選舉到集中式“統(tǒng)一決策”選舉
e) 分析流式處理系統(tǒng)的新貴——Kafka Stream的原理及其與其它流式處理系統(tǒng)的區(qū)別
f) 介紹Kafka Producer/Consumer的用法
g) 介紹如何使用Kafka實現(xiàn)正好一次（Exactly Once）處理語義
h) 介紹Kafka Stream的使用注意事項
i) 介紹如何將Kafka與其它主流分布式系統(tǒng)，如Hadoop、Spark，集成
暫無課程排期架構師
大會議題
訪問次數(shù)
6248
反饋數(shù)量
相關教練
