課程簡介

以Flink為核心技術(shù)來介紹當(dāng)前最先進(jìn)的流式處理架構(gòu)和編程模型；詳細(xì)拆解了Flink的流式計算中的幾個重要技術(shù)點，如Window聚合計算、狀態(tài)與容錯機(jī)制等；以生產(chǎn)環(huán)境的流式應(yīng)用為背景，介紹常見的問題和最優(yōu)的解決方案；Flink在各個一線互聯(lián)網(wǎng)的典型應(yīng)用，如阿里、騰訊、微博等。

目標(biāo)收益

學(xué)員通過實踐本課程，能夠熟悉大數(shù)據(jù)行業(yè)和分布式系統(tǒng)的技術(shù)核心知識點；通過Flink知識的學(xué)習(xí)，能夠掌握大數(shù)據(jù)應(yīng)用的開發(fā)和運維能力，并能夠掌握海量數(shù)據(jù)處理的編碼和性能調(diào)優(yōu)經(jīng)驗。讓學(xué)員能夠從0到1獨立完成Flink流式計算的程序編寫和功能、性能上的調(diào)優(yōu)；熟悉中國Top5互聯(lián)網(wǎng)企業(yè)（如阿里巴巴，騰訊）的大數(shù)據(jù)平臺中Flink的技術(shù)的應(yīng)用案例和最佳實踐。

培訓(xùn)對象

本課程不僅適合大數(shù)據(jù) Hadoop, Flink, Spark 相關(guān)從業(yè)人員，同時也適合熱愛或者希望未來從事大數(shù)據(jù)相關(guān)工作的在校學(xué)生，軟件開發(fā)工程師，運維工程師以及架構(gòu)師學(xué)習(xí)。通過本課程，學(xué)員將能夠快速熟悉和掌握大數(shù)據(jù)利器Flink，尤其是流式計算的核心技術(shù)，在生產(chǎn)中解決實際問題。

課程內(nèi)容

1. 流式處理架構(gòu)

1.1 流式處理背景及架構(gòu)介紹

1.2 流式處理行業(yè)案例以及Flink的適用場景及應(yīng)用概述

1.3 Flink 與 Spark的比較以及為什么選擇Flink

1.4 Flink流式計算的編程模型[1]：DataStream API

1.5 Flink流式計算的編程模型[2]：FlinkSQL與UDF



2. Flink流式處理核心技術(shù)

2.1 三種Time與Watermark

2.2 Window窗口有狀態(tài)聚合計算詳解

2.3 開發(fā)自己的Flink Connector(Source & Sink)

2.4 看懂Flink WebUI和Flink Metrics體系

2.5 常見Flink Connector(Kafka，Elasticsearch，HDFS)的使用與調(diào)優(yōu)

2.6 Flink的Exactly-Once處理、狀態(tài)維護(hù)與容錯機(jī)制。

2.7 Flink 流式處理時的反壓機(jī)制



3. 流式計算常見問題的技術(shù)方案：

3.1 如何處理亂序和延遲的數(shù)據(jù)？

3.2 海量數(shù)據(jù)規(guī)模下的性能調(diào)優(yōu)？

3.3 雙流Join怎么用？

3.4 實時數(shù)據(jù)與緯度表關(guān)聯(lián)怎么樣做最高效？

3.5 如何在Flink中實現(xiàn)業(yè)務(wù)計算邏輯動態(tài)更新？

3.6 窗口聚合數(shù)據(jù)希望盡早輸出怎么辦？



4. Flink在各大互聯(lián)網(wǎng)公司的典型應(yīng)用剖析

4.1 Flink在阿里、騰訊、微博的應(yīng)用

4.2 Flink在短視頻直播用戶行為分析的實戰(zhàn)