課程簡(jiǎn)介
此議題首先會(huì)介紹近5年大海量數(shù)據(jù)計(jì)算技術(shù)的演進(jìn)規(guī)律,并詳細(xì)對(duì)比主流計(jì)算框架如Spark,F(xiàn)link,Beam的異同,從中梳理出海量數(shù)據(jù)計(jì)算的通用編程模型。其次,針對(duì)Flink的核心技術(shù)點(diǎn)包括有狀態(tài)的數(shù)據(jù)處理、常用API、窗口、異步IO等做深入的介紹。之后將介紹如何從0到1開(kāi)發(fā)出一個(gè)基于Flink的配置化、高度可擴(kuò)展、計(jì)算平臺(tái),以及如何應(yīng)用領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)(DDD)來(lái)更好的實(shí)現(xiàn)各業(yè)務(wù)的大數(shù)據(jù)計(jì)算需求。
一、海量數(shù)據(jù)處理技術(shù)的演進(jìn)規(guī)律及核心技術(shù)點(diǎn)
二、Flink核心技術(shù)深入淺出(有狀態(tài)的數(shù)據(jù)處理、常用API、窗口、checkpoint,異步IO等)
三、Spark,F(xiàn)link,Beam深入比較和應(yīng)用場(chǎng)景分析
四、從0到1開(kāi)發(fā)出一個(gè)基于Flink的配置化、高度可擴(kuò)展、計(jì)算平臺(tái)
五、領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)核心知識(shí);如何用Flink結(jié)合領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)拆解業(yè)務(wù)需求。
目標(biāo)收益
1. Flink核心技術(shù)的深入理解。
2. 流式和離線海量數(shù)據(jù)計(jì)算平臺(tái)的設(shè)計(jì)的抽象與分層能力
3. 用Flink實(shí)現(xiàn)一個(gè)通用數(shù)據(jù)計(jì)算產(chǎn)品的方法。
4. 領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)(DDD)的核心知識(shí)和它在大數(shù)據(jù)領(lǐng)域的應(yīng)用。
培訓(xùn)對(duì)象
課程內(nèi)容
此議題首先會(huì)介紹近5年大海量數(shù)據(jù)計(jì)算技術(shù)的演進(jìn)規(guī)律,并詳細(xì)對(duì)比主流計(jì)算框架如Spark,F(xiàn)link,Beam的異同,從中梳理出海量數(shù)據(jù)計(jì)算的通用編程模型。其次,針對(duì)Flink的核心技術(shù)點(diǎn)包括有狀態(tài)的數(shù)據(jù)處理、常用API、窗口、異步IO等做深入的介紹。之后將介紹如何從0到1開(kāi)發(fā)出一個(gè)基于Flink的配置化、高度可擴(kuò)展、計(jì)算平臺(tái),以及如何應(yīng)用領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)(DDD)來(lái)更好的實(shí)現(xiàn)各業(yè)務(wù)的大數(shù)據(jù)計(jì)算需求。
一、海量數(shù)據(jù)處理技術(shù)的演進(jìn)規(guī)律及核心技術(shù)點(diǎn)
二、Flink核心技術(shù)深入淺出(有狀態(tài)的數(shù)據(jù)處理、常用API、窗口、checkpoint,異步IO等)
三、Spark,F(xiàn)link,Beam深入比較和應(yīng)用場(chǎng)景分析
四、從0到1開(kāi)發(fā)出一個(gè)基于Flink的配置化、高度可擴(kuò)展、計(jì)算平臺(tái)
五、領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)核心知識(shí);如何用Flink結(jié)合領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)拆解業(yè)務(wù)需求。