架構(gòu)師
互聯(lián)網(wǎng)
大數(shù)據(jù)
API
推薦課程
average > 0 ? $model->average . '分' : '10.0分' ?>

如何利用DDD思想、使用Flink框架,搭建流計(jì)算平臺(tái)

蓋瑞

一線互聯(lián)網(wǎng)公司 大數(shù)據(jù)專家

曾在微博、樂(lè)視、新浪負(fù)責(zé)過(guò)多個(gè)業(yè)務(wù)線的PB級(jí)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、流式計(jì)算服務(wù)、AIOps的探索應(yīng)用。精通Hadoop, Spark, Flink, Kafka, Elasticsearch等大數(shù)據(jù)技術(shù)。在Github上,他領(lǐng)導(dǎo)團(tuán)隊(duì)開(kāi)源了Waterdrop項(xiàng)目,一個(gè)支持Spark,F(xiàn)link引擎的數(shù)據(jù)計(jì)算產(chǎn)品。Waterdrop在字節(jié)跳動(dòng)、360、微博、新浪等生產(chǎn)環(huán)境中有持續(xù)產(chǎn)生收益。
參與設(shè)計(jì)、研發(fā)PB級(jí)面向運(yùn)維以及用戶行為分析的數(shù)據(jù)倉(cāng)庫(kù),每日數(shù)據(jù)增量70T+,管理超過(guò)200個(gè)計(jì)算任務(wù)。
設(shè)計(jì)并研發(fā)過(guò)自助化構(gòu)建圖表、看板的BI系統(tǒng),基于此系統(tǒng)管理超過(guò)100個(gè)用戶行為分析的數(shù)據(jù)模型及看板。

曾在微博、樂(lè)視、新浪負(fù)責(zé)過(guò)多個(gè)業(yè)務(wù)線的PB級(jí)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、流式計(jì)算服務(wù)、AIOps的探索應(yīng)用。精通Hadoop, Spark, Flink, Kafka, Elasticsearch等大數(shù)據(jù)技術(shù)。在Github上,他領(lǐng)導(dǎo)團(tuán)隊(duì)開(kāi)源了Waterdrop項(xiàng)目,一個(gè)支持Spark,F(xiàn)link引擎的數(shù)據(jù)計(jì)算產(chǎn)品。Waterdrop在字節(jié)跳動(dòng)、360、微博、新浪等生產(chǎn)環(huán)境中有持續(xù)產(chǎn)生收益。 參與設(shè)計(jì)、研發(fā)PB級(jí)面向運(yùn)維以及用戶行為分析的數(shù)據(jù)倉(cāng)庫(kù),每日數(shù)據(jù)增量70T+,管理超過(guò)200個(gè)計(jì)算任務(wù)。 設(shè)計(jì)并研發(fā)過(guò)自助化構(gòu)建圖表、看板的BI系統(tǒng),基于此系統(tǒng)管理超過(guò)100個(gè)用戶行為分析的數(shù)據(jù)模型及看板。

課程費(fèi)用

5800.00 /人

課程時(shí)長(zhǎng)

3小時(shí)

成為教練

課程簡(jiǎn)介

此議題首先會(huì)介紹近5年大海量數(shù)據(jù)計(jì)算技術(shù)的演進(jìn)規(guī)律,并詳細(xì)對(duì)比主流計(jì)算框架如Spark,F(xiàn)link,Beam的異同,從中梳理出海量數(shù)據(jù)計(jì)算的通用編程模型。其次,針對(duì)Flink的核心技術(shù)點(diǎn)包括有狀態(tài)的數(shù)據(jù)處理、常用API、窗口、異步IO等做深入的介紹。之后將介紹如何從0到1開(kāi)發(fā)出一個(gè)基于Flink的配置化、高度可擴(kuò)展、計(jì)算平臺(tái),以及如何應(yīng)用領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)(DDD)來(lái)更好的實(shí)現(xiàn)各業(yè)務(wù)的大數(shù)據(jù)計(jì)算需求。

一、海量數(shù)據(jù)處理技術(shù)的演進(jìn)規(guī)律及核心技術(shù)點(diǎn)
二、Flink核心技術(shù)深入淺出(有狀態(tài)的數(shù)據(jù)處理、常用API、窗口、checkpoint,異步IO等)
三、Spark,F(xiàn)link,Beam深入比較和應(yīng)用場(chǎng)景分析
四、從0到1開(kāi)發(fā)出一個(gè)基于Flink的配置化、高度可擴(kuò)展、計(jì)算平臺(tái)
五、領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)核心知識(shí);如何用Flink結(jié)合領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)拆解業(yè)務(wù)需求。

目標(biāo)收益

1. Flink核心技術(shù)的深入理解。
2. 流式和離線海量數(shù)據(jù)計(jì)算平臺(tái)的設(shè)計(jì)的抽象與分層能力
3. 用Flink實(shí)現(xiàn)一個(gè)通用數(shù)據(jù)計(jì)算產(chǎn)品的方法。
4. 領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)(DDD)的核心知識(shí)和它在大數(shù)據(jù)領(lǐng)域的應(yīng)用。

培訓(xùn)對(duì)象

課程內(nèi)容

此議題首先會(huì)介紹近5年大海量數(shù)據(jù)計(jì)算技術(shù)的演進(jìn)規(guī)律,并詳細(xì)對(duì)比主流計(jì)算框架如Spark,F(xiàn)link,Beam的異同,從中梳理出海量數(shù)據(jù)計(jì)算的通用編程模型。其次,針對(duì)Flink的核心技術(shù)點(diǎn)包括有狀態(tài)的數(shù)據(jù)處理、常用API、窗口、異步IO等做深入的介紹。之后將介紹如何從0到1開(kāi)發(fā)出一個(gè)基于Flink的配置化、高度可擴(kuò)展、計(jì)算平臺(tái),以及如何應(yīng)用領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)(DDD)來(lái)更好的實(shí)現(xiàn)各業(yè)務(wù)的大數(shù)據(jù)計(jì)算需求。

一、海量數(shù)據(jù)處理技術(shù)的演進(jìn)規(guī)律及核心技術(shù)點(diǎn)
二、Flink核心技術(shù)深入淺出(有狀態(tài)的數(shù)據(jù)處理、常用API、窗口、checkpoint,異步IO等)
三、Spark,F(xiàn)link,Beam深入比較和應(yīng)用場(chǎng)景分析
四、從0到1開(kāi)發(fā)出一個(gè)基于Flink的配置化、高度可擴(kuò)展、計(jì)算平臺(tái)
五、領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)核心知識(shí);如何用Flink結(jié)合領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)拆解業(yè)務(wù)需求。

課程費(fèi)用

5800.00 /人

課程時(shí)長(zhǎng)

3小時(shí)

預(yù)約體驗(yàn)票 我要分享

近期公開(kāi)課推薦

近期公開(kāi)課推薦

活動(dòng)詳情

提交需求