工程師
其他
推薦課程
average > 0 ? $model->average . '分' : '10.0分' ?>

實(shí)時(shí)計(jì)算框架Flink技術(shù)實(shí)戰(zhàn)

劉老師

某知名咨詢公司 云平臺(tái)系統(tǒng)架構(gòu)師

畢業(yè)于?連理??學(xué)
簡介:
精通開源的?數(shù)據(jù)?態(tài)技術(shù)和架構(gòu),Hadoop、Hive、Hbase、 Spark、Flink等開源技術(shù)棧。
有10年左右基于?數(shù)據(jù)解決?案平臺(tái)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)分析和挖掘的?型數(shù)據(jù)湖和數(shù)
據(jù)中臺(tái)項(xiàng)?架構(gòu)實(shí)施經(jīng)驗(yàn),
?前任職國內(nèi)知名咨詢公司,先后服務(wù)于北京?學(xué)軟件研究所、阿?巴巴、Teradata,實(shí)施過基于開源?數(shù)據(jù)技術(shù)
棧的數(shù)據(jù)湖解決?案和實(shí)施、湖倉?體架構(gòu)咨詢和實(shí)施、數(shù)據(jù)中臺(tái)的咨詢和設(shè)施
最近主要項(xiàng)?介紹:
某移動(dòng)?數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)和設(shè)施 (Hadoop、Spark)
四??之?的數(shù)據(jù)湖咨詢和實(shí)施
某?型商業(yè)銀?數(shù)據(jù)中臺(tái)咨詢
某銀?基于開源?數(shù)據(jù)技術(shù)棧數(shù)據(jù)中臺(tái)的咨詢和實(shí)施
某航空公司數(shù)據(jù)平臺(tái)流批?體解決?案和實(shí)施
特長:
在?數(shù)據(jù)架構(gòu)、開發(fā)、運(yùn)維和優(yōu)化、數(shù)據(jù)集成、 數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)建模、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、數(shù)據(jù)
中臺(tái)等??有豐富經(jīng) 驗(yàn)。

畢業(yè)于?連理??學(xué) 簡介: 精通開源的?數(shù)據(jù)?態(tài)技術(shù)和架構(gòu),Hadoop、Hive、Hbase、 Spark、Flink等開源技術(shù)棧。 有10年左右基于?數(shù)據(jù)解決?案平臺(tái)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理、數(shù)據(jù)分析和挖掘的?型數(shù)據(jù)湖和數(shù) 據(jù)中臺(tái)項(xiàng)?架構(gòu)實(shí)施經(jīng)驗(yàn), ?前任職國內(nèi)知名咨詢公司,先后服務(wù)于北京?學(xué)軟件研究所、阿?巴巴、Teradata,實(shí)施過基于開源?數(shù)據(jù)技術(shù) 棧的數(shù)據(jù)湖解決?案和實(shí)施、湖倉?體架構(gòu)咨詢和實(shí)施、數(shù)據(jù)中臺(tái)的咨詢和設(shè)施 最近主要項(xiàng)?介紹: 某移動(dòng)?數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)和設(shè)施 (Hadoop、Spark) 四??之?的數(shù)據(jù)湖咨詢和實(shí)施 某?型商業(yè)銀?數(shù)據(jù)中臺(tái)咨詢 某銀?基于開源?數(shù)據(jù)技術(shù)棧數(shù)據(jù)中臺(tái)的咨詢和實(shí)施 某航空公司數(shù)據(jù)平臺(tái)流批?體解決?案和實(shí)施 特長: 在?數(shù)據(jù)架構(gòu)、開發(fā)、運(yùn)維和優(yōu)化、數(shù)據(jù)集成、 數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)建模、數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)、數(shù)據(jù) 中臺(tái)等??有豐富經(jīng) 驗(yàn)。

課程費(fèi)用

6800.00 /人

課程時(shí)長

2

成為教練

課程簡介

本課程的大綱設(shè)置,注重的是Flink基礎(chǔ)和核心技術(shù)的梳理和掌握,之后會(huì)對(duì)其中幾個(gè)重要的技術(shù)點(diǎn)做深入分析。針對(duì)企業(yè)內(nèi)訓(xùn)的需求,我們對(duì)大綱的設(shè)置,特別增加了學(xué)以致用的實(shí)戰(zhàn)環(huán)節(jié),讓企業(yè)學(xué)員能夠在學(xué)習(xí)完Flink技術(shù)知識(shí)后,具備將Flink應(yīng)用到實(shí)際生產(chǎn)環(huán)境中的能力,通過短時(shí)間的技術(shù)學(xué)習(xí),為公司創(chuàng)造價(jià)值和提高技術(shù)生產(chǎn)的效率。
本課程理論和實(shí)戰(zhàn)相結(jié)合,能夠通過實(shí)踐學(xué)習(xí)Flink的核心知識(shí)點(diǎn)和應(yīng)用場景
本課程的最大亮點(diǎn)是“Flink實(shí)時(shí)數(shù)據(jù)倉庫項(xiàng)目實(shí)戰(zhàn)”模塊,通過真實(shí)的實(shí)時(shí)數(shù)倉項(xiàng)目,幫助學(xué)員能夠快速進(jìn)入Flink項(xiàng)目的開發(fā)。

目標(biāo)收益

-深入了解流批一體數(shù)據(jù)攝取、整合、處理和應(yīng)用的解決方案和技術(shù)體系架構(gòu)
-了解Flink的典型應(yīng)用場景和Flink在大型互聯(lián)網(wǎng)的典型應(yīng)用
-深入了解Flink技術(shù)棧的功能和應(yīng)用場景,對(duì)流批一體的解決方案和落地有深入的理解,并且能夠落地
-深入了解Flink編程模型及核心原理、DataSet API編程、DataStream API編程、Flink Table API&SQL編程、Time及Window操作、Flink 常用Connectors介紹、Flink監(jiān)控和調(diào)優(yōu)
-Flink實(shí)時(shí)數(shù)據(jù)倉庫項(xiàng)目實(shí)戰(zhàn),了解實(shí)時(shí)數(shù)據(jù)倉庫的技術(shù)架構(gòu)、從數(shù)據(jù)攝取到數(shù)據(jù)展示的全鏈路數(shù)據(jù)實(shí)時(shí)處理的過程
-學(xué)員能夠自主獨(dú)立的使用Flink進(jìn)行實(shí)時(shí)數(shù)倉平臺(tái)的開發(fā)工作

培訓(xùn)對(duì)象

-大數(shù)據(jù)平臺(tái)架構(gòu)師
-一線大數(shù)據(jù)開發(fā)人員
-對(duì)Flink流批一體數(shù)據(jù)平臺(tái)感興趣的人員

課程大綱

第一天
流批一體架構(gòu)案例分享
離線數(shù)倉技術(shù)架構(gòu)和技術(shù)棧介紹
實(shí)時(shí)數(shù)倉架構(gòu)架構(gòu)和技術(shù)棧介紹
流批一體架構(gòu)的優(yōu)點(diǎn)
流批一體架構(gòu)解決方案
流批一體架構(gòu)技術(shù)棧詳解
流批一體數(shù)據(jù)架構(gòu)的設(shè)計(jì)
流批一體數(shù)據(jù)攝取、整合、處理和應(yīng)用的解決方案
流批一體平臺(tái)架構(gòu)在互聯(lián)的實(shí)戰(zhàn)
美團(tuán)流批一體平臺(tái)架構(gòu)分享
基于Flink流批一體數(shù)倉案例實(shí)戰(zhàn) 滴滴基于Flink實(shí)現(xiàn)復(fù)雜事件處理的案例分享
—Flink+CEP
—Flink狀態(tài)管理
—Flink運(yùn)維和優(yōu)化
—Flink容錯(cuò)機(jī)制
—Flink反壓機(jī)制
—Flink任務(wù)的雙鏈路備用
阿里巴巴基于Flink實(shí)時(shí)統(tǒng)計(jì)案例分享
—阿里雙十一實(shí)時(shí)架構(gòu)分享
—雙流數(shù)據(jù)Join處理
—Flink流失實(shí)倉架構(gòu)詳解
Flink CEP實(shí)時(shí)規(guī)則引擎詳解
Flink 技術(shù)棧介紹 Flink Table API介紹
Flink SQL介紹
Flink CDC Connect介紹
Flink CEP復(fù)雜事件處理
Flink Gelly圖計(jì)算應(yīng)用
Flink ML機(jī)器學(xué)習(xí)應(yīng)用
PyFlink數(shù)據(jù)分析和挖掘介紹
Flink Metrics 與監(jiān)控
Flink on yarn原理 Flink的運(yùn)行模式介紹
Flink on standalone運(yùn)行模式介紹
Flink on yarn運(yùn)行模式
—Session mode模式介紹和實(shí)戰(zhàn)
—Per-job mode模式介紹和實(shí)戰(zhàn)
—Application mode模式和實(shí)戰(zhàn)
三種模式的優(yōu)缺點(diǎn)比較
Flink有狀態(tài)的計(jì)算、狀態(tài)管理和容錯(cuò) 什么是有狀態(tài)計(jì)算
有狀態(tài)計(jì)算中的數(shù)據(jù)一致性挑戰(zhàn)
理解state狀態(tài)
Operator State 的使用及Redistribute
Keyed State的使用與Redistribute
Broadcast State的使用
Checkpoint核心原理剖析
Checkpoint使用條件及使用步驟
Checkpoint相關(guān)配置及重啟策略
Savepoint的觸發(fā)、Job恢復(fù)及刪除
Flink DataStream API原理和實(shí)戰(zhàn) DataStream API介紹與使用
DataStream編程模型
DataStream類型與轉(zhuǎn)換
Pipeline與StreamGraph轉(zhuǎn)換
Transformation
時(shí)間概念與Watermark
Windows窗口計(jì)算和多流合并
作業(yè)鏈和資源組
Asynchronous I/O異步API
Asynchronous I/O異步原理
Flink DataSet API介紹和實(shí)戰(zhàn) DataSet API,Transformation
迭代計(jì)算
廣播變量與分布式緩存
語義注解
DataSetUtils工具類
第二天
Flink Table API & SQL實(shí)戰(zhàn)
Flink table API原理和使用
Flink SQL原理和使用
TableEnviroment原理和使用
Table Connector注冊(cè)機(jī)制和使用
TimeStamp與Watermark原理和實(shí)戰(zhàn)
Temporal Tables原理實(shí)戰(zhàn)
多表關(guān)聯(lián)實(shí)戰(zhàn)
與Hive的集成實(shí)戰(zhàn)
自定義TableSource、Table Sink和Table Factory實(shí)戰(zhàn)
Flink SQL Catalog原理
項(xiàng)目實(shí)戰(zhàn):基于Flink SQL實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì)分析
Flink Connector介紹和實(shí)戰(zhàn) Flink Connector數(shù)據(jù)源
FlinkKafkaSource序列化、消費(fèi)模式
FlinkKafkaSource容錯(cuò)、動(dòng)態(tài)分區(qū)及topic
FlinkKafkaSink序列化、配置、分區(qū)與容錯(cuò)
自定義Source和Sink
Flink CDC介紹 傳統(tǒng)CDC工具介紹
CDC工具介紹和比較
Flink CDC支持的功能
基于日志CDC的數(shù)據(jù)同步流程
ETL—傳統(tǒng)CDC ETL分析
ETL—基于Flink CDC 聚合分析
Flink CDC 數(shù)據(jù)寬表
Flink SQL如何集成CDC
Flink CDC 作為數(shù)據(jù)采集層的優(yōu)勢(shì)
項(xiàng)目實(shí)戰(zhàn)RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項(xiàng)目實(shí)戰(zhàn) RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項(xiàng)目實(shí)戰(zhàn):
Docker演示環(huán)境介紹
Flink CDC mysql實(shí)戰(zhàn)
Flink CDC postgres實(shí)戰(zhàn)
Flink CDC Kafka實(shí)戰(zhàn)
Flink CDC ES實(shí)現(xiàn)
Kibana結(jié)果展示
RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana完整項(xiàng)目實(shí)戰(zhàn)
Flink監(jiān)控和優(yōu)化 Flink Metric使用介紹
Flink RestAPI介紹和使用
Backpressure監(jiān)控與優(yōu)化
Checkpointing監(jiān)控與優(yōu)化
Flink內(nèi)存管理和優(yōu)化
窗口和事件事件調(diào)試
HistoryServer服務(wù)介紹
第一天
流批一體架構(gòu)案例分享
離線數(shù)倉技術(shù)架構(gòu)和技術(shù)棧介紹
實(shí)時(shí)數(shù)倉架構(gòu)架構(gòu)和技術(shù)棧介紹
流批一體架構(gòu)的優(yōu)點(diǎn)
流批一體架構(gòu)解決方案
流批一體架構(gòu)技術(shù)棧詳解
流批一體數(shù)據(jù)架構(gòu)的設(shè)計(jì)
流批一體數(shù)據(jù)攝取、整合、處理和應(yīng)用的解決方案
流批一體平臺(tái)架構(gòu)在互聯(lián)的實(shí)戰(zhàn)
美團(tuán)流批一體平臺(tái)架構(gòu)分享
基于Flink流批一體數(shù)倉案例實(shí)戰(zhàn)
滴滴基于Flink實(shí)現(xiàn)復(fù)雜事件處理的案例分享
—Flink+CEP
—Flink狀態(tài)管理
—Flink運(yùn)維和優(yōu)化
—Flink容錯(cuò)機(jī)制
—Flink反壓機(jī)制
—Flink任務(wù)的雙鏈路備用
阿里巴巴基于Flink實(shí)時(shí)統(tǒng)計(jì)案例分享
—阿里雙十一實(shí)時(shí)架構(gòu)分享
—雙流數(shù)據(jù)Join處理
—Flink流失實(shí)倉架構(gòu)詳解
Flink CEP實(shí)時(shí)規(guī)則引擎詳解
Flink 技術(shù)棧介紹
Flink Table API介紹
Flink SQL介紹
Flink CDC Connect介紹
Flink CEP復(fù)雜事件處理
Flink Gelly圖計(jì)算應(yīng)用
Flink ML機(jī)器學(xué)習(xí)應(yīng)用
PyFlink數(shù)據(jù)分析和挖掘介紹
Flink Metrics 與監(jiān)控
Flink on yarn原理
Flink的運(yùn)行模式介紹
Flink on standalone運(yùn)行模式介紹
Flink on yarn運(yùn)行模式
—Session mode模式介紹和實(shí)戰(zhàn)
—Per-job mode模式介紹和實(shí)戰(zhàn)
—Application mode模式和實(shí)戰(zhàn)
三種模式的優(yōu)缺點(diǎn)比較
Flink有狀態(tài)的計(jì)算、狀態(tài)管理和容錯(cuò)
什么是有狀態(tài)計(jì)算
有狀態(tài)計(jì)算中的數(shù)據(jù)一致性挑戰(zhàn)
理解state狀態(tài)
Operator State 的使用及Redistribute
Keyed State的使用與Redistribute
Broadcast State的使用
Checkpoint核心原理剖析
Checkpoint使用條件及使用步驟
Checkpoint相關(guān)配置及重啟策略
Savepoint的觸發(fā)、Job恢復(fù)及刪除
Flink DataStream API原理和實(shí)戰(zhàn)
DataStream API介紹與使用
DataStream編程模型
DataStream類型與轉(zhuǎn)換
Pipeline與StreamGraph轉(zhuǎn)換
Transformation
時(shí)間概念與Watermark
Windows窗口計(jì)算和多流合并
作業(yè)鏈和資源組
Asynchronous I/O異步API
Asynchronous I/O異步原理
Flink DataSet API介紹和實(shí)戰(zhàn)
DataSet API,Transformation
迭代計(jì)算
廣播變量與分布式緩存
語義注解
DataSetUtils工具類
第二天
Flink Table API & SQL實(shí)戰(zhàn)
Flink table API原理和使用
Flink SQL原理和使用
TableEnviroment原理和使用
Table Connector注冊(cè)機(jī)制和使用
TimeStamp與Watermark原理和實(shí)戰(zhàn)
Temporal Tables原理實(shí)戰(zhàn)
多表關(guān)聯(lián)實(shí)戰(zhàn)
與Hive的集成實(shí)戰(zhàn)
自定義TableSource、Table Sink和Table Factory實(shí)戰(zhàn)
Flink SQL Catalog原理
項(xiàng)目實(shí)戰(zhàn):基于Flink SQL實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì)分析
Flink Connector介紹和實(shí)戰(zhàn)
Flink Connector數(shù)據(jù)源
FlinkKafkaSource序列化、消費(fèi)模式
FlinkKafkaSource容錯(cuò)、動(dòng)態(tài)分區(qū)及topic
FlinkKafkaSink序列化、配置、分區(qū)與容錯(cuò)
自定義Source和Sink
Flink CDC介紹
傳統(tǒng)CDC工具介紹
CDC工具介紹和比較
Flink CDC支持的功能
基于日志CDC的數(shù)據(jù)同步流程
ETL—傳統(tǒng)CDC ETL分析
ETL—基于Flink CDC 聚合分析
Flink CDC 數(shù)據(jù)寬表
Flink SQL如何集成CDC
Flink CDC 作為數(shù)據(jù)采集層的優(yōu)勢(shì)
項(xiàng)目實(shí)戰(zhàn)RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項(xiàng)目實(shí)戰(zhàn)
RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana項(xiàng)目實(shí)戰(zhàn):
Docker演示環(huán)境介紹
Flink CDC mysql實(shí)戰(zhàn)
Flink CDC postgres實(shí)戰(zhàn)
Flink CDC Kafka實(shí)戰(zhàn)
Flink CDC ES實(shí)現(xiàn)
Kibana結(jié)果展示
RDBMS+Kafka+Flink CDC+FlinkSQL+ES+Kibana完整項(xiàng)目實(shí)戰(zhàn)
Flink監(jiān)控和優(yōu)化
Flink Metric使用介紹
Flink RestAPI介紹和使用
Backpressure監(jiān)控與優(yōu)化
Checkpointing監(jiān)控與優(yōu)化
Flink內(nèi)存管理和優(yōu)化
窗口和事件事件調(diào)試
HistoryServer服務(wù)介紹

課程費(fèi)用

6800.00 /人

課程時(shí)長

2

預(yù)約體驗(yàn)票 我要分享

近期公開課推薦

近期公開課推薦

活動(dòng)詳情

提交需求