課程簡介
金融企業(yè)流式數(shù)據(jù)架構設計與應用，包括但不限于；實時數(shù)據(jù)數(shù)據(jù)標準，數(shù)據(jù)質量，數(shù)據(jù)安全，數(shù)據(jù)模型，數(shù)據(jù)分布和數(shù)據(jù)生命周期管理等的設計方法論，以及在實際應用中，同批數(shù)據(jù)統(tǒng)一管理的實際運用?？紤]到金融業(yè)營銷、風控兩個常規(guī)場景，討論企業(yè)流式數(shù)據(jù)架構的設計和管理，包括技術選型、數(shù)據(jù)治理以及統(tǒng)一建模。
其他流式架構知識點：
1.多維模型的建立方法:
2.復雜數(shù)據(jù)模型的支持方法，
3.極速大數(shù)據(jù)OLAP分析方法
目標收益
1.學習和了解金融企業(yè)流式數(shù)據(jù)架構設計與應用，了解實時數(shù)據(jù)處理過程中的數(shù)據(jù)管理體系，數(shù)據(jù)處理技術，數(shù)據(jù)質量管控以及數(shù)據(jù)安全等；
2.掌握流計算常用技術與架構，包括不限于Apache Storm，Apache Flink，Spark Streaming等；
3.掌握流數(shù)據(jù)架構的特點以及建設方法論；
4.了解業(yè)界主流企業(yè)如何構建流數(shù)據(jù)架構體系，以及如何在現(xiàn)有大數(shù)據(jù)平臺架構下，構建流數(shù)據(jù)處理平臺，有效管理流數(shù)據(jù)；
培訓對象
1.大數(shù)據(jù)從業(yè)人員
2.企業(yè)IT開發(fā)人員
3.企業(yè)數(shù)據(jù)部門人員
課程大綱
| 企業(yè)流式數(shù)據(jù)架構概覽 |
1.企業(yè)數(shù)據(jù)架構發(fā)展史 2.數(shù)據(jù)架構演進 3.Lambda數(shù)據(jù)架構介紹 4.Kappa數(shù)據(jù)架構介紹 5.面向AI的數(shù)據(jù)架構體系 6.面向BI的數(shù)據(jù)架構架構 7.湖倉一體數(shù)據(jù)架構的出現(xiàn) 8.湖倉一體數(shù)據(jù)架構原理與實現(xiàn) 9.企業(yè)流式數(shù)據(jù)架構概覽 10.流式數(shù)據(jù)架構行業(yè)案例 |
| 流計算技術介紹 |
1.流計算技術的發(fā)展與現(xiàn)狀 2.流式計算架構對比 3.流計算框架之Apache Storm原理與實現(xiàn) 4.流計算框架之Spark Streaming原理與實現(xiàn) 5.流計算框架之Apache Flink原理與實現(xiàn) 6.其他流計算框架介紹 7.企業(yè)數(shù)據(jù)架構與流計算技術 |
|
企業(yè)流式數(shù)據(jù)架構核心能力 （上） |
1.大數(shù)據(jù)平臺現(xiàn)狀梳理 2.離線數(shù)據(jù)處理與實時數(shù)據(jù)處理 3.構建企業(yè)級流數(shù)據(jù)處理平臺 4.企業(yè)數(shù)據(jù)存儲體系（離線與實時） 5.數(shù)據(jù)湖與數(shù)據(jù)倉庫 6.異構數(shù)據(jù)存儲與管理 7.批流一體化數(shù)據(jù)處理 |
|
企業(yè)流式數(shù)據(jù)架構核心能力 （下） |
1.企業(yè)數(shù)據(jù)治理的挑戰(zhàn) 2.構建面向流數(shù)據(jù)的元數(shù)據(jù)管理中心 3.流數(shù)據(jù)架構下的數(shù)據(jù)血緣管理 4.流數(shù)據(jù)架構下的數(shù)據(jù)可視化 5.流數(shù)據(jù)架構下的數(shù)據(jù)質量管理 6.流數(shù)據(jù)架構下的數(shù)據(jù)安全 7.流數(shù)據(jù)架構下的數(shù)據(jù)生命周期管理 |
| 流數(shù)據(jù)架構的應用領域 |
1.實時數(shù)據(jù)倉庫建設 2.基于流數(shù)據(jù)構建多維模型 3.復雜數(shù)據(jù)模型的支持方法 4.流數(shù)據(jù)處理與OLAP分析 5.流數(shù)據(jù)處理與可視化大屏技術 6.流數(shù)據(jù)處理與機器學習 7.基于流計算架構構建實時特征中心 |
| 案例分享 |
1.大數(shù)據(jù)平臺建設案例 2.流數(shù)據(jù)處理平臺建設案例 3.客戶畫像系統(tǒng) 4.營銷推薦系統(tǒng) 5.金融風控系統(tǒng) |
|
企業(yè)流式數(shù)據(jù)架構概覽 1.企業(yè)數(shù)據(jù)架構發(fā)展史 2.數(shù)據(jù)架構演進 3.Lambda數(shù)據(jù)架構介紹 4.Kappa數(shù)據(jù)架構介紹 5.面向AI的數(shù)據(jù)架構體系 6.面向BI的數(shù)據(jù)架構架構 7.湖倉一體數(shù)據(jù)架構的出現(xiàn) 8.湖倉一體數(shù)據(jù)架構原理與實現(xiàn) 9.企業(yè)流式數(shù)據(jù)架構概覽 10.流式數(shù)據(jù)架構行業(yè)案例 |
|
流計算技術介紹 1.流計算技術的發(fā)展與現(xiàn)狀 2.流式計算架構對比 3.流計算框架之Apache Storm原理與實現(xiàn) 4.流計算框架之Spark Streaming原理與實現(xiàn) 5.流計算框架之Apache Flink原理與實現(xiàn) 6.其他流計算框架介紹 7.企業(yè)數(shù)據(jù)架構與流計算技術 |
|
企業(yè)流式數(shù)據(jù)架構核心能力 （上） 1.大數(shù)據(jù)平臺現(xiàn)狀梳理 2.離線數(shù)據(jù)處理與實時數(shù)據(jù)處理 3.構建企業(yè)級流數(shù)據(jù)處理平臺 4.企業(yè)數(shù)據(jù)存儲體系（離線與實時） 5.數(shù)據(jù)湖與數(shù)據(jù)倉庫 6.異構數(shù)據(jù)存儲與管理 7.批流一體化數(shù)據(jù)處理 |
|
企業(yè)流式數(shù)據(jù)架構核心能力 （下） 1.企業(yè)數(shù)據(jù)治理的挑戰(zhàn) 2.構建面向流數(shù)據(jù)的元數(shù)據(jù)管理中心 3.流數(shù)據(jù)架構下的數(shù)據(jù)血緣管理 4.流數(shù)據(jù)架構下的數(shù)據(jù)可視化 5.流數(shù)據(jù)架構下的數(shù)據(jù)質量管理 6.流數(shù)據(jù)架構下的數(shù)據(jù)安全 7.流數(shù)據(jù)架構下的數(shù)據(jù)生命周期管理 |
|
流數(shù)據(jù)架構的應用領域 1.實時數(shù)據(jù)倉庫建設 2.基于流數(shù)據(jù)構建多維模型 3.復雜數(shù)據(jù)模型的支持方法 4.流數(shù)據(jù)處理與OLAP分析 5.流數(shù)據(jù)處理與可視化大屏技術 6.流數(shù)據(jù)處理與機器學習 7.基于流計算架構構建實時特征中心 |
|
案例分享 1.大數(shù)據(jù)平臺建設案例 2.流數(shù)據(jù)處理平臺建設案例 3.客戶畫像系統(tǒng) 4.營銷推薦系統(tǒng) 5.金融風控系統(tǒng) |
近期公開課推薦
