課程簡介
大數(shù)據(jù)平臺數(shù)據(jù)湖和數(shù)據(jù)治理
目標(biāo)收益
通過此次課程培訓(xùn)，可使學(xué)習(xí)者獲得如下收益：
1. 了解數(shù)據(jù)治理的體系架構(gòu)
2. 理解數(shù)據(jù)架構(gòu)設(shè)計與數(shù)據(jù)治理的基本知識；
2. 掌握數(shù)據(jù)建模方法，范式建模和維度建模
3. 理解數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)質(zhì)量和元數(shù)據(jù)等如何建設(shè)，和建設(shè)中注意的問題
4. 數(shù)據(jù)治理落地的難點和經(jīng)驗分享
5. XXX銀行數(shù)據(jù)治理真實案例深度分享
培訓(xùn)對象
1、數(shù)據(jù)開發(fā)工程師
2、業(yè)務(wù)人員
3、架構(gòu)師
4、項目經(jīng)理
5、對數(shù)據(jù)治理趕興趣的同學(xué)
課程大綱
| 數(shù)據(jù)治理范圍 |
?大數(shù)據(jù)平臺數(shù)據(jù)建設(shè)中存在的問題 ?數(shù)據(jù)治理面臨的挑戰(zhàn) ?數(shù)據(jù)的多元化 ?數(shù)據(jù)的復(fù)雜性 ?數(shù)據(jù)的完整性 ?數(shù)據(jù)生命周期管理 ?統(tǒng)一元數(shù)據(jù)管理 ?數(shù)據(jù)集成方法 ?數(shù)據(jù)安全 ?數(shù)據(jù)湖架構(gòu) ?基于大數(shù)據(jù)平臺的數(shù)據(jù)建模 ?RMDBS數(shù)據(jù)的增量實時同步采集 |
| 數(shù)據(jù)質(zhì)量管理 |
?數(shù)據(jù)質(zhì)量管理的范圍 ?數(shù)據(jù)質(zhì)量評估的維度 ?數(shù)據(jù)質(zhì)量的維護管理 ?數(shù)據(jù)質(zhì)量的改進管理 ?數(shù)據(jù)質(zhì)量管理模型 ?數(shù)據(jù)質(zhì)量管理的監(jiān)控 ?案例演示 |
| 元數(shù)據(jù)管理 |
?元數(shù)據(jù)概念 ?Hadoop平臺元數(shù)據(jù)處理面臨的問題 ?元數(shù)據(jù)注冊機制 ?元數(shù)據(jù)的統(tǒng)一管理 ?元數(shù)據(jù)一致性管理 ?數(shù)據(jù)字典的概念 ?元數(shù)據(jù)的添加和需改管理 ?基于Hadoop平臺元數(shù)據(jù)處理方案 |
| 數(shù)據(jù)生命周期管理 |
?數(shù)據(jù)質(zhì)量 ?數(shù)據(jù)標(biāo)準(zhǔn) ?數(shù)據(jù)生命周期管理的重要性 ?數(shù)據(jù)生命周期的概念 ?開源Falcon解決那些問題 ?Falcon架構(gòu)和原理 ?Falcon實戰(zhàn) ?Falcon+HDFS、Hive實戰(zhàn) ?Falcon+Oozie實戰(zhàn) |
| 數(shù)據(jù)湖 |
?數(shù)據(jù)湖定義 ?數(shù)據(jù)湖里面數(shù)據(jù)存儲格式 ?數(shù)據(jù)湖實現(xiàn)的步驟 ?HDFS、Hive等實現(xiàn)數(shù)據(jù)湖 ?數(shù)據(jù)湖分區(qū)(LCRD) ?LCRD詳解 ?某大型銀行基于Hadoop的數(shù)據(jù)湖實戰(zhàn)解析 |
| 測試數(shù)據(jù)環(huán)境的搭建 |
?測試數(shù)據(jù)的準(zhǔn)備 ?測試數(shù)據(jù)的脫敏機制 ?數(shù)據(jù)脫敏的方法 ?數(shù)據(jù)關(guān)聯(lián)的脫敏機制 ?測試環(huán)境搭建的要求 ?測試環(huán)境性能的評估原則 |
| 數(shù)據(jù)倉庫的敏捷開發(fā) |
?敏捷開發(fā)的含義 ?敏捷數(shù)據(jù)倉庫的定義 ?為什么需要敏捷數(shù)據(jù)倉庫 ?敏捷數(shù)據(jù)倉庫和傳統(tǒng)數(shù)據(jù)倉庫的區(qū)別 ?敏捷數(shù)據(jù)倉庫實現(xiàn)的模型 ?在Hadoop上面實現(xiàn)敏捷數(shù)據(jù)倉庫的思路 |
| 案例分析 |
?Hadoop之上數(shù)據(jù)倉庫案例解析 ?數(shù)據(jù)湖案例解析和演示 |
|
數(shù)據(jù)治理范圍 ?大數(shù)據(jù)平臺數(shù)據(jù)建設(shè)中存在的問題 ?數(shù)據(jù)治理面臨的挑戰(zhàn) ?數(shù)據(jù)的多元化 ?數(shù)據(jù)的復(fù)雜性 ?數(shù)據(jù)的完整性 ?數(shù)據(jù)生命周期管理 ?統(tǒng)一元數(shù)據(jù)管理 ?數(shù)據(jù)集成方法 ?數(shù)據(jù)安全 ?數(shù)據(jù)湖架構(gòu) ?基于大數(shù)據(jù)平臺的數(shù)據(jù)建模 ?RMDBS數(shù)據(jù)的增量實時同步采集 |
|
數(shù)據(jù)質(zhì)量管理 ?數(shù)據(jù)質(zhì)量管理的范圍 ?數(shù)據(jù)質(zhì)量評估的維度 ?數(shù)據(jù)質(zhì)量的維護管理 ?數(shù)據(jù)質(zhì)量的改進管理 ?數(shù)據(jù)質(zhì)量管理模型 ?數(shù)據(jù)質(zhì)量管理的監(jiān)控 ?案例演示 |
|
元數(shù)據(jù)管理 ?元數(shù)據(jù)概念 ?Hadoop平臺元數(shù)據(jù)處理面臨的問題 ?元數(shù)據(jù)注冊機制 ?元數(shù)據(jù)的統(tǒng)一管理 ?元數(shù)據(jù)一致性管理 ?數(shù)據(jù)字典的概念 ?元數(shù)據(jù)的添加和需改管理 ?基于Hadoop平臺元數(shù)據(jù)處理方案 |
|
數(shù)據(jù)生命周期管理 ?數(shù)據(jù)質(zhì)量 ?數(shù)據(jù)標(biāo)準(zhǔn) ?數(shù)據(jù)生命周期管理的重要性 ?數(shù)據(jù)生命周期的概念 ?開源Falcon解決那些問題 ?Falcon架構(gòu)和原理 ?Falcon實戰(zhàn) ?Falcon+HDFS、Hive實戰(zhàn) ?Falcon+Oozie實戰(zhàn) |
|
數(shù)據(jù)湖 ?數(shù)據(jù)湖定義 ?數(shù)據(jù)湖里面數(shù)據(jù)存儲格式 ?數(shù)據(jù)湖實現(xiàn)的步驟 ?HDFS、Hive等實現(xiàn)數(shù)據(jù)湖 ?數(shù)據(jù)湖分區(qū)(LCRD) ?LCRD詳解 ?某大型銀行基于Hadoop的數(shù)據(jù)湖實戰(zhàn)解析 |
|
測試數(shù)據(jù)環(huán)境的搭建 ?測試數(shù)據(jù)的準(zhǔn)備 ?測試數(shù)據(jù)的脫敏機制 ?數(shù)據(jù)脫敏的方法 ?數(shù)據(jù)關(guān)聯(lián)的脫敏機制 ?測試環(huán)境搭建的要求 ?測試環(huán)境性能的評估原則 |
|
數(shù)據(jù)倉庫的敏捷開發(fā) ?敏捷開發(fā)的含義 ?敏捷數(shù)據(jù)倉庫的定義 ?為什么需要敏捷數(shù)據(jù)倉庫 ?敏捷數(shù)據(jù)倉庫和傳統(tǒng)數(shù)據(jù)倉庫的區(qū)別 ?敏捷數(shù)據(jù)倉庫實現(xiàn)的模型 ?在Hadoop上面實現(xiàn)敏捷數(shù)據(jù)倉庫的思路 |
|
案例分析 ?Hadoop之上數(shù)據(jù)倉庫案例解析 ?數(shù)據(jù)湖案例解析和演示 |
近期公開課推薦
