課程簡介
隨著5G時代來臨，大數(shù)據(jù)以及AI驅(qū)動效益越來越大，企業(yè)數(shù)據(jù)化管理變革要求越來越高，數(shù)據(jù)中臺概念迅速普及，越來越多的企業(yè)選擇對企業(yè)中的數(shù)據(jù)進行管理，整合，希望通過數(shù)據(jù)驅(qū)動業(yè)務(wù)增長，尋求更多元化的增長方式。但數(shù)據(jù)化管理變革通常是一個解決數(shù)據(jù)歷史債務(wù)的過程，一方面大家相信大數(shù)據(jù)必然產(chǎn)生價值，另一方面在面臨各種數(shù)據(jù)建設(shè)問題時工作爆發(fā)式增長，容易迷失方向，不知道工作從哪兒切入，需要有成熟的經(jīng)驗案例可參考，如果你的企業(yè)在數(shù)據(jù)化管理變革中遇到以下問題的話，那么這個課程將會是你的最佳選擇：
1.數(shù)據(jù)規(guī)模大，異構(gòu)分布在各個系統(tǒng)，不能對數(shù)據(jù)進行有序、有結(jié)構(gòu)地分類組織和存儲，數(shù)據(jù)猶如垃圾堆積，帶來高額維護成本
2.數(shù)據(jù)鏈路長，數(shù)據(jù)間的生產(chǎn)鏈路依賴錯綜復(fù)雜，上下游生產(chǎn)線數(shù)據(jù)質(zhì)量問題多，難以做到事前，事中，事后監(jiān)測，導(dǎo)致長期使用錯誤的數(shù)據(jù)進行關(guān)鍵決策
3.大數(shù)據(jù)生態(tài)組件多，數(shù)據(jù)架構(gòu)選型混亂，使用門檻高，缺乏平臺工具整合，導(dǎo)致無法大規(guī)模開展高效的數(shù)據(jù)分析，挖掘工作
4.無法根據(jù)企業(yè)的業(yè)務(wù)現(xiàn)狀，人員組織特點，找到顯著有效的數(shù)據(jù)驅(qū)動場景，缺乏科學(xué)的數(shù)據(jù)驅(qū)動方法論，無法將數(shù)據(jù)用“活”，發(fā)揮數(shù)據(jù)的最大價值
目標收益
1、獲知互聯(lián)網(wǎng)企業(yè)大數(shù)據(jù)體系建設(shè)的完整形態(tài)，和技術(shù)選型標準，加深對企業(yè)數(shù)據(jù)化變革的認知
2、了解數(shù)據(jù)中臺工具的功能架構(gòu)，數(shù)據(jù)中臺賦能的思路方法論及其技術(shù)架構(gòu)
3、用戶行為分析平臺的埋點上報，傳輸，管理，驗證，基礎(chǔ)數(shù)倉建設(shè)的功能技術(shù)架構(gòu)
4、掌握爆炸式數(shù)據(jù)增長下的數(shù)據(jù)管理，治理體系，了解科學(xué)的數(shù)據(jù)建設(shè)管理方法論，在實際生產(chǎn)中有序落地，避免數(shù)據(jù)重復(fù)建設(shè)，避免數(shù)據(jù)安全隱患
5、在數(shù)據(jù)生產(chǎn)建設(shè)過程中，通過事前生產(chǎn)規(guī)范管理，事中值班響應(yīng)，事后巡檢監(jiān)控，全方位保障數(shù)據(jù)質(zhì)量
6、掌握ABTest實驗的原理，重疊實驗框架的架構(gòu)以及實驗決策的方法論案例，學(xué)會如何科學(xué)的使用AB測試做數(shù)據(jù)驅(qū)動決策
培訓(xùn)對象
適用于大數(shù)據(jù)應(yīng)用開發(fā)，大數(shù)據(jù)基礎(chǔ)架構(gòu)開發(fā)，數(shù)據(jù)產(chǎn)品，數(shù)據(jù)倉庫的軟件架構(gòu)師、軟件設(shè)計師、程序員、數(shù)據(jù)產(chǎn)品
要求：至少要有1-2年工作經(jīng)驗，學(xué)習(xí)過Hadoop，Hive以及Java語言
課程大綱
| 引子 | 從我們5G時代說起。指出未來企業(yè)數(shù)據(jù)化變革將越來越重要。對于數(shù)據(jù)驅(qū)動以及數(shù)據(jù)建設(shè)的方法論要求更高。 |
|
第一單元 企業(yè)大數(shù)據(jù)建設(shè)概覽 |
該單元介紹大型互聯(lián)網(wǎng)公司的大數(shù)據(jù)生態(tài)技術(shù)演進概覽 ，大數(shù)據(jù)應(yīng)用，中臺，平臺架構(gòu)，讓大家對大數(shù)據(jù)架構(gòu)的技術(shù)和大數(shù)據(jù)平臺建設(shè)有一個全局的了解。 1、大數(shù)據(jù)生態(tài)技術(shù)概覽 （1）大數(shù)據(jù)生態(tài)組件的分布 （2）Hadoop，Hive，Spark，F(xiàn)link，Kylin等各生態(tài)組件的定位和使用場景 2、數(shù)據(jù)應(yīng)用架構(gòu) （1）數(shù)據(jù)應(yīng)用產(chǎn)品矩陣 （2）數(shù)據(jù)面板，用戶行為分析系統(tǒng)，用戶增長投放系統(tǒng)等產(chǎn)品 3、數(shù)據(jù)中臺架構(gòu) （1）數(shù)據(jù)中臺總體概覽 （2）數(shù)據(jù)中臺工具體系 （3）基礎(chǔ)數(shù)據(jù)建設(shè)概覽 4、數(shù)據(jù)平臺架構(gòu) （1）離線平臺架構(gòu)概覽 （2）實時平臺架構(gòu)概覽 （3）統(tǒng)一查詢平臺概覽 |
|
第二單元 數(shù)據(jù)中臺工具 |
該單元介紹數(shù)據(jù)中臺工具的功能架構(gòu)，技術(shù)架構(gòu)，從中臺工具建設(shè)思路，灌輸一些科學(xué)的數(shù)據(jù)生產(chǎn)方法論。 1、數(shù)據(jù)集成模塊：如何開發(fā)和使用數(shù)據(jù)集成模塊對異構(gòu)數(shù)據(jù)進行端到端落地傳輸 2、數(shù)據(jù)開發(fā)模塊：結(jié)合底層作業(yè)調(diào)度系統(tǒng)，在事前，事中，事后加入相關(guān)模塊，完成復(fù)雜的DAG作業(yè)開發(fā)與運維 3、運維中心模塊：快速監(jiān)控，診斷復(fù)雜的數(shù)據(jù)鏈路問題，以及科學(xué)高效的修復(fù)方法 4、數(shù)據(jù)管理模塊：元數(shù)據(jù)系統(tǒng)的技術(shù)架構(gòu)方案，需要綜合管制的業(yè)務(wù)，生產(chǎn)，運維元數(shù)據(jù) 5、數(shù)據(jù)安全模塊：數(shù)據(jù)安全的底層架構(gòu)和流程管制 6、數(shù)據(jù)質(zhì)量模塊：通過基線管理，DQC功能在數(shù)據(jù)生產(chǎn)中及時發(fā)現(xiàn)數(shù)據(jù)及時性，完整性，一致性問題 7、報表平臺模塊：報表平臺的功能定位以及市面選型方案 |
|
第三單元 用戶行為分析平臺 |
該單元介紹企業(yè)網(wǎng)站和APP產(chǎn)品的用戶行為分析場景下，埋點，上報，數(shù)倉建模，可視化產(chǎn)品的解決方案和技術(shù)架構(gòu)。 1、埋點概覽 （1）埋點事件模型 （2）埋點準入與治理 （3）埋點數(shù)據(jù)質(zhì)量保證 2、百億日志處理架構(gòu) （1） SDK采集上報設(shè)計 （2）實時傳輸架構(gòu)設(shè)計 3、用戶行為數(shù)倉模型 （1）離線數(shù)倉設(shè)計 （2）實時數(shù)倉設(shè)計 4、可視化分析產(chǎn)品 （1）事件分析 （2） 漏斗分析 （3）留存分析 |
|
第四單元 數(shù)據(jù)治理體系 |
該單元介紹企業(yè)在面臨爆炸式數(shù)據(jù)增長時，如何通過OneData數(shù)據(jù)整合治理方法，對數(shù)據(jù)進行有序，有結(jié)構(gòu)的管理；對海量的數(shù)據(jù)生產(chǎn)鏈路進行治理；有效的提高數(shù)據(jù)一致性，數(shù)據(jù)質(zhì)量，減少成本。 1、規(guī)范管理：什么樣的數(shù)據(jù)生產(chǎn)規(guī)范更利于日后的數(shù)據(jù)管理 2、任務(wù)治理：海量數(shù)據(jù)生產(chǎn)任務(wù)中，我們應(yīng)該如何對任務(wù)進行監(jiān)控以及值班響應(yīng) 3、DQC治理：如何配置DQC規(guī)則，更精準更快速發(fā)現(xiàn)數(shù)據(jù)準確性問題，減少誤報 4、成本管理：從數(shù)據(jù)的價值，可恢復(fù)性，數(shù)據(jù)類型的不同等維度。衡量配置數(shù)據(jù)TTL和冷備管理 5、元數(shù)據(jù)管理：如何與業(yè)務(wù)進行合作，結(jié)合數(shù)據(jù)中臺工具，對業(yè)務(wù)元數(shù)據(jù)進行打標 6、數(shù)據(jù)生產(chǎn)問題的處理及經(jīng)驗，規(guī)范指導(dǎo)，如何有效組織開展數(shù)據(jù)相關(guān)SRE工作 |
|
第五單元 ABTest實驗平臺 |
該單元介紹企業(yè)進行數(shù)據(jù)驅(qū)動的關(guān)鍵方法，AB測試的原理，工具，技術(shù)架構(gòu)和案例實踐。 1、為什么要做實驗，如何做實驗，實驗的統(tǒng)計學(xué)原理，基本概念，如何確認實驗的科學(xué)性 2、重疊實驗框架的關(guān)鍵技術(shù)架構(gòu) 3、實驗案例實踐，將會有1~2個 |
|
第六單元 典型數(shù)據(jù)應(yīng)用業(yè)務(wù)場景 |
該單元介紹企業(yè)的用戶增長業(yè)務(wù)場景，描述用戶增長所需要的所有數(shù)據(jù)架構(gòu)支撐。 1、用戶增長的實現(xiàn)目標與拆解 2、OCPX的接入與數(shù)據(jù)架構(gòu) 3、RTA流量篩選與數(shù)據(jù)架構(gòu) 4、素材管理與承接一體的數(shù)據(jù)架構(gòu) 5、人群圈選工具的使用與數(shù)據(jù)架構(gòu) |
|
引子 從我們5G時代說起。指出未來企業(yè)數(shù)據(jù)化變革將越來越重要。對于數(shù)據(jù)驅(qū)動以及數(shù)據(jù)建設(shè)的方法論要求更高。 |
|
第一單元 企業(yè)大數(shù)據(jù)建設(shè)概覽 該單元介紹大型互聯(lián)網(wǎng)公司的大數(shù)據(jù)生態(tài)技術(shù)演進概覽 ，大數(shù)據(jù)應(yīng)用，中臺，平臺架構(gòu)，讓大家對大數(shù)據(jù)架構(gòu)的技術(shù)和大數(shù)據(jù)平臺建設(shè)有一個全局的了解。 1、大數(shù)據(jù)生態(tài)技術(shù)概覽 （1）大數(shù)據(jù)生態(tài)組件的分布 （2）Hadoop，Hive，Spark，F(xiàn)link，Kylin等各生態(tài)組件的定位和使用場景 2、數(shù)據(jù)應(yīng)用架構(gòu) （1）數(shù)據(jù)應(yīng)用產(chǎn)品矩陣 （2）數(shù)據(jù)面板，用戶行為分析系統(tǒng)，用戶增長投放系統(tǒng)等產(chǎn)品 3、數(shù)據(jù)中臺架構(gòu) （1）數(shù)據(jù)中臺總體概覽 （2）數(shù)據(jù)中臺工具體系 （3）基礎(chǔ)數(shù)據(jù)建設(shè)概覽 4、數(shù)據(jù)平臺架構(gòu) （1）離線平臺架構(gòu)概覽 （2）實時平臺架構(gòu)概覽 （3）統(tǒng)一查詢平臺概覽 |
|
第二單元 數(shù)據(jù)中臺工具 該單元介紹數(shù)據(jù)中臺工具的功能架構(gòu)，技術(shù)架構(gòu)，從中臺工具建設(shè)思路，灌輸一些科學(xué)的數(shù)據(jù)生產(chǎn)方法論。 1、數(shù)據(jù)集成模塊：如何開發(fā)和使用數(shù)據(jù)集成模塊對異構(gòu)數(shù)據(jù)進行端到端落地傳輸 2、數(shù)據(jù)開發(fā)模塊：結(jié)合底層作業(yè)調(diào)度系統(tǒng)，在事前，事中，事后加入相關(guān)模塊，完成復(fù)雜的DAG作業(yè)開發(fā)與運維 3、運維中心模塊：快速監(jiān)控，診斷復(fù)雜的數(shù)據(jù)鏈路問題，以及科學(xué)高效的修復(fù)方法 4、數(shù)據(jù)管理模塊：元數(shù)據(jù)系統(tǒng)的技術(shù)架構(gòu)方案，需要綜合管制的業(yè)務(wù)，生產(chǎn)，運維元數(shù)據(jù) 5、數(shù)據(jù)安全模塊：數(shù)據(jù)安全的底層架構(gòu)和流程管制 6、數(shù)據(jù)質(zhì)量模塊：通過基線管理，DQC功能在數(shù)據(jù)生產(chǎn)中及時發(fā)現(xiàn)數(shù)據(jù)及時性，完整性，一致性問題 7、報表平臺模塊：報表平臺的功能定位以及市面選型方案 |
|
第三單元 用戶行為分析平臺 該單元介紹企業(yè)網(wǎng)站和APP產(chǎn)品的用戶行為分析場景下，埋點，上報，數(shù)倉建模，可視化產(chǎn)品的解決方案和技術(shù)架構(gòu)。 1、埋點概覽 （1）埋點事件模型 （2）埋點準入與治理 （3）埋點數(shù)據(jù)質(zhì)量保證 2、百億日志處理架構(gòu) （1） SDK采集上報設(shè)計 （2）實時傳輸架構(gòu)設(shè)計 3、用戶行為數(shù)倉模型 （1）離線數(shù)倉設(shè)計 （2）實時數(shù)倉設(shè)計 4、可視化分析產(chǎn)品 （1）事件分析 （2） 漏斗分析 （3）留存分析 |
|
第四單元 數(shù)據(jù)治理體系 該單元介紹企業(yè)在面臨爆炸式數(shù)據(jù)增長時，如何通過OneData數(shù)據(jù)整合治理方法，對數(shù)據(jù)進行有序，有結(jié)構(gòu)的管理；對海量的數(shù)據(jù)生產(chǎn)鏈路進行治理；有效的提高數(shù)據(jù)一致性，數(shù)據(jù)質(zhì)量，減少成本。 1、規(guī)范管理：什么樣的數(shù)據(jù)生產(chǎn)規(guī)范更利于日后的數(shù)據(jù)管理 2、任務(wù)治理：海量數(shù)據(jù)生產(chǎn)任務(wù)中，我們應(yīng)該如何對任務(wù)進行監(jiān)控以及值班響應(yīng) 3、DQC治理：如何配置DQC規(guī)則，更精準更快速發(fā)現(xiàn)數(shù)據(jù)準確性問題，減少誤報 4、成本管理：從數(shù)據(jù)的價值，可恢復(fù)性，數(shù)據(jù)類型的不同等維度。衡量配置數(shù)據(jù)TTL和冷備管理 5、元數(shù)據(jù)管理：如何與業(yè)務(wù)進行合作，結(jié)合數(shù)據(jù)中臺工具，對業(yè)務(wù)元數(shù)據(jù)進行打標 6、數(shù)據(jù)生產(chǎn)問題的處理及經(jīng)驗，規(guī)范指導(dǎo)，如何有效組織開展數(shù)據(jù)相關(guān)SRE工作 |
|
第五單元 ABTest實驗平臺 該單元介紹企業(yè)進行數(shù)據(jù)驅(qū)動的關(guān)鍵方法，AB測試的原理，工具，技術(shù)架構(gòu)和案例實踐。 1、為什么要做實驗，如何做實驗，實驗的統(tǒng)計學(xué)原理，基本概念，如何確認實驗的科學(xué)性 2、重疊實驗框架的關(guān)鍵技術(shù)架構(gòu) 3、實驗案例實踐，將會有1~2個 |
|
第六單元 典型數(shù)據(jù)應(yīng)用業(yè)務(wù)場景 該單元介紹企業(yè)的用戶增長業(yè)務(wù)場景，描述用戶增長所需要的所有數(shù)據(jù)架構(gòu)支撐。 1、用戶增長的實現(xiàn)目標與拆解 2、OCPX的接入與數(shù)據(jù)架構(gòu) 3、RTA流量篩選與數(shù)據(jù)架構(gòu) 4、素材管理與承接一體的數(shù)據(jù)架構(gòu) 5、人群圈選工具的使用與數(shù)據(jù)架構(gòu) |
近期公開課推薦
