課程簡介

案例背景:
數(shù)據(jù)中臺的核心在于數(shù)據(jù)模型的復(fù)用，打破原有的煙囪式的開發(fā)模式，通過抽象公共數(shù)據(jù)層，將數(shù)據(jù)以服務(wù)化的方式在不同的數(shù)據(jù)產(chǎn)品之間進(jìn)行共享。所以在數(shù)據(jù)中臺的模式下，大數(shù)據(jù)任務(wù)之間存在高度復(fù)雜的依賴關(guān)系，就像一張大網(wǎng)，一個任務(wù)異常，可能會導(dǎo)致下游很多模型和指標(biāo)，這就對大數(shù)據(jù)任務(wù)的研發(fā)和運(yùn)維管理帶來諸多挑戰(zhàn)：

1. 如何選擇一個成熟的開源調(diào)度系統(tǒng)，支撐數(shù)據(jù)中臺的海量任務(wù)調(diào)度？
2. 如何實(shí)現(xiàn)海量任務(wù)的精細(xì)化運(yùn)維和管理
3. 如何保障質(zhì)量的前提下，實(shí)現(xiàn)研發(fā)效率的最大化
4. 如何在資源隔離的前提下，實(shí)現(xiàn)高效的數(shù)據(jù)測試？

解決思路:
本次分享，將結(jié)合網(wǎng)易在數(shù)據(jù)中臺構(gòu)建過程中遇到的真實(shí)案例，為大家介紹網(wǎng)易在海量任務(wù)高效研發(fā)和運(yùn)維管理方面的實(shí)踐。網(wǎng)易任務(wù)調(diào)度系統(tǒng)基于開源azkaban項(xiàng)目進(jìn)行深度改造，包括：新增“跨流依賴”、“并發(fā)鏈?zhǔn)窖a(bǔ)數(shù)據(jù)”、“節(jié)點(diǎn)前后置動作”、“公共資源”等特性；同時針對 Azkaban 服務(wù)在運(yùn)維能力的不足，實(shí)現(xiàn)了“高可用”、“平滑升級”?；?Azkaban之上，我們搭建了智能任務(wù)運(yùn)維中心系統(tǒng)，提供了基線預(yù)警、任務(wù)智能診斷、全鏈路影響分析、關(guān)鍵鏈路分析、凍結(jié)池、加速器等特性，保障了數(shù)據(jù)中臺每天能夠按時、正確的產(chǎn)出數(shù)據(jù)。同時，網(wǎng)易還在大數(shù)據(jù)研發(fā)領(lǐng)域，構(gòu)建了數(shù)據(jù)測試中心，實(shí)現(xiàn)了大數(shù)據(jù)研發(fā)的CI/CD devops pipleline，在數(shù)據(jù)研發(fā)效率和質(zhì)量方面做了最佳實(shí)踐探索。


成果：
1. 網(wǎng)易Azkaban 每日有20W的任務(wù)調(diào)度，有1W多任務(wù)依賴關(guān)系。
2. 任務(wù)運(yùn)維中心，幫助嚴(yán)選構(gòu)建了基于基線的任務(wù)管理模式，基于基線預(yù)警的能力，實(shí)現(xiàn)了8W任務(wù)的精細(xì)化管理，任務(wù)完成率達(dá)到了96.14%，首次實(shí)現(xiàn)了S級大促數(shù)據(jù)零延遲。
3. 通過構(gòu)建CI/CD Devops pipleline， 同時數(shù)據(jù)質(zhì)量的問題下降了60%。
4. 通過數(shù)據(jù)沙箱的構(gòu)建，在物理集群完全隔離的前提下，實(shí)現(xiàn)了一套代碼，透明發(fā)布，任務(wù)發(fā)布效率提升300%。

目標(biāo)收益

1. 對大數(shù)據(jù)海量任務(wù)調(diào)度系統(tǒng)的架構(gòu)設(shè)計(jì)，關(guān)鍵技術(shù)實(shí)現(xiàn)，技術(shù)選型有深入的理解。
2. 對數(shù)據(jù)中臺模式下，大量任務(wù)高度依賴，如何管理這些任務(wù)，確保任務(wù)正確、按時產(chǎn)出，提供了新的思路。
3. 對如何保障質(zhì)量的前提下，如何實(shí)現(xiàn)敏捷的大數(shù)據(jù)開發(fā)，打造CI/CD Pilpleline有深入的掌握。

培訓(xùn)對象

課程內(nèi)容

案例方向

---

數(shù)據(jù)湖/數(shù)據(jù)中臺/用戶畫像/NLP

案例背景

---

數(shù)據(jù)中臺的核心在于數(shù)據(jù)模型的復(fù)用，打破原有的煙囪式的開發(fā)模式，通過抽象公共數(shù)據(jù)層，將數(shù)據(jù)以服務(wù)化的方式在不同的數(shù)據(jù)產(chǎn)品之間進(jìn)行共享。所以在數(shù)據(jù)中臺的模式下，大數(shù)據(jù)任務(wù)之間存在高度復(fù)雜的依賴關(guān)系，就像一張大網(wǎng)，一個任務(wù)異常，可能會導(dǎo)致下游很多模型和指標(biāo)，這就對大數(shù)據(jù)任務(wù)的研發(fā)和運(yùn)維管理帶來諸多挑戰(zhàn)：

1. 如何選擇一個成熟的開源調(diào)度系統(tǒng)，支撐數(shù)據(jù)中臺的海量任務(wù)調(diào)度？
2. 如何實(shí)現(xiàn)海量任務(wù)的精細(xì)化運(yùn)維和管理
3. 如何保障質(zhì)量的前提下，實(shí)現(xiàn)研發(fā)效率的最大化
4. 如何在資源隔離的前提下，實(shí)現(xiàn)高效的數(shù)據(jù)測試？

收益

---

1. 對大數(shù)據(jù)海量任務(wù)調(diào)度系統(tǒng)的架構(gòu)設(shè)計(jì)，關(guān)鍵技術(shù)實(shí)現(xiàn)，技術(shù)選型有深入的理解。
2. 對數(shù)據(jù)中臺模式下，大量任務(wù)高度依賴，如何管理這些任務(wù)，確保任務(wù)正確、按時產(chǎn)出，提供了新的思路。
3. 對如何保障質(zhì)量的前提下，如何實(shí)現(xiàn)敏捷的大數(shù)據(jù)開發(fā)，打造CI/CD Pilpleline有深入的掌握。

解決思路

---

本次分享，將結(jié)合網(wǎng)易在數(shù)據(jù)中臺構(gòu)建過程中遇到的真實(shí)案例，為大家介紹網(wǎng)易在海量任務(wù)高效研發(fā)和運(yùn)維管理方面的實(shí)踐。網(wǎng)易任務(wù)調(diào)度系統(tǒng)基于開源azkaban項(xiàng)目進(jìn)行深度改造，包括：新增“跨流依賴”、“并發(fā)鏈?zhǔn)窖a(bǔ)數(shù)據(jù)”、“節(jié)點(diǎn)前后置動作”、“公共資源”等特性；同時針對 Azkaban 服務(wù)在運(yùn)維能力的不足，實(shí)現(xiàn)了“高可用”、“平滑升級”?；?Azkaban之上，我們搭建了智能任務(wù)運(yùn)維中心系統(tǒng)，提供了基線預(yù)警、任務(wù)智能診斷、全鏈路影響分析、關(guān)鍵鏈路分析、凍結(jié)池、加速器等特性，保障了數(shù)據(jù)中臺每天能夠按時、正確的產(chǎn)出數(shù)據(jù)。同時，網(wǎng)易還在大數(shù)據(jù)研發(fā)領(lǐng)域，構(gòu)建了數(shù)據(jù)測試中心，實(shí)現(xiàn)了大數(shù)據(jù)研發(fā)的CI/CD devops pipleline，在數(shù)據(jù)研發(fā)效率和質(zhì)量方面做了最佳實(shí)踐探索。

結(jié)果

---

1. 網(wǎng)易Azkaban 每日有20W的任務(wù)調(diào)度，有1W多任務(wù)依賴關(guān)系。
2. 任務(wù)運(yùn)維中心，幫助嚴(yán)選構(gòu)建了基于基線的任務(wù)管理模式，基于基線預(yù)警的能力，實(shí)現(xiàn)了8W任務(wù)的精細(xì)化管理，任務(wù)完成率達(dá)到了96.14%，首次實(shí)現(xiàn)了S級大促數(shù)據(jù)零延遲。
3. 通過構(gòu)建CI/CD Devops pipleline， 同時數(shù)據(jù)質(zhì)量的問題下降了60%。
4. 通過數(shù)據(jù)沙箱的構(gòu)建，在物理集群完全隔離的前提下，實(shí)現(xiàn)了一套代碼，透明發(fā)布，任務(wù)發(fā)布效率提升300%。