課程簡介

快手最初采用了開源Airflow作為分布式任務(wù)調(diào)度系統(tǒng)，但隨著業(yè)務(wù)的迅速發(fā)展，面臨調(diào)度延遲、故障率、擴(kuò)展性等方面的重大挑戰(zhàn)，亟需數(shù)據(jù)中臺自研下一代工作流調(diào)度引擎，為此快手?jǐn)?shù)據(jù)中臺團(tuán)隊從0到1構(gòu)建了分布式任務(wù)調(diào)度引擎，并推廣到所有業(yè)務(wù)線，尤其是其引入的任務(wù)分級調(diào)度和恢復(fù)的能力，在春晚紅包活動的離線數(shù)據(jù)鏈路穩(wěn)定性保障中發(fā)揮了巨大作用。

目標(biāo)收益

1. 數(shù)據(jù)中臺下任務(wù)調(diào)度系統(tǒng)的設(shè)計與實現(xiàn)
2. 任務(wù)調(diào)度系統(tǒng)的廣泛應(yīng)用
3. 任務(wù)調(diào)度系統(tǒng)在數(shù)據(jù)中臺中的作用

培訓(xùn)對象

課程內(nèi)容

案例方向

---

數(shù)據(jù)商業(yè)化/大數(shù)據(jù)架構(gòu)/NLP/人工智能產(chǎn)品落地

案例背景

---

快手最初采用了開源Airflow作為分布式任務(wù)調(diào)度系統(tǒng)，但隨著業(yè)務(wù)的迅速發(fā)展，面臨調(diào)度延遲、故障率、擴(kuò)展性等方面的重大挑戰(zhàn)，亟需數(shù)據(jù)中臺自研下一代工作流調(diào)度引擎，為此快手?jǐn)?shù)據(jù)中臺團(tuán)隊從0到1構(gòu)建了分布式任務(wù)調(diào)度引擎，并推廣到所有業(yè)務(wù)線，尤其是其引入的任務(wù)分級調(diào)度和恢復(fù)的能力，在春晚紅包活動的離線數(shù)據(jù)鏈路穩(wěn)定性保障中發(fā)揮了巨大作用。

收益

---

1. 數(shù)據(jù)中臺下任務(wù)調(diào)度系統(tǒng)的設(shè)計與實現(xiàn)
2. 任務(wù)調(diào)度系統(tǒng)的廣泛應(yīng)用
3. 任務(wù)調(diào)度系統(tǒng)在數(shù)據(jù)中臺中的作用
4. 應(yīng)用于

解決思路

---

1. 百萬級任務(wù)并發(fā)調(diào)度
2. 高擴(kuò)展低延遲
3. 事件驅(qū)動
4. 微服務(wù)等

結(jié)果

---

1. 系統(tǒng)擴(kuò)展性提高
2. 調(diào)度延遲指標(biāo)極大提升
3. 接入效率提高
4. 機(jī)器成本降低
5. 應(yīng)用于春晚紅包活動的數(shù)據(jù)鏈路保障中，作用巨大