課程簡介

案例背景:
小紅書是個生活分享社區(qū)。推薦每天幾百億次筆記曝光承載著給用戶種草功能。推薦算法的核心是根據(jù)大量用戶行為數(shù)據(jù)學(xué)習(xí)出來的對用戶行為的預(yù)估模型。
在過去的一年多的時間里，推薦的預(yù)估模型從最簡單的GBDT演進(jìn)到了包含近千億參數(shù)的稀疏離散模型。為了支撐起千億參數(shù)的稀疏離散模型，推薦的在線系統(tǒng)架構(gòu)和線下的數(shù)據(jù)處理架構(gòu)都經(jīng)歷了多次演進(jìn)。


解決思路:
當(dāng)模型變貴變大之后，推薦的線上服務(wù)拆分出了獨(dú)立的集群做模型推薦。當(dāng)模型快達(dá)到百億規(guī)模時，拆分出了獨(dú)立的參數(shù)服務(wù)器PS。線下數(shù)據(jù)需用Flink做實(shí)時的行為歸因。離線訓(xùn)練用Volcano管理Tensorflow訓(xùn)練集群。


成果：
模型升級使業(yè)務(wù)指標(biāo)有兩位數(shù)的提升的同時，運(yùn)維成本和系統(tǒng)復(fù)雜度有所下降。

目標(biāo)收益

學(xué)習(xí)了解大規(guī)模推薦系統(tǒng)的架構(gòu)設(shè)計。
學(xué)習(xí)了解流計算在推薦場景中的應(yīng)用

培訓(xùn)對象

課程內(nèi)容

案例方向

---

高效運(yùn)維/架構(gòu)演進(jìn)/微服務(wù)的2.0時代/云原生構(gòu)建之路

案例背景

---

小紅書是個生活分享社區(qū)。推薦每天幾百億次筆記曝光承載著給用戶種草功能。推薦算法的核心是根據(jù)大量用戶行為數(shù)據(jù)學(xué)習(xí)出來的對用戶行為的預(yù)估模型。
在過去的一年多的時間里，推薦的預(yù)估模型從最簡單的GBDT演進(jìn)到了包含近千億參數(shù)的稀疏離散模型。為了支撐起千億參數(shù)的稀疏離散模型，推薦的在線系統(tǒng)架構(gòu)和線下的數(shù)據(jù)處理架構(gòu)都經(jīng)歷了多次演進(jìn)。

收益

---

學(xué)習(xí)了解大規(guī)模推薦系統(tǒng)的架構(gòu)設(shè)計。
學(xué)習(xí)了解流計算在推薦場景中的應(yīng)用

解決思路

---

當(dāng)模型變貴變大之后，推薦的線上服務(wù)拆分出了獨(dú)立的集群做模型推薦。當(dāng)模型快達(dá)到百億規(guī)模時，拆分出了獨(dú)立的參數(shù)服務(wù)器PS。線下數(shù)據(jù)需用Flink做實(shí)時的行為歸因。離線訓(xùn)練用Volcano管理Tensorflow訓(xùn)練集群。

結(jié)果

---

模型升級使業(yè)務(wù)指標(biāo)有兩位數(shù)的提升的同時，運(yùn)維成本和系統(tǒng)復(fù)雜度有所下降。