小紅書推薦系統(tǒng)的架構(gòu)演進

案例背景:
小紅書是個生活分享社區(qū)。推薦每天幾百億次筆記曝光承載著給用戶種草功能。推薦算法的核心是根據(jù)大量用戶行為數(shù)據(jù)學(xué)習(xí)出來的對用戶行為的預(yù)估模型。
在過去的一年多的時間里，推薦的預(yù)估模型從最簡單的GBDT演進到了包含近千億參數(shù)的稀疏離散模型。為了支撐起千億參數(shù)的稀疏離散模型，推薦的在線系統(tǒng)架構(gòu)和線下的數(shù)據(jù)處理架構(gòu)都經(jīng)歷了多次演進。


解決思路:
當模型變貴變大之后，推薦的線上服務(wù)拆分出了獨立的集群做模型推薦。當模型快達到百億規(guī)模時，拆分出了獨立的參數(shù)服務(wù)器PS。線下數(shù)據(jù)需用Flink做實時的行為歸因。離線訓(xùn)練用Volcano管理Tensorflow訓(xùn)練集群。


成果：
模型升級使業(yè)務(wù)指標有兩位數(shù)的提升的同時，運維成本和系統(tǒng)復(fù)雜度有所下降。