課程簡介
本課程旨在幫助學(xué)員深入理解 DeepSeek AI 及其 V3/R1 系列模型的核心技術(shù)原理、架構(gòu)創(chuàng)新、性能優(yōu)勢、效率特點(diǎn)與開源貢獻(xiàn)。課程將從 DeepSeek AI 的獨(dú)特發(fā)展理念講起,重點(diǎn)剖析 V3/R1 系列在代碼和數(shù)學(xué)領(lǐng)域的標(biāo)桿地位。詳細(xì)講解 MoE 架構(gòu)、FP8 低精度計(jì)算、Flash MLA 等關(guān)鍵技術(shù),以及 DeepEP, DeepGEMM 等核心基礎(chǔ)設(shè)施庫,并通過量化指標(biāo)來評估其性能和效率。最后,課程將闡明 DeepSeek 的開源策略及其在 AI 社區(qū)中的重要意義。
目標(biāo)收益
?理解 DeepSeek AI 的公司理念和 V3/R1 系列的戰(zhàn)略定位。
?掌握 DeepSeek V3/R1 的核心技術(shù)原理和架構(gòu)創(chuàng)新(MoE、FP8、Flash MLA 等)。
?了解 DeepSeek 開源的核心基礎(chǔ)設(shè)施庫(DeepEP, DeepGEMM 等)及其作用。
?評估 DeepSeek V3/R1 在代碼生成和數(shù)學(xué)推理等領(lǐng)域的性能表現(xiàn)。
?了解 DeepSeek V3/R1 在計(jì)算效率方面的優(yōu)勢。
?認(rèn)識到 DeepSeek AI 在開源 AI 社區(qū)中的貢獻(xiàn)和價(jià)值。
培訓(xùn)對象
?對 DeepSeek AI 及其 V3/R1 系列模型感興趣的技術(shù)人員、研究人員和開發(fā)者。
?希望深入了解 MoE 架構(gòu)、FP8 低精度計(jì)算等 LLM 前沿技術(shù)的專業(yè)人士。
?需要在代碼生成和數(shù)學(xué)推理領(lǐng)域使用高性能 LLM 的工程師和科學(xué)家。
?關(guān)注開源 AI 社區(qū)發(fā)展,希望了解 DeepSeek AI 技術(shù)貢獻(xiàn)的相關(guān)人士。
課程大綱
模塊 1:引言:DeepSeek AI 與 V3/R1 的定位 |
?DeepSeek AI 簡介 —— 基礎(chǔ)研究與開源精神的踐行者 –關(guān)鍵定位 ① - 基礎(chǔ)大模型研究 –關(guān)鍵定位 ② - 開源貢獻(xiàn) ?V3/R1 系列定位 —— 三位一體的極致追求 –戰(zhàn)略三角:性能、效率、開放性 ?核心標(biāo)簽重申 —— 代碼與數(shù)學(xué)領(lǐng)域的標(biāo)桿 –為何聚焦這兩個(gè)領(lǐng)域? –“標(biāo)桿”地位的確立 |
模塊 2:深度剖析:DeepSeek V3 / R1 的核心原理與技術(shù)架構(gòu) |
?關(guān)鍵功能點(diǎn)的運(yùn)行機(jī)制 –混合專家架構(gòu) (MoE Architecture) –DeepEP (專家并行通信庫) –EPLB (專家并行負(fù)載均衡器) –FP8 低精度計(jì)算 –DeepGEMM (FP8 GEMM 計(jì)算庫) –Flash MLA (多長度注意力解碼內(nèi)核) –高質(zhì)量數(shù)據(jù)策略 (側(cè)重代碼/數(shù)學(xué)) –3FS (數(shù)據(jù)訪問加速器) –DualPipe (高效流水線并行調(diào)度) ?技術(shù)協(xié)同:DeepSeek V3 / R1 的訓(xùn)練與推理運(yùn)行機(jī)制概覽 –高效的訓(xùn)練流程 (Training Flow Synergy) –優(yōu)化的推理流程 (Inference Flow Synergy) |
模塊 3:DeepSeek V3 / R1: 性能、效率與開放貢獻(xiàn) |
?性能:代碼與數(shù)學(xué)能力的基準(zhǔn)表現(xiàn) –A. 代碼能力基準(zhǔn)得分 –B. 數(shù)學(xué)/推理能力基準(zhǔn)得分 –C. 性能歸因簡述 ?效率:MoE 與 FP8 的實(shí)際效果 –A. MoE 架構(gòu)的效率參數(shù) –B. FP8 低精度計(jì)算的優(yōu)勢指標(biāo) –C. 效率支撐庫 ?開放性:開源內(nèi)容與許可證 –A. 開源資產(chǎn)清單 –B. 開源許可證 –C. 開放性意義簡述 ?關(guān)鍵參數(shù)與持續(xù)迭代 –A. 上下文窗口長度 (Context Window) –B. 快速迭代說明 總結(jié):獨(dú)特價(jià)值主張 |
模塊 1:引言:DeepSeek AI 與 V3/R1 的定位 ?DeepSeek AI 簡介 —— 基礎(chǔ)研究與開源精神的踐行者 –關(guān)鍵定位 ① - 基礎(chǔ)大模型研究 –關(guān)鍵定位 ② - 開源貢獻(xiàn) ?V3/R1 系列定位 —— 三位一體的極致追求 –戰(zhàn)略三角:性能、效率、開放性 ?核心標(biāo)簽重申 —— 代碼與數(shù)學(xué)領(lǐng)域的標(biāo)桿 –為何聚焦這兩個(gè)領(lǐng)域? –“標(biāo)桿”地位的確立 |
模塊 2:深度剖析:DeepSeek V3 / R1 的核心原理與技術(shù)架構(gòu) ?關(guān)鍵功能點(diǎn)的運(yùn)行機(jī)制 –混合專家架構(gòu) (MoE Architecture) –DeepEP (專家并行通信庫) –EPLB (專家并行負(fù)載均衡器) –FP8 低精度計(jì)算 –DeepGEMM (FP8 GEMM 計(jì)算庫) –Flash MLA (多長度注意力解碼內(nèi)核) –高質(zhì)量數(shù)據(jù)策略 (側(cè)重代碼/數(shù)學(xué)) –3FS (數(shù)據(jù)訪問加速器) –DualPipe (高效流水線并行調(diào)度) ?技術(shù)協(xié)同:DeepSeek V3 / R1 的訓(xùn)練與推理運(yùn)行機(jī)制概覽 –高效的訓(xùn)練流程 (Training Flow Synergy) –優(yōu)化的推理流程 (Inference Flow Synergy) |
模塊 3:DeepSeek V3 / R1: 性能、效率與開放貢獻(xiàn) ?性能:代碼與數(shù)學(xué)能力的基準(zhǔn)表現(xiàn) –A. 代碼能力基準(zhǔn)得分 –B. 數(shù)學(xué)/推理能力基準(zhǔn)得分 –C. 性能歸因簡述 ?效率:MoE 與 FP8 的實(shí)際效果 –A. MoE 架構(gòu)的效率參數(shù) –B. FP8 低精度計(jì)算的優(yōu)勢指標(biāo) –C. 效率支撐庫 ?開放性:開源內(nèi)容與許可證 –A. 開源資產(chǎn)清單 –B. 開源許可證 –C. 開放性意義簡述 ?關(guān)鍵參數(shù)與持續(xù)迭代 –A. 上下文窗口長度 (Context Window) –B. 快速迭代說明 總結(jié):獨(dú)特價(jià)值主張 |