課程簡(jiǎn)介
課程介紹大模型底層關(guān)鍵技術(shù)、底層架構(gòu)原理以及核心框架技術(shù)，通過(guò)對(duì)大語(yǔ)言模型體系化的講解和實(shí)戰(zhàn)演練，幫助學(xué)員深入深度揭秘大模型技術(shù)內(nèi)幕，為企業(yè)培養(yǎng)數(shù)智化人。
【課程收益】
1、梳理大語(yǔ)言模型知識(shí)體系，幫助學(xué)員了解中外前沿科技、方法工具和業(yè)內(nèi)最佳實(shí)踐；
2、通過(guò)案例講解，幫助學(xué)員掌握大模型的底層原理和企業(yè)級(jí)智能應(yīng)用架構(gòu)設(shè)計(jì)；
3、幫助單位完善數(shù)字化人才梯隊(duì)培養(yǎng)，助力企業(yè)快速度融入數(shù)智化變革浪潮；
目標(biāo)收益
培訓(xùn)對(duì)象
希望掌握大模型底層原理、底層架構(gòu)、提示詞工程的在校學(xué)生、軟件開發(fā)人員、售前工程師、在咨詢顧問(wèn)及業(yè)務(wù)人員。
課程大綱
| 第一天上午：算法框架篇 |
1. 介紹Transformer ?Transformer模型的背景和發(fā)展 ?Transformer的核心組件：自注意力機(jī)制、位置編碼、編碼器-解碼器結(jié)構(gòu)等 ?Hugging Face庫(kù)簡(jiǎn)介 2. Transformer模型架構(gòu) ?Transformer的編碼器和解碼器結(jié)構(gòu) ?多頭注意力機(jī)制的原理和作用 ?位置編碼的重要性和實(shí)現(xiàn)方式 3. Hugging Face庫(kù)入門 ?Hugging Face庫(kù)的安裝和基本使用 ?加載和使用預(yù)訓(xùn)練的Transformer模型 ?對(duì)文本數(shù)據(jù)進(jìn)行編碼和解碼 案例練習(xí)：結(jié)合工業(yè)界應(yīng)用場(chǎng)景對(duì)知識(shí)點(diǎn)進(jìn)行代入式講解，深入淺出幫助學(xué)員從道、法、術(shù)、器層面對(duì)大模型底層原理、核心技術(shù)、產(chǎn)業(yè)生態(tài)、商業(yè)應(yīng)用有一個(gè)系統(tǒng)性的認(rèn)識(shí)。 |
| 第一天下午： |
4. Transformer在NLP中的應(yīng)用 ?介紹Transformer在自然語(yǔ)言處理中的應(yīng)用領(lǐng)域 ?Transformer在機(jī)器翻譯、文本生成等任務(wù)中的成功案例 5. 實(shí)踐案例：文本分類任務(wù) ?使用Hugging Face庫(kù)和Transformer模型進(jìn)行文本分類 ?數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練和評(píng)估 作業(yè)布置 ?練習(xí)使用Hugging Face庫(kù)加載不同的Transformer模型 ?完成一個(gè)簡(jiǎn)單的文本生成任務(wù) 案例研討：結(jié)合課程內(nèi)容進(jìn)行講解 |
|
第二天上午： BERT |
介紹BERT ?BERT模型的背景和創(chuàng)新之處 ?BERT的預(yù)訓(xùn)練機(jī)制和微調(diào)方法 ?BERT模型架構(gòu)和特點(diǎn) 2. BERT模型細(xì)節(jié) ?BERT的嵌入層、Transformer編碼器和輸出層 ?BERT的Masked Language Model (MLM) 和 Next Sentence Prediction (NSP)任務(wù) 3. Fine-tuning BERT ?BERT模型微調(diào)的步驟和技巧 ?使用Hugging Face庫(kù)進(jìn)行BERT模型微調(diào) |
|
第二天下午： BERT案例 |
4. BERT在NLP中的應(yīng)用 ?介紹BERT在自然語(yǔ)言處理領(lǐng)域的廣泛應(yīng)用 ?BERT在問(wèn)答、命名實(shí)體識(shí)別等任務(wù)中的成功案例 5. 實(shí)踐案例：情感分析任務(wù) ?使用BERT模型進(jìn)行情感分析任務(wù) ?數(shù)據(jù)處理、模型微調(diào)和結(jié)果評(píng)估 6. 總結(jié)和展望 ?總結(jié)Transformer和BERT模型的重要性和應(yīng)用價(jià)值 ?展望Transformer模型的未來(lái)發(fā)展方向 |
|
第一天上午：算法框架篇 1. 介紹Transformer ?Transformer模型的背景和發(fā)展 ?Transformer的核心組件：自注意力機(jī)制、位置編碼、編碼器-解碼器結(jié)構(gòu)等 ?Hugging Face庫(kù)簡(jiǎn)介 2. Transformer模型架構(gòu) ?Transformer的編碼器和解碼器結(jié)構(gòu) ?多頭注意力機(jī)制的原理和作用 ?位置編碼的重要性和實(shí)現(xiàn)方式 3. Hugging Face庫(kù)入門 ?Hugging Face庫(kù)的安裝和基本使用 ?加載和使用預(yù)訓(xùn)練的Transformer模型 ?對(duì)文本數(shù)據(jù)進(jìn)行編碼和解碼 案例練習(xí)：結(jié)合工業(yè)界應(yīng)用場(chǎng)景對(duì)知識(shí)點(diǎn)進(jìn)行代入式講解，深入淺出幫助學(xué)員從道、法、術(shù)、器層面對(duì)大模型底層原理、核心技術(shù)、產(chǎn)業(yè)生態(tài)、商業(yè)應(yīng)用有一個(gè)系統(tǒng)性的認(rèn)識(shí)。 |
|
第一天下午： 4. Transformer在NLP中的應(yīng)用 ?介紹Transformer在自然語(yǔ)言處理中的應(yīng)用領(lǐng)域 ?Transformer在機(jī)器翻譯、文本生成等任務(wù)中的成功案例 5. 實(shí)踐案例：文本分類任務(wù) ?使用Hugging Face庫(kù)和Transformer模型進(jìn)行文本分類 ?數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練和評(píng)估 作業(yè)布置 ?練習(xí)使用Hugging Face庫(kù)加載不同的Transformer模型 ?完成一個(gè)簡(jiǎn)單的文本生成任務(wù) 案例研討：結(jié)合課程內(nèi)容進(jìn)行講解 |
|
第二天上午： BERT 介紹BERT ?BERT模型的背景和創(chuàng)新之處 ?BERT的預(yù)訓(xùn)練機(jī)制和微調(diào)方法 ?BERT模型架構(gòu)和特點(diǎn) 2. BERT模型細(xì)節(jié) ?BERT的嵌入層、Transformer編碼器和輸出層 ?BERT的Masked Language Model (MLM) 和 Next Sentence Prediction (NSP)任務(wù) 3. Fine-tuning BERT ?BERT模型微調(diào)的步驟和技巧 ?使用Hugging Face庫(kù)進(jìn)行BERT模型微調(diào) |
|
第二天下午： BERT案例 4. BERT在NLP中的應(yīng)用 ?介紹BERT在自然語(yǔ)言處理領(lǐng)域的廣泛應(yīng)用 ?BERT在問(wèn)答、命名實(shí)體識(shí)別等任務(wù)中的成功案例 5. 實(shí)踐案例：情感分析任務(wù) ?使用BERT模型進(jìn)行情感分析任務(wù) ?數(shù)據(jù)處理、模型微調(diào)和結(jié)果評(píng)估 6. 總結(jié)和展望 ?總結(jié)Transformer和BERT模型的重要性和應(yīng)用價(jià)值 ?展望Transformer模型的未來(lái)發(fā)展方向 |
近期公開課推薦
