我要預(yù)訂

咨詢電話：027-5111 9925 , 027-5111 9926手機(jī)：18971071887郵箱：Service@mingketang.com

課程大綱

第一天：基礎(chǔ)知識(shí)與初步實(shí)踐

上午：理論基礎(chǔ)與工具準(zhǔn)備

1. 歡迎與介紹

培訓(xùn)目標(biāo)和內(nèi)容概述

參與者自我介紹與期望

2. 大語(yǔ)言模型概述

2.1什么是大語(yǔ)言模型（LLM）

定義與基本概念

介紹Transformer架構(gòu)及其在自然語(yǔ)言處理中的重要性

2.2 LLM的應(yīng)用場(chǎng)景和優(yōu)勢(shì)

介紹LLM在文本生成、翻譯、問答系統(tǒng)、文本摘要等方面的應(yīng)用

主要的LLM架構(gòu)

GPT（Generative Pretrained Transformer）

GPT2和GPT3的區(qū)別與應(yīng)用實(shí)例

BERT（Bidirectional Encoder Representations from Transformers）

BERT的雙向編碼器架構(gòu)及其在自然語(yǔ)言理解任務(wù)中的應(yīng)用

其他知名架構(gòu)（如T5、RoBERTa等）

2.3 簡(jiǎn)要介紹這些模型的特點(diǎn)與應(yīng)用場(chǎng)景

2.4實(shí)例展示

使用預(yù)訓(xùn)練模型生成文本（如GPT3）

現(xiàn)場(chǎng)演示如何使用OpenAI的GPT3 API生成文本，并展示其效果

3. 開發(fā)環(huán)境準(zhǔn)備

3.1必要的開發(fā)工具和庫(kù)

Python編程語(yǔ)言及其在數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)中的重要性

TensorFlow與PyTorch框架的比較與選擇

Hugging Face Transformers庫(kù)的功能與優(yōu)勢(shì)

3.2環(huán)境搭建與配置

Jupyter Notebook安裝與配置

安裝Anaconda或直接安裝Jupyter Notebook

配置虛擬環(huán)境以便隔離項(xiàng)目依賴

相關(guān)庫(kù)的安裝（如`transformers`, `datasets`, `scikitlearn`）

使用pip安裝所需的Python庫(kù)，并確保環(huán)境配置正確

3.3實(shí)踐操作：環(huán)境配置和測(cè)試

運(yùn)行一個(gè)簡(jiǎn)單的預(yù)訓(xùn)練模型示例

加載并運(yùn)行一個(gè)簡(jiǎn)單的預(yù)訓(xùn)練模型（如DistilBERT），確保環(huán)境配置無(wú)誤

下午：數(shù)據(jù)處理與自動(dòng)打標(biāo)簽

4. 數(shù)據(jù)預(yù)處理

4.1數(shù)據(jù)收集與清洗

從電商系統(tǒng)導(dǎo)出產(chǎn)品數(shù)據(jù)和文章數(shù)據(jù)

介紹如何通過API或數(shù)據(jù)庫(kù)導(dǎo)出電商數(shù)據(jù)

4.2 數(shù)據(jù)清洗和處理（去重、去噪、填補(bǔ)缺失值等）

使用Pandas進(jìn)行數(shù)據(jù)清洗操作，展示具體代碼實(shí)例

4.3數(shù)據(jù)格式與存儲(chǔ)

常見數(shù)據(jù)格式（JSON、CSV、SQL等）

講解每種格式的優(yōu)缺點(diǎn)及其適用場(chǎng)景

4.4數(shù)據(jù)庫(kù)的使用與管理

使用SQLite或其他數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)存儲(chǔ)與管理

4.5數(shù)據(jù)處理工具與方法

Pandas用于數(shù)據(jù)處理

詳細(xì)講解Pandas的基本操作（如DataFrame的創(chuàng)建、讀取、過濾、轉(zhuǎn)換等）

NLTK用于自然語(yǔ)言處理

介紹NLTK庫(kù)的功能，如分詞、詞性標(biāo)注、命名實(shí)體識(shí)別等

4.6實(shí)踐：數(shù)據(jù)預(yù)處理操作

使用Pandas加載并處理數(shù)據(jù)集

現(xiàn)場(chǎng)操作，展示如何用Pandas加載CSV文件并進(jìn)行數(shù)據(jù)處理

簡(jiǎn)單的數(shù)據(jù)清洗與轉(zhuǎn)換

實(shí)現(xiàn)數(shù)據(jù)去重、處理缺失值等操作

5. 自動(dòng)打標(biāo)簽

5.1自動(dòng)打標(biāo)簽的概念與重要性

介紹標(biāo)簽在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘中的作用

講解自動(dòng)打標(biāo)簽在電商中的具體應(yīng)用

5.2標(biāo)簽方法與策略

基于規(guī)則的方法

介紹正則表達(dá)式和關(guān)鍵字匹配的基本概念與應(yīng)用

基于機(jī)器學(xué)習(xí)的方法

使用分類模型（如Logistic回歸、SVM等）進(jìn)行標(biāo)簽預(yù)測(cè)

5.3實(shí)踐：對(duì)電商系統(tǒng)的產(chǎn)品數(shù)據(jù)和文章數(shù)據(jù)進(jìn)行打標(biāo)簽

使用預(yù)訓(xùn)練模型進(jìn)行文本分類

加載預(yù)訓(xùn)練的文本分類模型，并應(yīng)用于實(shí)際數(shù)據(jù)

標(biāo)簽數(shù)據(jù)的生成與存儲(chǔ)

將生成的標(biāo)簽保存到數(shù)據(jù)庫(kù)或文件中

5.4案例分析與討論

成功案例分享

介紹一些企業(yè)成功實(shí)施自動(dòng)打標(biāo)簽的案例

常見問題與解決方案

分析在打標(biāo)簽過程中可能遇到的問題，并提出解決方案

第二天：系統(tǒng)構(gòu)建與實(shí)戰(zhàn)開發(fā)

上午：系統(tǒng)標(biāo)簽體系建設(shè)與模型訓(xùn)練

6. 系統(tǒng)標(biāo)簽體系建設(shè)

6.1標(biāo)簽體系設(shè)計(jì)原則

標(biāo)簽的標(biāo)準(zhǔn)化與一致性

介紹如何設(shè)計(jì)標(biāo)準(zhǔn)化的標(biāo)簽體系，確保標(biāo)簽的一致性和可維護(hù)性

標(biāo)簽的層級(jí)結(jié)構(gòu)

講解如何設(shè)計(jì)層級(jí)標(biāo)簽體系，便于管理和使用

標(biāo)簽的層級(jí)結(jié)構(gòu)與管理

標(biāo)簽的定義與維護(hù)

使用Excel或數(shù)據(jù)庫(kù)進(jìn)行標(biāo)簽管理

標(biāo)簽的版本控制

介紹標(biāo)簽版本控制的必要性及其實(shí)現(xiàn)方法

6.2實(shí)踐：構(gòu)建一個(gè)簡(jiǎn)單的標(biāo)簽體系

設(shè)計(jì)并實(shí)現(xiàn)標(biāo)簽層級(jí)結(jié)構(gòu)

現(xiàn)場(chǎng)操作，展示如何設(shè)計(jì)和實(shí)現(xiàn)一個(gè)標(biāo)簽體系

為電商數(shù)據(jù)建立標(biāo)簽體系

將設(shè)計(jì)好的標(biāo)簽體系應(yīng)用于實(shí)際的電商數(shù)據(jù)

7. 大語(yǔ)言模型的數(shù)據(jù)訓(xùn)練

7.1訓(xùn)練數(shù)據(jù)的準(zhǔn)備與處理

數(shù)據(jù)標(biāo)注與分割

介紹如何標(biāo)注數(shù)據(jù)，并進(jìn)行訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分

訓(xùn)練集、驗(yàn)證集與測(cè)試集的劃分

使用scikitlearn的`train_test_split`函數(shù)進(jìn)行數(shù)據(jù)劃分

7.2模型訓(xùn)練的步驟與注意事項(xiàng)

預(yù)訓(xùn)練模型的選擇與使用

介紹如何選擇適合任務(wù)的預(yù)訓(xùn)練模型，并加載使用

超參數(shù)調(diào)優(yōu)

講解模型訓(xùn)練中的超參數(shù)調(diào)優(yōu)技巧

7.3實(shí)踐：使用示例數(shù)據(jù)集進(jìn)行模型訓(xùn)練

加載預(yù)訓(xùn)練模型（如BERT、GPT）

現(xiàn)場(chǎng)操作，展示如何加載并微調(diào)預(yù)訓(xùn)練模型

在特定任務(wù)上進(jìn)行微調(diào)（如文本分類、標(biāo)簽生成）

實(shí)現(xiàn)文本分類任務(wù)的微調(diào)訓(xùn)練

7.4模型評(píng)估與優(yōu)化

模型性能評(píng)估指標(biāo)（如準(zhǔn)確率、召回率、F1得分）

講解常用的模型評(píng)估指標(biāo)及其計(jì)算方法

模型優(yōu)化方法（如早停、學(xué)習(xí)率調(diào)整）

介紹模型優(yōu)化的常用方法，并展示具體實(shí)現(xiàn)

7.5實(shí)戰(zhàn)操作：訓(xùn)練與優(yōu)化

實(shí)時(shí)監(jiān)控訓(xùn)練過程與結(jié)果

使用TensorBoard等工具實(shí)時(shí)監(jiān)控訓(xùn)練過程

調(diào)整參數(shù)與重新訓(xùn)練

現(xiàn)場(chǎng)演示調(diào)整超參數(shù)并重新訓(xùn)練模型

下午：人機(jī)對(duì)話系統(tǒng)與綜合實(shí)戰(zhàn)

8. 基于大語(yǔ)言模型的人機(jī)對(duì)話系統(tǒng)

人機(jī)對(duì)話系統(tǒng)的基本原理

對(duì)話管理與狀態(tài)追蹤

介紹對(duì)話管理的基本概念與實(shí)現(xiàn)

自然語(yǔ)言生成（NLG）

講解自然語(yǔ)言生成的基本原理及其在對(duì)話系統(tǒng)中的應(yīng)用

實(shí)踐：構(gòu)建一個(gè)簡(jiǎn)單的對(duì)話系統(tǒng)

使用預(yù)訓(xùn)練模型（如DialoGPT）進(jìn)行對(duì)話生成

加載DialoGPT模型并實(shí)現(xiàn)簡(jiǎn)單的對(duì)話生成

集成對(duì)話系統(tǒng)與電商平臺(tái)，實(shí)現(xiàn)在電商系統(tǒng)中進(jìn)行搜索與下單操作

現(xiàn)場(chǎng)演示如何將對(duì)話系統(tǒng)與電商平臺(tái)集成，實(shí)現(xiàn)自動(dòng)下單

9. 綜合實(shí)戰(zhàn)

任務(wù)描述：構(gòu)建一個(gè)完整的系統(tǒng)，實(shí)現(xiàn)從自動(dòng)打標(biāo)簽到人機(jī)對(duì)話的全流程

詳細(xì)描述綜合實(shí)戰(zhàn)任務(wù)的目標(biāo)和要求

分組實(shí)踐：每組負(fù)責(zé)一個(gè)子任務(wù)

數(shù)據(jù)預(yù)處理

標(biāo)簽體系建設(shè)

模型訓(xùn)練

對(duì)話系統(tǒng)開發(fā)

每組成員分工合作，完成各自負(fù)責(zé)的任務(wù)

系統(tǒng)集成與測(cè)試

各組任務(wù)的集成

將各組完成的任務(wù)集成到一個(gè)完整的系統(tǒng)中

系統(tǒng)功能測(cè)試與優(yōu)化

進(jìn)行系統(tǒng)測(cè)試，確保各部分功能正常，并進(jìn)行優(yōu)化

10. 總結(jié)與答疑

討論與反饋

參與者分享培訓(xùn)體驗(yàn)與收獲

講師總結(jié)培訓(xùn)內(nèi)容與重點(diǎn)

Q&A環(huán)節(jié)

回答參與者的問題，解決實(shí)際操作中的困惑

后續(xù)學(xué)習(xí)資源推薦

提供相關(guān)學(xué)習(xí)資料與資源，幫助參與者繼續(xù)深入學(xué)習(xí)

期望結(jié)果

參與者對(duì)大語(yǔ)言模型開發(fā)與訓(xùn)練有基礎(chǔ)的了解

參與者能夠?qū)嶋H操作并實(shí)現(xiàn)基本的大語(yǔ)言模型任務(wù)

參與者能夠結(jié)合電商系統(tǒng)的需求進(jìn)行標(biāo)簽體系建設(shè)與人機(jī)對(duì)話系統(tǒng)的開發(fā)

注意事項(xiàng)

確保培訓(xùn)期間有足夠的實(shí)踐時(shí)間，強(qiáng)調(diào)動(dòng)手操作

提供技術(shù)支持與指導(dǎo)，確保每個(gè)參與者能夠順利完成任務(wù)

實(shí)時(shí)調(diào)整培訓(xùn)節(jié)奏，根據(jù)參與者的反饋與需求進(jìn)行優(yōu)化

通過這個(gè)詳細(xì)的大綱，參與者將能夠在兩天內(nèi)掌握大語(yǔ)言模型的基本開發(fā)技能，并應(yīng)用于具體的電商場(chǎng)景，完成自動(dòng)打標(biāo)簽、標(biāo)簽體系建設(shè)、模型訓(xùn)練以及人機(jī)對(duì)話系統(tǒng)的開發(fā)任務(wù)。

李老師

李海良簡(jiǎn)介

李海良，，暨南大學(xué)副教授，碩士生導(dǎo)師，九三學(xué)社社員，中山大學(xué)工學(xué)博士香港城市大學(xué)訪問學(xué)者，廣東工業(yè)大學(xué)校外合作研究生導(dǎo)師。研究方向?yàn)樯疃葘W(xué)習(xí)、圖像識(shí)別、智慧綜合能源和能源大數(shù)據(jù)。在IEEE Transactions on Neural Networks and Learning Systems和Information fusion等TOP期刊第一作者發(fā)表SCI論文6篇，主持省級(jí)課題2項(xiàng)，參與國(guó)家自然科學(xué)基金1項(xiàng)。長(zhǎng)期擔(dān)任IEEE Internet of Things Journal、International Journal of Communication Systems、IET Computer Vision、IET Image Processing和 IET Radar, Sonar & Navigation等SCI期刊審稿人。曾獲得第六屆全國(guó)電子信息科學(xué)博士生論壇論文成果匯報(bào)二等獎(jiǎng)（2017），第七屆全國(guó)電子信息科學(xué)博士生論壇論文成果匯報(bào)三等獎(jiǎng)（2016），2020年12月在INSCRYPT 2020 國(guó)際會(huì)議擔(dān)任Session chair。

2018年獲得中山大學(xué)工學(xué)博士學(xué)位，2019年至2021年在暨南大學(xué)網(wǎng)絡(luò)安全學(xué)院做博后，合作導(dǎo)師為密碼學(xué)與信息安全領(lǐng)域?qū)＜摇?guó)家杰青翁健教授。

擅長(zhǎng)操作系統(tǒng)和數(shù)據(jù)庫(kù)的安全配置，針對(duì)注入式、篡改、偽造、流量分析以及竊聽等主流攻擊方式有深入研究，在人工智能領(lǐng)域，針對(duì)對(duì)抗樣本攻擊與防御方面發(fā)表多篇SCI論文。

曾參與基于聯(lián)邦學(xué)習(xí)的廣東海關(guān)數(shù)據(jù)隱私保護(hù)系統(tǒng)的研發(fā)工作，參與暨南大學(xué)與金山毒霸的校園網(wǎng)攻防安全軟件的研發(fā)工作

參與基于視頻圖像安全的珠海電力局電纜防外破項(xiàng)目

參與東軟集團(tuán)社保系統(tǒng)和醫(yī)院管理系統(tǒng)的研發(fā)工作

曾經(jīng)為廣東移動(dòng)、深圳市電力局、肇慶學(xué)院、嶺南師范學(xué)院、華南農(nóng)業(yè)大學(xué)、東莞城市學(xué)院、電子科技大學(xué)中山學(xué)院以及鄭州航空工業(yè)管理學(xué)院等知名企業(yè)院校提供培訓(xùn)服務(wù)，積累了大量的行業(yè)培訓(xùn)項(xiàng)目經(jīng)驗(yàn)。

擅長(zhǎng)主講課程：

《人工智能》《計(jì)算機(jī)網(wǎng)絡(luò)》《網(wǎng)絡(luò)與信息安全》《軟件工程》《物聯(lián)網(wǎng)》《大數(shù)據(jù)和數(shù)據(jù)科學(xué)》 《網(wǎng)絡(luò)安全》 《互聯(lián)網(wǎng)與人工智能》 《網(wǎng)絡(luò)信息安全與數(shù)據(jù)安全》 《 高級(jí)計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)》 《物聯(lián)網(wǎng)技術(shù)》 《 云計(jì)算與大數(shù)據(jù)算法設(shè)計(jì)》 《軟件工程》 《 研究方法論》 《物聯(lián)網(wǎng)技術(shù)與發(fā)展趨勢(shì) 《網(wǎng)絡(luò)空間安全前沿問題研究》 《智能人機(jī)交互》 《高級(jí)人工智能》 《大數(shù)據(jù)科學(xué)應(yīng)用》 《信息安全》 《高級(jí)軟件工程》 《高級(jí)算法設(shè)計(jì)與分析》

獲獎(jiǎng)經(jīng)歷：

2015年8月 第六屆全國(guó)電子信息科學(xué)博士生論壇論文成果匯報(bào)二等獎(jiǎng)

2016年8月 第七屆全國(guó)電子信息科學(xué)博士生論壇論文成果匯報(bào)三等獎(jiǎng)

2020年12月 INSCRYPT 2020 Session chair

學(xué)習(xí)經(jīng)歷

2014年9月-2018年6月，中山大學(xué)，信息與通信工程，博士研究生

2017年7月-2017年9月，香港城市大學(xué)，訪問學(xué)者

工作經(jīng)歷

2019年2月至2021年2月，暨南大學(xué)信息科學(xué)技術(shù)學(xué)院，博士后

研究方向

基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)，智慧綜合能源和能源大數(shù)據(jù)。

主要論文

1. Hailiang Li, Jian Weng*,Adaptive Dropout Method Based on Biological Principles，IEEE Transactions on Neural Networks and Learning Systems，vol.32,no.9, pp.4267-4276, Sept. 2021,JCR1區(qū),IF:10.451,TOP期刊

2. Hailiang Li, Jian Weng*, A Defense Method Based on Attention Mechanism Against Traffic sign Adversarial samples,Information Fusion,Volume 76, 2021, Pages 55-65,JCR1區(qū)，IF:12.975，TOP期刊

3. Hailiang Li, et al,A Semi-automated Annotation Algorithm Based on Weakly Supervised Learning for Medical Images，Biocybernetics and Biomedical Engineering 40 (2020) pp. 787-802, SCI索引，第一作者，影響因子：4.314

4. Hailiang Li, et al,An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images，Scientific Reprots,(2018) 8:6600，SCI索引，第一作者，影響因子：4.379

5.張宇,李海良*.基于RSA的圖像可識(shí)別對(duì)抗攻擊方法[J].網(wǎng)絡(luò)與信息安全學(xué)報(bào),2021,7(05):40-48.通信作者，中國(guó)科技核心期刊

承擔(dān)課題

1. 基于注意力機(jī)制的安全性圖像識(shí)別模型研究與應(yīng)用，2021廣東省普通高校特色創(chuàng)新項(xiàng)目，主持，17.12萬(wàn)元，項(xiàng)目編號(hào)：2021KTSCX006；

2. 基于 AIOT 的多維視覺下電力施工人員工作監(jiān)控與管理系統(tǒng)，廣東省科技創(chuàng)新戰(zhàn)略專項(xiàng)資金，主持，2萬(wàn)元，項(xiàng)目編號(hào)：PDJH2021b0058；

社會(huì)職務(wù)

廣東工業(yè)大學(xué)，校外合作碩士生導(dǎo)師

我要預(yù)訂

咨詢電話：027-5111 9925 , 027-5111 9926手機(jī)：18971071887郵箱：Service@mingketang.com