我要預(yù)訂

咨詢電話：027-5111 9925 , 027-5111 9926手機(jī)：18971071887郵箱：Service@mingketang.com

課程大綱：

一、課程介紹（30分鐘）

1. 課程目標(biāo)與期望

2. 自然語言處理（NLP）概述

3. BERT與Transformer在NLP中的地位與應(yīng)用

二、自然語言處理基礎(chǔ)（1小時）

1. NLP定義與任務(wù)分類

2. 文本表示：從詞袋模型到詞嵌入

3. 序列模型：RNN、LSTM與GRU

三、Transformer模型原理（1.5小時）

1. Transformer模型簡介

2. 自注意力機(jī)制（Self-Attention）

- 注意力機(jī)制概述

- 自注意力機(jī)制的計算過程

- 多頭自注意力（Multi-Head Attention）

3. 位置編碼（Positional Encoding）

4. 編碼器（Encoder）與解碼器（Decoder）

- 編碼器結(jié)構(gòu)

- 解碼器結(jié)構(gòu)

- 編碼器-解碼器交互

四、BERT模型原理（1.5小時）

1. BERT模型簡介

2. BERT的預(yù)訓(xùn)練任務(wù)

- 掩碼語言模型（Masked Language Model, MLM）

- 下一個句子預(yù)測（Next Sentence Prediction, NSP）

3. BERT模型架構(gòu)

- Transformer編碼器堆疊

- 輸入與輸出表示

4. BERT的微調(diào)與應(yīng)用

- BERT微調(diào)策略

- BERT在NLP任務(wù)中的性能與應(yīng)用案例

五、BERT與Transformer的工程化實(shí)踐經(jīng)驗（2小時）

1. 環(huán)境搭建與準(zhǔn)備

- Python環(huán)境配置

- 深度學(xué)習(xí)框架（如TensorFlow或PyTorch）的安裝

- 文本處理庫（如NLTK、jieba等）的安裝

2. 數(shù)據(jù)預(yù)處理

- 數(shù)據(jù)清洗與標(biāo)準(zhǔn)化

- 分詞與編碼

- 數(shù)據(jù)集劃分

3. 模型訓(xùn)練與優(yōu)化

- 加載預(yù)訓(xùn)練模型

- 微調(diào)BERT或Transformer模型

- 超參數(shù)調(diào)整與模型優(yōu)化

4. 模型評估與部署

- 評估指標(biāo)與評估方法

- 模型保存與加載

- 模型部署策略與工具

5. 工程化挑戰(zhàn)與解決方案

- 計算資源優(yōu)化

- 模型壓縮與加速

- 分布式訓(xùn)練與部署

六、實(shí)戰(zhàn)演練與案例分析（30分鐘）

1. 使用BERT或Transformer進(jìn)行NLP任務(wù)的實(shí)戰(zhàn)演練

2. 案例分析：BERT與Transformer在特定任務(wù)中的工程化實(shí)踐

七、課程總結(jié)與未來展望（30分鐘）

1. 課程內(nèi)容總結(jié)

2. BERT與Transformer的優(yōu)缺點(diǎn)與局限性

3. NLP領(lǐng)域的未來趨勢與新技術(shù)展望

4. 學(xué)員提問與討論

李老師

李海良簡介

李海良，，暨南大學(xué)副教授，碩士生導(dǎo)師，九三學(xué)社社員，中山大學(xué)工學(xué)博士香港城市大學(xué)訪問學(xué)者，廣東工業(yè)大學(xué)校外合作研究生導(dǎo)師。研究方向為深度學(xué)習(xí)、圖像識別、智慧綜合能源和能源大數(shù)據(jù)。在IEEE Transactions on Neural Networks and Learning Systems和Information fusion等TOP期刊第一作者發(fā)表SCI論文6篇，主持省級課題2項，參與國家自然科學(xué)基金1項。長期擔(dān)任IEEE Internet of Things Journal、International Journal of Communication Systems、IET Computer Vision、IET Image Processing和 IET Radar, Sonar & Navigation等SCI期刊審稿人。曾獲得第六屆全國電子信息科學(xué)博士生論壇論文成果匯報二等獎（2017），第七屆全國電子信息科學(xué)博士生論壇論文成果匯報三等獎（2016），2020年12月在INSCRYPT 2020 國際會議擔(dān)任Session chair。

2018年獲得中山大學(xué)工學(xué)博士學(xué)位，2019年至2021年在暨南大學(xué)網(wǎng)絡(luò)安全學(xué)院做博后，合作導(dǎo)師為密碼學(xué)與信息安全領(lǐng)域?qū)＜摇医芮辔探〗淌凇?/p>

擅長操作系統(tǒng)和數(shù)據(jù)庫的安全配置，針對注入式、篡改、偽造、流量分析以及竊聽等主流攻擊方式有深入研究，在人工智能領(lǐng)域，針對對抗樣本攻擊與防御方面發(fā)表多篇SCI論文。

曾參與基于聯(lián)邦學(xué)習(xí)的廣東海關(guān)數(shù)據(jù)隱私保護(hù)系統(tǒng)的研發(fā)工作，參與暨南大學(xué)與金山毒霸的校園網(wǎng)攻防安全軟件的研發(fā)工作

參與基于視頻圖像安全的珠海電力局電纜防外破項目

參與東軟集團(tuán)社保系統(tǒng)和醫(yī)院管理系統(tǒng)的研發(fā)工作

曾經(jīng)為廣東移動、深圳市電力局、肇慶學(xué)院、嶺南師范學(xué)院、華南農(nóng)業(yè)大學(xué)、東莞城市學(xué)院、電子科技大學(xué)中山學(xué)院以及鄭州航空工業(yè)管理學(xué)院等知名企業(yè)院校提供培訓(xùn)服務(wù)，積累了大量的行業(yè)培訓(xùn)項目經(jīng)驗。

擅長主講課程：

《人工智能》《計算機(jī)網(wǎng)絡(luò)》《網(wǎng)絡(luò)與信息安全》《軟件工程》《物聯(lián)網(wǎng)》《大數(shù)據(jù)和數(shù)據(jù)科學(xué)》 《網(wǎng)絡(luò)安全》 《互聯(lián)網(wǎng)與人工智能》 《網(wǎng)絡(luò)信息安全與數(shù)據(jù)安全》 《 高級計算機(jī)系統(tǒng)結(jié)構(gòu)》 《物聯(lián)網(wǎng)技術(shù)》 《 云計算與大數(shù)據(jù)算法設(shè)計》 《軟件工程》 《 研究方法論》 《物聯(lián)網(wǎng)技術(shù)與發(fā)展趨勢 《網(wǎng)絡(luò)空間安全前沿問題研究》 《智能人機(jī)交互》 《高級人工智能》 《大數(shù)據(jù)科學(xué)應(yīng)用》 《信息安全》 《高級軟件工程》 《高級算法設(shè)計與分析》

獲獎經(jīng)歷：

2015年8月 第六屆全國電子信息科學(xué)博士生論壇論文成果匯報二等獎

2016年8月 第七屆全國電子信息科學(xué)博士生論壇論文成果匯報三等獎

2020年12月 INSCRYPT 2020 Session chair

學(xué)習(xí)經(jīng)歷

2014年9月-2018年6月，中山大學(xué)，信息與通信工程，博士研究生

2017年7月-2017年9月，香港城市大學(xué)，訪問學(xué)者

工作經(jīng)歷

2019年2月至2021年2月，暨南大學(xué)信息科學(xué)技術(shù)學(xué)院，博士后

研究方向

基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)，智慧綜合能源和能源大數(shù)據(jù)。

主要論文

1. Hailiang Li, Jian Weng*,Adaptive Dropout Method Based on Biological Principles，IEEE Transactions on Neural Networks and Learning Systems，vol.32,no.9, pp.4267-4276, Sept. 2021,JCR1區(qū),IF:10.451,TOP期刊

2. Hailiang Li, Jian Weng*, A Defense Method Based on Attention Mechanism Against Traffic sign Adversarial samples,Information Fusion,Volume 76, 2021, Pages 55-65,JCR1區(qū)，IF:12.975，TOP期刊

3. Hailiang Li, et al,A Semi-automated Annotation Algorithm Based on Weakly Supervised Learning for Medical Images，Biocybernetics and Biomedical Engineering 40 (2020) pp. 787-802, SCI索引，第一作者，影響因子：4.314

4. Hailiang Li, et al,An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images，Scientific Reprots,(2018) 8:6600，SCI索引，第一作者，影響因子：4.379

5.張宇,李海良*.基于RSA的圖像可識別對抗攻擊方法[J].網(wǎng)絡(luò)與信息安全學(xué)報,2021,7(05):40-48.通信作者，中國科技核心期刊

承擔(dān)課題

1. 基于注意力機(jī)制的安全性圖像識別模型研究與應(yīng)用，2021廣東省普通高校特色創(chuàng)新項目，主持，17.12萬元，項目編號：2021KTSCX006；

2. 基于 AIOT 的多維視覺下電力施工人員工作監(jiān)控與管理系統(tǒng)，廣東省科技創(chuàng)新戰(zhàn)略專項資金，主持，2萬元，項目編號：PDJH2021b0058；

社會職務(wù)

廣東工業(yè)大學(xué)，校外合作碩士生導(dǎo)師

我要預(yù)訂

咨詢電話：027-5111 9925 , 027-5111 9926手機(jī)：18971071887郵箱：Service@mingketang.com