簡介面向中文命名實體識別NER研究與實踐的Python源碼資源整合了雙向長短期記憶網(wǎng)絡(luò)與條件隨機(jī)場BILSTMCRF、膨脹卷積與條件隨機(jī)場IDCNNCRF、預(yù)訓(xùn)練模型BERT結(jié)合雙向長短期記憶網(wǎng)絡(luò)與條件隨機(jī)場BERTBILSTMCRF三條主流模型路線并附帶人民日報、MSRA等經(jīng)典中文語料的預(yù)處理腳本適合自然語言處理方向的學(xué)生、算法工程師以及以畢設(shè)、課設(shè)為目標(biāo)的初學(xué)者參考。壓縮包內(nèi)共有五十八個文件核心是十六個Python腳本涵蓋模型定義、數(shù)據(jù)清洗、訓(xùn)練與預(yù)測全流程另有十九個編譯后的緩存文件、九個文本說明、五張示意圖、四個說明文檔和三個XML工程配置文件整體大小約十三點七五MB目錄結(jié)構(gòu)清晰便于按模塊查閱。代碼均經(jīng)過運(yùn)行測試并配有說明文檔和可視化結(jié)果圖學(xué)習(xí)與二次開發(fā)門檻較低。目前已有五百二十五人學(xué)習(xí)多模型對比實現(xiàn)可幫助讀者直觀理解不同結(jié)構(gòu)在中文實體識別任務(wù)中的表現(xiàn)差異也能直接用于畢業(yè)設(shè)計或課程設(shè)計、項目初期立項演示。1. 中文命名實體識別三套主流模型的 Python 源碼怎么落地先回答最直接的問題中文命名實體識別到底難在哪難在中文沒有天然空格分詞、實體的邊界和類別常常要依賴上下文而常見的規(guī)則匹配和 HMM 在真實語料上很快就到天花板。這份 NER_DEMO 源碼包把三條主流路線放在一起對比BILSTMCRF、IDCNNCRF以及熱度最高的 BERTBILSTMCRF并自帶人民日報、MSRA 等數(shù)據(jù)集的預(yù)處理腳本和訓(xùn)練入口對正在做課程設(shè)計、畢設(shè)或者剛接觸序列標(biāo)注的開發(fā)者來說是少見的能直接跑起來的完整工程。它解決的是一類很具體的問題從原始標(biāo)注文本到最終能識別出人名、地名、組織名的完整鏈路包含數(shù)據(jù)清洗、vocab 構(gòu)建、模型訓(xùn)練、日志輸出和預(yù)測。適合的人群是已經(jīng)會寫 Python、能看懂神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)但沒完整跑過 NER 項目的同學(xué)或者想快速對比三種模型效果的候選人。2. 目錄結(jié)構(gòu)和數(shù)據(jù)準(zhǔn)備先看懂這份資源怎么組織再談訓(xùn)練2.1 源碼包的文件清單和職責(zé)劃分拿到 NER_DEMO-master.zip 解壓后第一件事不是急著裝環(huán)境而是把目錄結(jié)構(gòu)摸清楚。整個工程可以分成四塊模型定義、數(shù)據(jù)預(yù)處理、公共工具、入口腳本。模型定義部分放在根目錄下五個 Python 文件對應(yīng)五種網(wǎng)絡(luò)結(jié)構(gòu)BILSTM_CRF.py 是最經(jīng)典的 BiLSTM 加 CRF 序列標(biāo)注IDCNN_CRF.py 是膨脹卷積替代 LSTM 的變體IDCNN5_CRF.py 是 IDCNN 的加深版本BILSTM_Attetion_CRF.py 在 BiLSTM 基礎(chǔ)上加了 attention 層BERT_BILSTM_CRF.py 則是用預(yù)訓(xùn)練 BERT 接 BiLSTM 再接 CRF 的最強(qiáng)組合。預(yù)處理腳本在 DataProcess 目錄下msra_preprocessing.py、renminribao_preprocessing.py、data2_preprocessing.py 分別處理不同來源的數(shù)據(jù)集。process_data.py 負(fù)責(zé)統(tǒng)一流程。工具層是 utils.py 和 path.py前者存放標(biāo)簽映射、數(shù)據(jù)讀取、批次生成這一類公共函數(shù)后者統(tǒng)一管理數(shù)據(jù)、模型、日志的文件路徑。入口腳本是 train.py所有模型的訓(xùn)練都從這里啟動日志輸出到 log 目錄下。提示先打開 README.md 再動手它會說明當(dāng)前代碼依賴的深度學(xué)習(xí)框架版本以及各模型對應(yīng)哪個數(shù)據(jù)集格式。這能幫你省掉最常見的框架不兼容問題。2.2 數(shù)據(jù)集的格式標(biāo)準(zhǔn)和 vocab 構(gòu)建流程N(yùn)ER 訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn)格式是每一行一個詞空行分隔句子標(biāo)簽序列和詞語序列按行對齊。以人民日報語料為例預(yù)處理腳本會把原始文本解析成這種格式保存比如“中 國 B-ORG”“人 民 E-ORG”“銀 行 B-ORG”這種 BIESO 標(biāo)注體系。vocab.py 和 process_data.py 負(fù)責(zé)把清洗后的文本轉(zhuǎn)成訓(xùn)練用的 id 序列。vocab 構(gòu)建的核心邏輯是把每個字符映射到一個唯一的索引再補(bǔ)充特殊標(biāo)記。常見做法是把 vocab 分成四個部分pad 用于批內(nèi)補(bǔ)齊、unk 用于未登錄詞、sos 和 eos 用于句子邊界。具體代碼邏輯一般是def build_vocab(files, min_count1): word_count {} for file in files: for line in open(file, encodingutf-8): for char in line.strip(): word_count[char] word_count.get(char, 0) 1 vocab {word: idx for word, idx in zip([pad, unk, sos, eos], range(4))} for word, count in word_count.items(): if count min_count: vocab[word] len(vocab) return vocab這段代碼先統(tǒng)計所有字符的出現(xiàn)次數(shù)再按最低頻次過濾低頻字符。min_count 取 1 時保留全部字符取 2 或 3 時能過濾一部分錯別字和噪聲但也會讓模型對生僻字的泛化能力下降。我一般會先把 min_count 設(shè)為 1 跑通再看訓(xùn)練集大小決定是否過濾。2.3 預(yù)處理腳本的參數(shù)含義和實際用法msra_preprocessing.py 是處理 MSRA 數(shù)據(jù)集的典型例子。原始 MSRA 語料以換行符分隔句子每行是一句完整的中文句子附帶的標(biāo)注文件需要按字符位置對齊才能生成訓(xùn)練數(shù)據(jù)。python msra_preprocessing.py --input_dir ./data/msra_raw --output_dir ./data2這個命令把 MSRA 原始文本和標(biāo)注文件轉(zhuǎn)換成統(tǒng)一的 BIO 格式輸出到 data2 目錄。腳本內(nèi)部會檢查句子長度、標(biāo)簽對齊關(guān)系如果發(fā)現(xiàn)字符數(shù)和標(biāo)簽數(shù)不匹配會自動跳過該句。運(yùn)行完檢查 data2 下的文件行數(shù)是否和原始標(biāo)注數(shù)據(jù)大致匹配如果出現(xiàn)大量句子被跳過通常是原始標(biāo)注文件里有全角空格或空行需要先做清洗。參數(shù)說明--input_dir 指向原始數(shù)據(jù)目錄--output_dir 指向處理后數(shù)據(jù)存放的位置。不同數(shù)據(jù)集腳本的輸入輸出參數(shù)基本一致這套工程的預(yù)處理腳本是按統(tǒng)一接口設(shè)計的所以換數(shù)據(jù)集時不需要改模型代碼。2.4 環(huán)境配置和快速驗證數(shù)據(jù)完整性訓(xùn)練前先確認(rèn)三件事PyTorch 版本、GPU 是否可用、transformers 庫是否安裝。BERT 模型需要從 huggingface 加載預(yù)訓(xùn)練權(quán)重而國內(nèi)網(wǎng)絡(luò)環(huán)境下載中文預(yù)訓(xùn)練模型通常比較慢建議先手動下載 chinese_L-12_H-768_A-12 到本地 data 目錄。pip install torch transformers tqdm numpy python train.py --model BERT_BILSTM_CRF --epochs 3 --batch_size 8 --gpu 0注意如果報 transformers 加載權(quán)重超時直接把預(yù)訓(xùn)練模型下載到 data/chinese_L-12_H-768_A-12 目錄然后修改 path.py 里的預(yù)訓(xùn)練模型路徑指向本地目錄能大幅縮短啟動時間。3. 三種模型的原理和訓(xùn)練配置為什么選 BiLSTMCRF、IDCNNCRF 和 BERTBiLSTMCRF3.1 BiLSTMCRF 的原理和代碼走讀BiLSTMCRF 是序列標(biāo)注領(lǐng)域的經(jīng)典結(jié)構(gòu)很多線上 NER 系統(tǒng)到目前仍是這套組合。BiLSTM 負(fù)責(zé)編碼上下文信息把字符序列轉(zhuǎn)換成每個位置對應(yīng)的隱狀態(tài)向量而 CRF 層負(fù)責(zé)學(xué)習(xí)標(biāo)簽之間的轉(zhuǎn)移約束比如“B-PER 后面不能直接跟 E-ORG”這樣的規(guī)則。class BiLSTM_CRF(nn.Module): def __init__(self, vocab_size, tag_size, embedding_dim128, hidden_dim256): super(BiLSTM_CRF, self).__init__() self.embedding nn.Embedding(vocab_size, embedding_dim) self.lstm nn.LSTM(embedding_dim, hidden_dim // 2, num_layers1, bidirectionalTrue, batch_firstTrue) self.hidden2tag nn.Linear(hidden_dim, tag_size) self.crf CRF(tag_size)這段代碼里 embedding_dim 是字符向量維度hidden_dim 是 LSTM 隱層大小因為是雙向結(jié)構(gòu)所以 hidden_dim 會被平分到兩個方向。CRF 層接收 LSTM 輸出的發(fā)射分?jǐn)?shù)矩陣然后通過維特比解碼找到最優(yōu)標(biāo)簽序列。訓(xùn)練時使用負(fù)對數(shù)似然損失這個損失由真實路徑分?jǐn)?shù)減去所有可能路徑的 logsumexp 分?jǐn)?shù)得到。3.2 IDCNNCRF 的結(jié)構(gòu)差異和適用場景IDCNN 是膨脹卷積網(wǎng)絡(luò)的縮寫它在普通 CNN 的基礎(chǔ)上引入了不同膨脹率的卷積核讓感受野在不增加參數(shù)量和層數(shù)的情況下指數(shù)級擴(kuò)大。和 BiLSTM 相比IDCNN 的訓(xùn)練速度更快推理時也不需要逐步計算適合對實時性有要求的場景。class IDCNN_CRF(nn.Module): def __init__(self, vocab_size, tag_size, filters128, dilations[1, 1, 2]): super(IDCNN_CRF, self).__init__() self.embedding nn.Embedding(vocab_size, embedding_dim) self.idcnn IDCNN(filtersfilters, dilationsdilations) self.linear nn.Linear(filters, tag_size) self.crf CRF(tag_size)dilations 參數(shù)是 IDCNN 的核心控制項[1, 1, 2] 表示三層卷積的膨脹率分別是 1、1、2。膨脹率為 1 時是普通卷積膨脹率為 2 時每個卷積核的采樣點間隔為 1 個字符。實際使用中 IDCNN5_CRF.py 會疊加更多層以擴(kuò)大感受野。這里的核心權(quán)衡是膨脹率越大感受野越大但過大會導(dǎo)致局部信息丟失所以工程上常采用多組小膨脹率的堆疊而不是一組大膨脹率。3.3 BERTBiLSTMCRF 的模型結(jié)構(gòu)和訓(xùn)練技巧BERTBILSTMCRF 是目前效果最好的組合之一原理是先用 BERT 預(yù)訓(xùn)練模型生成融合上下文語義的字符向量再把向量序列輸入 BiLSTM 進(jìn)一步編碼最后由 CRF 解碼。這份源碼里 BERT 部分用的是 chinese_L-12_H-768_A-12即 12 層 transformer、768 維隱層這是 BERT-base 的中文版本。class BERT_BILSTM_CRF(nn.Module): def __init__(self, bert_path, tag_size, hidden_dim256): super(BERT_BILSTM_CRF, self).__init__() self.bert BertModel.from_pretrained(bert_path) self.lstm nn.LSTM(768, hidden_dim // 2, bidirectionalTrue, batch_firstTrue) self.hidden2tag nn.Linear(hidden_dim, tag_size) self.crf CRF(tag_size) def forward(self, input_ids, attention_mask, labelsNone): outputs self.bert(input_ids, attention_maskattention_mask) sequence_output outputs[0] lstm_out, _ self.lstm(sequence_output) emissions self.hidden2tag(lstm_out) if labels is not None: loss -self.crf(emissions, labels, maskattention_mask) return loss return self.crf.decode(emissions, maskattention_mask)訓(xùn)練 BERT 系模型時有幾個關(guān)鍵點。一是學(xué)習(xí)率要比 BiLSTM 模型低一等數(shù)量級BERT 部分的微調(diào)學(xué)習(xí)率一般設(shè)置在 5e-5 到 2e-5而 BiLSTM 部分可以用 1e-3二是 batch_size 受顯存限制通常只能設(shè) 8 到 16所以訓(xùn)練輪數(shù)要相應(yīng)增加三是最耗時間的不是構(gòu)思模型而是 BERT 預(yù)訓(xùn)練權(quán)重的加載建議固定隨機(jī)種子保證可復(fù)現(xiàn)。3.4 三種模型的選型對比和場景建議三種模型的效果和代價差異非常明顯。在一個 2 萬句規(guī)模的中文語料上BiLSTMCRF 訓(xùn)練大約需要 2 到 4 小時IDCNNCRF 能快 30% 以上而 BERTBiLSTMCRF 在同樣數(shù)據(jù)上可能要多花 4 到 8 小時但 F1 值通常能高 3 到 8 個百分點。模型組合訓(xùn)練速度顯存占用精度上限適用場景BiLSTMCRF快低中標(biāo)注數(shù)據(jù)少、硬件受限的場景IDCNNCRF更快低中上需要快速迭代或?qū)崟r推理的業(yè)務(wù)BERTBiLSTMCRF慢高高追求效果上限硬件資源充裕4. 訓(xùn)練與調(diào)參實戰(zhàn)從啟動命令到日志分析全流程可復(fù)現(xiàn)4.1 訓(xùn)練入口的參數(shù)體系和啟動方式train.py 是整個工程的統(tǒng)一入口通過 --model 參數(shù)選擇不同的模型結(jié)構(gòu)。這個腳本定義了完整的訓(xùn)練循環(huán)包括批次生成、反向傳播、梯度裁剪、驗證集評估和模型保存。# 訓(xùn)練 BiLSTMCRF 模型 python train.py --model BILSTM_CRF --epochs 10 --batch_size 32 --lr 0.001 # 訓(xùn)練 IDCNNCRF 模型 python train.py --model IDCNN_CRF --epochs 10 --batch_size 32 --lr 0.001 # 訓(xùn)練 BERTBiLSTMCRF 模型 python train.py --model BERT_BILSTM_CRF --epochs 3 --batch_size 8 --lr 5e-5第二個命令運(yùn)行時會在根目錄創(chuàng)建一個 log 目錄每次訓(xùn)練會生成一個以時間戳命名的輸出文件。日志里記錄了 loss 和準(zhǔn)確率等指標(biāo)訓(xùn)練到最優(yōu) F1 時保存模型權(quán)重。這里 --lr 的選擇很講究對于 BiLSTM 和 IDCNN0.001 是 Adam 優(yōu)化器的默認(rèn)推薦值BERT 模型必須調(diào)低否則預(yù)訓(xùn)練權(quán)重很快會被沖掉。提示使用 BERT_BILSTM_CRF 模型前先檢查 python train.py --help 輸出的參數(shù)列表確認(rèn)當(dāng)前代碼里 BERT 相關(guān)參數(shù)名是否帶 bert_ 前綴不同版本的源碼差異很大。4.2 train.py 核心訓(xùn)練循環(huán)的代碼走讀for epoch in range(args.epochs): for batch in train_batches: optimizer.zero_grad() loss model(batch.ids, batch.labels) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() val_f1 evaluate(model, valid_batches) print(fepoch {epoch}, loss {loss.item():.4f}, F1 {val_f1:.4f})這里最關(guān)鍵的是 clip_grad_norm_ 這一行把梯度的 L2 范數(shù)裁剪到 5.0防止 LSTM 在長序列上出現(xiàn)梯度爆炸。設(shè)置太小會導(dǎo)致模型收斂變慢設(shè)置太大等于沒裁剪。在 BiLSTMCRF 的序列標(biāo)注任務(wù)里我一般會先用 5.0 起步如果 loss 出現(xiàn) NaN 就降到 1.0。evaluate 函數(shù)在驗證集上做維特比解碼統(tǒng)計實體的精確率、召回率和 F1 值。4.3 驗證集和測試集的劃分邏輯數(shù)據(jù)切分時訓(xùn)練集、驗證集、測試集的比例按照 8:1:1 劃分驗證集用于每個 epoch 結(jié)束后評估并選擇保存哪一版模型測試集只做最終評估不參與調(diào)參。在實際使用中驗證集切分時需要按句子分而不是按字符分因為同一句子的字符同時出現(xiàn)在訓(xùn)練集和驗證集會污染數(shù)據(jù)。此外數(shù)據(jù)文件在預(yù)處理階段就做了隨機(jī)打亂所以訓(xùn)練時 story 層的批次生成不再重復(fù) shuffle。4.4 從日志判斷模型是否正常收斂模型跑起來后的 30 分鐘內(nèi)基本就能看出問題。正常收斂的 loss 曲線是平滑下降的偶爾有小幅波動但在合理范圍內(nèi)如果 loss 在前 100 個 batch 內(nèi)直接降到接近 0大概率是標(biāo)簽對齊錯了或者 CRF 層的轉(zhuǎn)移矩陣初始化出了問題。另一個常見現(xiàn)象是訓(xùn)練集 F1 很高但驗證集 F1 很低這說明過擬合已經(jīng)出現(xiàn)把 dropout 打開或者提前停止訓(xùn)練即可。參數(shù)組合建議語料在 1 萬句以下時用 BiLSTMCRFembedding_dim 設(shè) 128hidden_dim 設(shè) 256dropout 設(shè) 0.5訓(xùn)練 15 輪左右語料在 3 萬句以上且 GPU 顯存大于 8G 時再上 BERTBiLSTMCRFbatch_size 從 4 起步顯存不夠就加梯度累積用 4 個 batch 累積一次反向傳播等效于 batch_size 為 16。5. 避坑與常見問題我在復(fù)現(xiàn)這套源碼時踩過的五個真實坑5.1 Python 版本和依賴沖突現(xiàn)象是運(yùn)行 train.py 時 import 階段報錯錯誤信息顯示某個庫的模塊里沒有需要的函數(shù)比如 transformers 的 BertModel 加載失敗。原因是源碼是基于較老的 PyTorch 版本編寫的現(xiàn)代版本的 transformers 接口不再兼容舊版寫法。解決辦法是把 transformers 降級到 4.x 早期版本同時 PyTorch 安裝在 1.8 到 2.0 之間。如果非要使用新版需要手動修改 BERT_BILSTM_CRF.py 中的 from_pretrained 調(diào)用方式。5.2 預(yù)處理階段句子被大量跳過現(xiàn)象是 msra_preprocessing.py 運(yùn)行結(jié)束后輸出文件的行數(shù)比原始標(biāo)注文件少了很多。原因是原始語料里有很多全角空格、連續(xù)換行和編碼不一致的字符腳本在檢查標(biāo)簽對齊時會跳過這些異常句子。解決方法是先用文本編輯器把原始數(shù)據(jù)統(tǒng)一轉(zhuǎn)成 UTF-8 編碼刪除所有全角空格再重新運(yùn)行預(yù)處理。如果 skip 率還是超過 5%用 Python 腳本打印幾條被跳過的樣本看看具體是在哪個環(huán)節(jié)斷掉的。5.3 BERT 權(quán)重加載超時現(xiàn)象是第一次啟動 BERT_BILSTM_CRF 訓(xùn)練時程序長時間卡在 from_pretrained 這一步最后報網(wǎng)絡(luò)超時錯誤。原因是 huggingface 的預(yù)訓(xùn)練權(quán)重下載地址在國內(nèi)訪問不穩(wěn)定尤其是 chinese_L-12_H-768_A-12 這個文件體積接近 400M。解決方法是手動下載權(quán)重文件后放到 data/chinese_L-12_H-768_A-12 目錄然后在 path.py 或直接用 from_pretrained 指定本地路徑。5.4 Sigmoid 和 Softmax 混淆導(dǎo)致的實體邊界錯誤現(xiàn)象是 BERT_BILSTM_CRF 的 loss 一直在下降但驗證集上預(yù)測出來的實體永遠(yuǎn)只有單字不會有連續(xù)的多個字。原因是部分實現(xiàn)把輸出層誤寫成 sigmoid 激活然后按閾值判定而不是用線性層輸出發(fā)射分?jǐn)?shù)交給 CRF 解碼。CRF 的維度數(shù)量必須等于標(biāo)簽數(shù)加一因為起始標(biāo)記要單獨(dú)占一個位置這個細(xì)節(jié)屬于最隱蔽的那類問題排查時直接看標(biāo)簽類別數(shù)量和預(yù)測結(jié)果來定位。5.5 顯存不足和 OOM 崩潰現(xiàn)象是 BERT_BILSTM_CRF 模型訓(xùn)練到第二個 epoch 時直接報 CUDA out of memory 崩潰。原因是 BERT 本身占用顯存非常高batch_size 設(shè)成 32 對 12G 顯存來說完全不現(xiàn)實。解決辦法是把 batch_size 降到 4同時在 data 加載時用 num_workers 提高數(shù)據(jù)吞吐。要是還撐不住就檢查訓(xùn)練代碼里是否每個 epoch 結(jié)束后把梯度和中間變量都釋放了這通常能省出 30% 的顯存。6. 進(jìn)階驗證與微調(diào)技巧讓三套模型在自定義數(shù)據(jù)集上真正可用6.1 用模型預(yù)測結(jié)果做人工校驗訓(xùn)練好模型后不能只看 F1 值就認(rèn)為完事了。我習(xí)慣準(zhǔn)備一份不帶標(biāo)簽的測試文本直接跑預(yù)測來看實際輸出。抽取一段新聞文本模型輸出的實體列表如果能把“北京”“騰訊”“小明”等實體準(zhǔn)確切分出來說明邊界沒有問題如果連續(xù)出現(xiàn)實體被拆分或合并大概率是標(biāo)簽體系的 BIO 和 BIESO 不一致。python train.py --model BILSTM_CRF --predict --input_text 小明來自北京在騰訊擔(dān)任算法工程師。這段偽代碼展示的是預(yù)測入口的方式。實際源碼中會把預(yù)測邏輯封裝在 eval 分支或者提供單獨(dú)的小腳本讀取訓(xùn)練好的模型參數(shù)。輸出格式通常是一行文字加一行對應(yīng)標(biāo)簽人工檢查時重點看三類錯誤實體漏召回、實體內(nèi)多字、實體間粘連。6.2 自定義數(shù)據(jù)集的標(biāo)簽體系對齊每個數(shù)據(jù)集都有自己的一套標(biāo)簽體系。人民日報語料常用 PER、ORG、LOC 三類一些金融語料還會增加 DATE、MONEY 等類別。在換數(shù)據(jù)集前必須做兩件事把原始標(biāo)注統(tǒng)一成 BIO 格式標(biāo)簽類別映射表要和 utils.py 里的 category_to_index 對應(yīng)。常見做法是先寫小腳本把數(shù)據(jù)轉(zhuǎn)成通用格式標(biāo)簽用 B-xxx、I-xxx、O 這三種基礎(chǔ)標(biāo)記然后在需要的時候轉(zhuǎn)換成 BIESO 的 B、I、E、S、O 五種標(biāo)記來切分單字實體。這里的核心準(zhǔn)則是標(biāo)簽不統(tǒng)一的問題要在預(yù)處理階段解決不要指望模型自己適應(yīng)不同標(biāo)簽體系。def convert_bio_to_bieso(labels): # labels 是一串 Bio 標(biāo)簽的列表 converted [] for idx, label in enumerate(labels): if label.startswith(B-): # 如果下一個是 O 或者 B 開頭說明這是單字實體 if idx 1 len(labels) or labels[idx 1] O or labels[idx 1].startswith(B-): converted.append(S- label[2:]) else: converted.append(B- label[2:]) elif label.startswith(I-): if idx 1 len(labels) or labels[idx 1].startswith(B-) or labels[idx 1] O: converted.append(E- label[2:]) else: converted.append(I- label[2:]) else: converted.append(O) return converted這段轉(zhuǎn)換邏輯的處理順序是先判斷是否為單字實體再決定標(biāo)記是 B、I、E 還是 S。轉(zhuǎn)換完成后必須檢查一下代碼里 CRF 層的標(biāo)簽數(shù)量是否等于五類乘實體類別數(shù)加 O否則張量維度就會報錯。6.3 學(xué)習(xí)率衰減和早停策略如果訓(xùn)練到后期 F1 值一直在 80 到 82 之間震蕩不上升問題大概率是學(xué)習(xí)率沒做衰減。我的習(xí)慣是每兩個 epoch 把學(xué)習(xí)率乘 0.8或者在驗證集 F1 連續(xù)三個 epoch 不增長時把學(xué)習(xí)率減半。早停設(shè)置在驗證 F1 連續(xù)五個 epoch 不提升時直接停止訓(xùn)練并加載歷史上最優(yōu)權(quán)重這個辦法能明顯減少 BERT 模型在過擬合邊緣的無效訓(xùn)練時間。6.4 多模型集成的一個輕量技巧資源包里五套模型經(jīng)常被當(dāng)成選擇題其實可以做成組合。時間允許的話用同一個驗證集分別訓(xùn)練 BiLSTMCRF、IDCNNCRF 和 BERTBILSTMCRF在預(yù)測階段把三個模型的輸出做投票或者對每個 token 計算不同模型的概率平均。實際體驗中 BERT 模型的權(quán)重通常要比其他兩個略高0.5 比 0.3 比 0.2 的組合在多數(shù)數(shù)據(jù)集上效果不錯。雖然比單一模型增加了一些推理耗時但性能不穩(wěn)定時用 10 分鐘換取幾個點的準(zhǔn)確率提升是劃算的。這類的坑我在每一次換數(shù)據(jù)集時都會再踩一遍尤其是標(biāo)簽體系對齊和預(yù)處理階段的數(shù)據(jù)清洗。后來養(yǎng)成的習(xí)慣是不管用什么數(shù)據(jù)集先跑完預(yù)處理腳本后馬上檢查行數(shù)和異常樣本再進(jìn)入訓(xùn)練環(huán)節(jié)。從拿到這份源碼到完全跑通我前前后后花了大半天時間但把里面的坑摸清后后續(xù)換任何數(shù)據(jù)都能在兩小時內(nèi)完成全流程。希望這份實戰(zhàn)筆記能幫到你沿著這個流程走三套模型都能順利跑起來。本文還有配套的精品資源點擊獲取