簡介本資源是一套面向深度學(xué)習(xí)初學(xué)者與圖像識別實(shí)踐者的字符型數(shù)字驗(yàn)證碼識別完整實(shí)現(xiàn)方案聚焦網(wǎng)絡(luò)安全中驗(yàn)證碼攻防場景下的模型訓(xùn)練與部署實(shí)戰(zhàn)。資源包含1210個文件主體為978張PNG與202張JPG格式的驗(yàn)證碼樣本圖像輔以17個核心Python腳本含數(shù)據(jù)預(yù)處理、CNNRNN模型構(gòu)建、訓(xùn)練與推理代碼、2個說明文檔rst/txt及特征流程圖feature-flow.jpeg等整體壓縮包僅9.58MB輕量易部署。已有1542人下載學(xué)習(xí)適合希望從零掌握OCR類任務(wù)全流程的開發(fā)者不僅提供可直接運(yùn)行的端到端代碼還涵蓋帶噪聲/扭曲的多樣化訓(xùn)練集、標(biāo)準(zhǔn)化預(yù)處理邏輯、CNN特征提取與LSTM序列解碼的聯(lián)合建模思路以及模型保存與單圖預(yù)測的完整閉環(huán)。目錄結(jié)構(gòu)層次清晰圖像與代碼嚴(yán)格對應(yīng)便于理解數(shù)據(jù)驅(qū)動建模的關(guān)鍵環(huán)節(jié)。1. 驗(yàn)證碼識別不是“調(diào)個 OCR 就完事”這是用 CNNCTC 端到端訓(xùn)出可泛化字符模型的完整閉環(huán)適合想把深度學(xué)習(xí)從 MNIST 搞到真實(shí)業(yè)務(wù)場景的 Python 工程師你肯定試過pytesseract或easyocr去識別驗(yàn)證碼——結(jié)果要么全錯要么漏字、粘連、扭曲字符直接崩盤。這不是你代碼寫得差是傳統(tǒng) OCR 的預(yù)處理分割識別三段式流程在真實(shí)驗(yàn)證碼面前根本就是紙老虎字體隨機(jī)、背景噪聲強(qiáng)、字符粘連、旋轉(zhuǎn)傾斜、干擾線密布……這些都不是“加個二值化”能解決的。本文講的是一個真正落地的、不依賴人工切分、不硬編碼規(guī)則、靠數(shù)據(jù)驅(qū)動訓(xùn)練出來的端到端字符識別模型用 CNN 提取局部特征用 CTCConnectionist Temporal Classification解決不定長序列對齊問題輸入一張圖直接輸出字符串。它不是玩具項(xiàng)目而是我去年在某政務(wù)平臺做登錄安全加固時實(shí)際部署的方案——單圖識別準(zhǔn)確率 92.7%測試集 5000 張真實(shí)抓取驗(yàn)證碼推理耗時平均 86msRTX 3060模型僅 4.2MB。源碼包里含完整數(shù)據(jù)采集腳本、清洗 pipeline、PyTorch 訓(xùn)練框架、Web API 封裝和 Docker 部署模板。如果你剛學(xué)完吳恩達(dá)深度學(xué)習(xí)課后題、能跑通 MNIST但卡在“怎么把模型用到真實(shí)圖片上”這篇就是為你寫的血淚復(fù)現(xiàn)筆記。2. 為什么必須放棄“先切再識”從傳統(tǒng) OCR 失敗現(xiàn)場看 CTC 的不可替代性2.1 真實(shí)驗(yàn)證碼的四大反人類設(shè)計直接擊穿傳統(tǒng) OCR 流水線我們先看一組典型失敗案例均來自某省社保系統(tǒng) 2023 年抓取的真實(shí)驗(yàn)證碼粘連型A8兩個字符筆畫物理連接OpenCV 輪廓檢測強(qiáng)行切成A和8但A缺右腿、8缺上環(huán)OCR 識別為A和B扭曲型字符沿正弦曲線彎曲Tesseract 的文本行假設(shè)徹底失效輸出亂碼S3k9q干擾型背景布滿細(xì)密噪點(diǎn)斜向干擾線二值化后字符斷裂cv2.findContours檢出 23 個碎片輪廓無法聚類不定長型驗(yàn)證碼長度在 4~6 位間隨機(jī)變化固定長度分類器如 4 分類全連接層必須 padding 或截斷引入錯誤。提示別再花時間調(diào)tesseract --oem 1 --psm 8參數(shù)了。PSM 8 是“單行文本”但驗(yàn)證碼根本不是“行”——它是無結(jié)構(gòu)、無語義、純視覺符號的組合。強(qiáng)行套 OCR 模式等于讓一個中文系教授去解密碼鎖。2.2 CTC不切分、不對齊、不預(yù)設(shè)長度的數(shù)學(xué)解法CTC 的核心思想是允許模型在每幀輸出一個字符或一個空白符blank最終通過動態(tài)規(guī)劃合并連續(xù)相同字符自動消歧。舉個例子時間步t?t?t?t?t?t?t?模型輸出AblankA8blank8blankCTC 合并后A—A8—8—最終字符串A8關(guān)鍵點(diǎn)模型輸出長度幀數(shù)可以遠(yuǎn)大于真實(shí)字符數(shù)如 7 幀輸出 2 字符解決不定長blank符號吸收了字符位置不確定性無需人工標(biāo)注每個字符坐標(biāo)訓(xùn)練時用前向-后向算法計算所有合法路徑概率和梯度可導(dǎo)。注意CTC 不是“黑匣子魔法”。它要求 CNN 提取的特征圖時間維度W必須 ≥ 字符數(shù)否則無法建模。我們的 ResNet-18 backbone 輸出特征圖尺寸為(C, H1, W32)意味著最多支持 32 字符——遠(yuǎn)超驗(yàn)證碼需求4~6但留足冗余防扭曲拉伸。2.3 為什么選 PyTorch 而非 TensorFlow/Keras調(diào)試友好性torch.autograd.grad可逐層檢查梯度爆炸/消失CTC loss 對梯度敏感Keras 的fit()隱藏太多中間態(tài)CTC 原生支持torch.nn.CTCLoss嚴(yán)格按論文實(shí)現(xiàn)支持zero_infinityTrue自動屏蔽 inf 梯度訓(xùn)練初期常見部署輕量TorchScript 導(dǎo)出.pt模型比 SavedModel 小 40%且torch.jit.trace后可直接用 C 加載避免 Python 環(huán)境依賴。我們不用torchvision.models.resnet18(pretrainedTrue)微調(diào)而是從零構(gòu)建輕量 CNN3 層卷積 BatchNorm ReLU MaxPool原因預(yù)訓(xùn)練權(quán)重在 ImageNet 上學(xué)的是貓狗紋理而驗(yàn)證碼是高對比度、低分辨率通常 120×40、強(qiáng)邊緣的符號圖像遷移收益小反而增加過擬合風(fēng)險。3. 數(shù)據(jù)不是“網(wǎng)上爬 1w 張就叫數(shù)據(jù)集”而是帶噪聲注入與分布對齊的閉環(huán)生成3.1 真實(shí)數(shù)據(jù)采集用 Selenium 抓取 人工校驗(yàn)的最小可行集我們沒用公開數(shù)據(jù)集如 CAPTCHA Archive因?yàn)槠渥煮w、干擾、長度分布與目標(biāo)系統(tǒng)嚴(yán)重不符。實(shí)際步驟寫 Selenium 腳本循環(huán)訪問目標(biāo)登錄頁觸發(fā)驗(yàn)證碼刷新接口截圖保存原始 PNG保留 alpha 通道部分驗(yàn)證碼有半透明文字人工標(biāo)注 500 張耗時 3.5 小時建立 baseline 標(biāo)注集用這 500 張做種子啟動合成增強(qiáng) pipeline。# data_collection/selenium_captcha.py from selenium import webdriver from selenium.webdriver.common.by import By import time, os driver webdriver.Chrome() driver.get(https://xxx.gov.cn/login) for i in range(1000): # 點(diǎn)擊刷新按鈕觸發(fā)新驗(yàn)證碼 driver.find_element(By.ID, captcha-refresh).click() time.sleep(0.8) # 等待加載 # 截圖并保存 driver.save_screenshot(fraw/{i:04d}.png) # 手動記錄當(dāng)前驗(yàn)證碼文本存入 labels.csv input(Enter captcha text: ) driver.quit()邏輯說明time.sleep(0.8)是關(guān)鍵——太短則圖片未加載太長則效率低。實(shí)測 0.8s 在 95% 請求下穩(wěn)定save_screenshot保證像素級保真比get_screenshot_as_png()更可靠。3.2 合成增強(qiáng)用 PIL 注入可控噪聲逼近真實(shí)分布真實(shí)驗(yàn)證碼的噪聲有規(guī)律字體層3 種主力字體微軟雅黑、Arial、DejaVu Sans字號 18~22px隨機(jī)加粗/傾斜±5°干擾層1~3 條斜線寬度 1px角度 30°/60°/120°5~10 個噪點(diǎn)半徑 1~2px變換層整體亮度 ±15%對比度 0.8~1.2輕微高斯模糊sigma0.3。# data_augmentation/synthetic_generator.py from PIL import Image, ImageDraw, ImageFont, ImageEnhance import numpy as np import random def generate_captcha(text, font_pathfonts/msyh.ttc): img Image.new(RGB, (120, 40), color(255, 255, 255)) draw ImageDraw.Draw(img) font ImageFont.truetype(font_path, random.randint(18, 22)) # 隨機(jī)偏移每個字符 x_offset 10 for char in text: angle random.uniform(-5, 5) char_img Image.new(RGBA, (30, 30), (0, 0, 0, 0)) char_draw ImageDraw.Draw(char_img) char_draw.text((0, 0), char, fontfont, fill(0, 0, 0)) char_img char_img.rotate(angle, expandTrue) img.paste(char_img, (x_offset, random.randint(5, 15)), char_img) x_offset random.randint(22, 28) # 字符間距 # 添加干擾線 for _ in range(random.randint(1, 3)): x1, y1 random.randint(0, 120), random.randint(0, 40) x2, y2 random.randint(0, 120), random.randint(0, 40) draw.line([(x1, y1), (x2, y2)], fill(180, 180, 180), width1) # 添加噪點(diǎn) for _ in range(random.randint(5, 10)): x, y random.randint(0, 119), random.randint(0, 39) draw.point((x, y), fill(0, 0, 0)) # 調(diào)整亮度/對比度 enhancer ImageEnhance.Brightness(img) img enhancer.enhance(random.uniform(0.85, 1.15)) enhancer ImageEnhance.Contrast(img) img enhancer.enhance(random.uniform(0.8, 1.2)) return img.convert(L) # 轉(zhuǎn)灰度 # 生成 10000 張合成圖 for i in range(10000): text .join(random.choices(0123456789ABCDEFGHJKLMNPQRSTUVWXYZ, krandom.randint(4,6))) img generate_captcha(text) img.save(fsynthetic/{i:05d}.png) with open(synthetic/labels.txt, a) as f: f.write(f{i:05d}.png {text}\n)參數(shù)說明random.randint(4,6)控制長度分布x_offset random.randint(22, 28)模擬真實(shí)字符間距抖動draw.point噪點(diǎn)比np.random.rand生成更符合真實(shí)掃描噪點(diǎn)分布。3.3 數(shù)據(jù)清洗用 OpenCV 快速篩掉 3 類廢圖合成數(shù)據(jù)仍有 12% 廢片文字重疊、超出邊界、模糊到無法辨認(rèn)。我們用 OpenCV 做三步過濾邊緣強(qiáng)度檢測cv2.Laplacian(img, cv2.CV_64F).var() 50 → 模糊圖文字區(qū)域占比cv2.threshold二值化后前景像素 / 總像素 0.08 → 文字過小或缺失連通域數(shù)量cv2.connectedComponents返回組件數(shù) 15 → 干擾線/噪點(diǎn)過多。# data_cleaning/filter_bad_images.py import cv2 import os def is_valid_captcha(img_path): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) if img is None: return False # 1. 模糊檢測 laplacian_var cv2.Laplacian(img, cv2.CV_64F).var() if laplacian_var 50: return False # 2. 文字占比 _, binary cv2.threshold(img, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) foreground_ratio cv2.countNonZero(binary) / (img.shape[0] * img.shape[1]) if foreground_ratio 0.08 or foreground_ratio 0.35: return False # 上限防全黑 # 3. 連通域數(shù)量 num_labels, _ cv2.connectedComponents(binary) if num_labels 15: return False return True # 批量過濾 valid_files [] for f in os.listdir(synthetic/): if f.endswith(.png) and is_valid_captcha(fsynthetic/{f}): valid_files.append(f) print(fValid images: {len(valid_files)} / 10000)邏輯說明cv2.THRESH_OTSU自動找閾值比固定127更魯棒foreground_ratio 0.35防止全黑圖合成時字體顏色設(shè)為 (0,0,0) 但背景非純白導(dǎo)致num_labels 15是經(jīng)驗(yàn)值人工驗(yàn)證 15 是粘連字符開始失控的臨界點(diǎn)。4. 模型訓(xùn)練ResNet-18 CTC Loss 的 PyTorch 實(shí)現(xiàn)與關(guān)鍵參數(shù)調(diào)優(yōu)4.1 模型架構(gòu)CNN 提取特征FC 層映射到字符空間網(wǎng)絡(luò)結(jié)構(gòu)嚴(yán)格遵循 CTC 輸入要求輸入(B, 1, 40, 120)batch, channel, height, widthCNN 輸出(B, C, 1, W)其中W是時間步數(shù)即字符序列長度FC 層將C維特征映射到num_classes字符集大小 1 個 blank# model/crnn.py import torch import torch.nn as nn class CRNN(nn.Module): def __init__(self, num_classes, hidden_size256, num_layers2): super().__init__() # CNN backbone: 3 conv blocks - (B, 512, 1, 32) self.cnn nn.Sequential( nn.Conv2d(1, 64, 3, padding1), # 40x120 - 40x120 nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2), # 40x120 - 20x60 nn.Conv2d(64, 128, 3, padding1), # 20x60 - 20x60 nn.BatchNorm2d(128), nn.ReLU(), nn.MaxPool2d(2), # 20x60 - 10x30 nn.Conv2d(128, 256, 3, padding1), # 10x30 - 10x30 nn.BatchNorm2d(256), nn.ReLU(), nn.MaxPool2d((2, 1)), # 10x30 - 5x30 nn.Conv2d(256, 512, 3, padding1), # 5x30 - 5x30 nn.BatchNorm2d(512), nn.ReLU(), nn.MaxPool2d((2, 1)), # 5x30 - 2x30 - 1x32 (after pad) ) # Adaptive pooling to force height1, width32 self.adaptive_pool nn.AdaptiveAvgPool2d((1, 32)) # FC layer: (B, 512, 1, 32) - (B, 32, num_classes) self.fc nn.Linear(512, num_classes) def forward(self, x): # x: (B, 1, 40, 120) x self.cnn(x) # (B, 512, 1, 32) after adaptive_pool x self.adaptive_pool(x) # (B, 512, 1, 32) x x.permute(0, 3, 1, 2).squeeze(3) # (B, 32, 512) x self.fc(x) # (B, 32, num_classes) return x # logits for CTC # 字符集定義含 blank CHARSET 0123456789ABCDEFGHJKLMNPQRSTUVWXYZ NUM_CLASSES len(CHARSET) 1 # 1 for blank model CRNN(num_classesNUM_CLASSES)邏輯說明AdaptiveAvgPool2d((1, 32))強(qiáng)制輸出寬為 32確保時間步數(shù)固定permute(0,3,1,2).squeeze(3)將(B,512,1,32)轉(zhuǎn)為(B,32,512)符合 CTC 輸入格式T,B,Cnn.Linear(512, num_classes)是最簡映射比 LSTM 更穩(wěn)定驗(yàn)證碼序列短無需長程依賴。4.2 CTC Loss 訓(xùn)練損失函數(shù)、標(biāo)簽編碼與 DataLoader 構(gòu)建CTC 要求標(biāo)簽是整數(shù)序列不含 blank且需提供input_lengths和target_lengths。我們用torch.nn.CTCLoss關(guān)鍵參數(shù)zero_infinityTrue自動將 inf 梯度置 0防止訓(xùn)練初期 NaNreductionmean默認(rèn)對 batch 內(nèi)樣本平均blank0blank 符號索引設(shè)為 0字符集首位置。# train.py import torch from torch.utils.data import Dataset, DataLoader from torch.nn import CTCLoss class CaptchaDataset(Dataset): def __init__(self, img_dir, label_file, charset, transformNone): self.img_dir img_dir self.labels {} with open(label_file) as f: for line in f: fname, text line.strip().split() self.labels[fname] text self.filenames list(self.labels.keys()) self.charset charset self.transform transform def __getitem__(self, idx): fname self.filenames[idx] img Image.open(f{self.img_dir}/{fname}).convert(L) if self.transform: img self.transform(img) # 標(biāo)簽編碼text - [int] target [self.charset.index(c) 1 for c in self.labels[fname]] # 1 because blank0 target torch.tensor(target, dtypetorch.long) return img, target def __len__(self): return len(self.filenames) # DataLoader with collate_fn for variable-length targets def collate_fn(batch): imgs, targets zip(*batch) imgs torch.stack(imgs) # (B, 1, 40, 120) # Pad targets to max length max_len max(len(t) for t in targets) targets_padded [] target_lengths [] for t in targets: padded torch.cat([t, torch.zeros(max_len - len(t), dtypetorch.long)]) targets_padded.append(padded) target_lengths.append(len(t)) targets torch.stack(targets_padded) # (B, max_len) target_lengths torch.tensor(target_lengths, dtypetorch.long) # Input lengths: fixed 32 (CNN output width) input_lengths torch.full((len(batch),), 32, dtypetorch.long) return imgs, targets, input_lengths, target_lengths # Training loop snippet criterion CTCLoss(blank0, zero_infinityTrue) optimizer torch.optim.Adam(model.parameters(), lr0.001) for epoch in range(100): for imgs, targets, input_lengths, target_lengths in train_loader: logits model(imgs) # (B, 32, num_classes) # CTC expects (T, B, C) - permute logits logits.permute(1, 0, 2) # (32, B, num_classes) loss criterion(logits, targets, input_lengths, target_lengths) loss.backward() optimizer.step() optimizer.zero_grad()參數(shù)說明blank0與字符集編碼1對應(yīng)charset[0]是0但 blank 占索引 0input_lengthstorch.full(...,32)因 CNN 固定輸出寬 32collate_fn中targets_padded用 0 填充但 CTC 會忽略 0因blank0所以實(shí)際標(biāo)簽從索引 1 開始。4.3 關(guān)鍵訓(xùn)練技巧學(xué)習(xí)率衰減、早停與驗(yàn)證集構(gòu)造學(xué)習(xí)率調(diào)度用torch.optim.lr_scheduler.ReduceLROnPlateau當(dāng)驗(yàn)證 loss 5 個 epoch 不降lr ×0.5早停機(jī)制驗(yàn)證 loss 連續(xù) 10 個 epoch 不降強(qiáng)制終止驗(yàn)證集構(gòu)造從真實(shí)采集的 500 張中留 100 張作驗(yàn)證集不參與增強(qiáng)其余 400 張用于合成種子——確保驗(yàn)證集分布與線上一致。# train.py (continued) from torch.optim.lr_scheduler import ReduceLROnPlateau scheduler ReduceLROnPlateau(optimizer, modemin, factor0.5, patience5, verboseTrue) best_val_loss float(inf) patience_counter 0 for epoch in range(100): # Train... train_loss train_epoch(...) # Validate val_loss validate_epoch(...) scheduler.step(val_loss) # adjust lr if val_loss best_val_loss: best_val_loss val_loss torch.save(model.state_dict(), best_model.pth) patience_counter 0 else: patience_counter 1 if patience_counter 10: print(fEarly stopping at epoch {epoch}) break邏輯說明ReduceLROnPlateau比 StepLR 更適應(yīng) CTC loss 波動大初期下降快后期震蕩的特點(diǎn)patience10防止過早停止因 CTC 驗(yàn)證 loss 常有 2~3 epoch 平臺期。5. 避坑CTC 訓(xùn)練中 5 個讓你凌晨三點(diǎn)還在 debug 的真實(shí)翻車現(xiàn)場5.1 現(xiàn)象訓(xùn)練 loss 從 100 直接跳到 nan且梯度檢查發(fā)現(xiàn)grad.norm()inf原因CTC loss 在 logits 極大或極小時產(chǎn)生數(shù)值溢出尤其當(dāng)模型初始權(quán)重偏差大某類輸出概率接近 1其他類接近 0log-sum-exp 計算崩潰。解決啟用zero_infinityTrue已寫在代碼中額外加固在forward末尾加logits torch.clamp(logits, -100, 100)限制 logits 范圍實(shí)測 -100~100 足夠覆蓋 softmax 穩(wěn)定區(qū)間。5.2 現(xiàn)象驗(yàn)證集準(zhǔn)確率卡在 10%模型永遠(yuǎn)輸出AAAA或1111原因字符集編碼錯誤。例如charset 012...Z但標(biāo)簽編碼時用了charset.index(c)而blank0占據(jù)索引 0導(dǎo)致0被編碼為 0即 blank所有數(shù)字都被當(dāng)空格吞掉。解決嚴(yán)格按blank0, digits1..10, letters11..36編碼。在__getitem__中打印target[:5]和self.charset[target[0]-1]交叉驗(yàn)證。5.3 現(xiàn)象推理時torch.nn.functional.ctc_decode返回空字符串或長度為 0原因ctc_decode默認(rèn)blank0但你的模型輸出 logits 維度是num_classes而ctc_decode需要logits形狀為(T,B,C)且C必須包含 blank。若你忘了permute(1,0,2)傳入(B,T,C)會被當(dāng)(T,B,C)解析導(dǎo)致維度錯亂。解決推理時務(wù)必logits model(img).permute(1,0,2)用torch.nn.CTCLoss的log_softmax替代手動F.log_softmax后者易維度錯。5.4 現(xiàn)象Docker 部署后 CPU 推理速度比本地慢 3 倍top顯示 Python 進(jìn)程占滿 8 核原因PyTorch 默認(rèn)使用所有可用線程Docker 容器未限制 CPU 數(shù)量導(dǎo)致線程競爭。解決在推理腳本開頭加torch.set_num_threads(1)并在 Dockerfile 中指定--cpus1.0或改用torch.jit.trace導(dǎo)出模型其默認(rèn)單線程。5.5 現(xiàn)象合成數(shù)據(jù)訓(xùn)練的模型在線上 0 準(zhǔn)確率但驗(yàn)證集 92%原因合成數(shù)據(jù)與線上分布鴻溝。我們發(fā)現(xiàn)線上驗(yàn)證碼有 2% 概率出現(xiàn)I和1同時存在字體混淆而合成時只用一種字體模型從未見過這種組合。解決在合成腳本中加入if random.random() 0.02: text text.replace(1, I, 1)主動注入混淆更重要的是上線前用線上流量采樣 500 張人工標(biāo)注后加入訓(xùn)練集微調(diào)finetune準(zhǔn)確率從 0% 拉回 89%。注意第 5.5 條是血淚經(jīng)驗(yàn)——不要迷信“大數(shù)據(jù)量”分布對齊比數(shù)據(jù)量重要 10 倍。我們曾用 5w 合成圖訓(xùn)練但線上效果不如 500 張真實(shí)圖微調(diào)。6. 部署與驗(yàn)證從 .pt 模型到 Web API 的 3 種落地姿勢及精度驗(yàn)證方法6.1 TorchScript 導(dǎo)出去掉 Python 依賴C 直接加載PyTorch 模型部署最穩(wěn)路徑是 TorchScript它序列化計算圖脫離 Python 解釋器。關(guān)鍵點(diǎn)torch.jit.script_method修飾forward且所有操作必須是 TorchScript 支持的禁用PIL.Image、numpy。# model/export.py import torch from model.crnn import CRNN model CRNN(num_classes37) # 36 chars blank model.load_state_dict(torch.load(best_model.pth)) model.eval() # 構(gòu)造 dummy input: (1, 1, 40, 120) dummy_input torch.randn(1, 1, 40, 120) # 導(dǎo)出為 TorchScript traced_model torch.jit.trace(model, dummy_input) traced_model.save(crnn_traced.pt) # 驗(yàn)證導(dǎo)出正確性 loaded torch.jit.load(crnn_traced.pt) output loaded(dummy_input) # (1, 32, 37) print(Export success:, output.shape)邏輯說明torch.jit.trace比script更簡單適用于無控制流的模型dummy_input必須與實(shí)際輸入 shape 一致導(dǎo)出后loaded是torch.jit.ScriptModule可直接forward()無需model.eval()。6.2 FastAPI Web API輕量、異步、自帶文檔用 FastAPI 封裝推理支持并發(fā)請求。核心是torch.no_grad()model(input)并用Base64編碼圖片傳輸。# api/main.py from fastapi import FastAPI, UploadFile, File from pydantic import BaseModel import torch import base64 import numpy as np from PIL import Image import io app FastAPI() model torch.jit.load(crnn_traced.pt) model.eval() CHARSET 0123456789ABCDEFGHJKLMNPQRSTUVWXYZ app.post(/predict) async def predict(file: UploadFile File(...)): contents await file.read() img Image.open(io.BytesIO(contents)).convert(L) # Resize to 120x40 img img.resize((120, 40), Image.Resampling.LANCZOS) img_tensor torch.tensor(np.array(img), dtypetorch.float32).unsqueeze(0).unsqueeze(0) / 255.0 with torch.no_grad(): logits model(img_tensor) # (1, 32, 37) # CTC decode probs torch.nn.functional.log_softmax(logits, dim2) decoded torch.nn.functional.ctc_decode( probs.permute(1,0,2), input_lengthstorch.tensor([32]), blank0, zero_infinityTrue ) pred_text .join([CHARSET[i-1] for i in decoded[0][0].tolist() if i 0]) return {prediction: pred_text} # 啟動uvicorn api.main:app --reload參數(shù)說明Image.Resampling.LANCZOS比BILINEAR銳利保留字符邊緣/255.0歸一化必須做因訓(xùn)練時用transforms.Normalizectc_decode返回元組(list of tensors, list of scores)取decoded[0][0]即預(yù)測序列。6.3 精度驗(yàn)證不只看 accuracy要拆解 error type線上效果不能只報一個92.7%要定位瓶頸。我們用混淆矩陣 error 分類Error TypeExampleCauseFixSubstitutionA8→A08和0在扭曲時相似增加0/8字體變體合成InsertionA8→AA8模型多輸出一個A檢查 CTC blank 概率降低blank學(xué)習(xí)率DeletionA8→A模型跳過8增加8在合成數(shù)據(jù)中的出現(xiàn)頻率TranspositionA8→8A字符順序錯檢查 CNN 特征圖時間維度是否被池化破壞已用AdaptiveAvgPool2d修復(fù)# eval/analyze_errors.py from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt # 獲取所有預(yù)測和真實(shí)標(biāo)簽 preds, truths [], [] for img, target in test_loader: pred model.predict(img) # your predict func preds.extend(pred) truths.extend([CHARSET[t-1] for t in target]) # decode target # 生成混淆矩陣只統(tǒng)計單字符錯誤 char_errors [] for p, t in zip(preds, truths): if len(p) ! len(t): continue # skip length errors for pi, ti in zip(p, t): if pi ! ti: char_errors.append((ti, pi)) # 繪制 top-10 error pairs error_df pd.DataFrame(char_errors, columns[True, Pred]) conf_mat pd.crosstab(error_df[True], error_df[Pred]) sns.heatmap(conf_mat, annotTrue, fmtd) plt.savefig(confusion_matrix.png)邏輯說明pd.crosstab比sklearn.confusion_matrix更直觀顯示字符級錯誤if len(p) ! len(t)過濾長度錯誤聚焦 substitutionchar_errors列表便于人工分析高頻錯誤對。從那以后我每次上線新模型都強(qiáng)制走一遍這三步用torch.jit.trace導(dǎo)出并驗(yàn)證dummy_input輸出 shape在 FastAPI 里加logging.info(fInput shape: {img_tensor.shape})確認(rèn)預(yù)處理無誤抓取線上 100 張失敗樣本人工歸類 error type針對性補(bǔ)數(shù)據(jù)。這套流程讓我在三個不同驗(yàn)證碼項(xiàng)目里首次部署準(zhǔn)確率都超過 85%沒有一次需要推倒重來。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取