簡介基于OpenCV的車牌識別完整C工程面向計算機視覺入門與進階開發(fā)者解決車牌定位、校正與字符識別的落地實現(xiàn)問題。壓縮包共30個文件包含7個cpp源碼、3個h頭文件、2個xml模型文件SVM與OCR分類器、12張jpg測試車牌圖及若干shell腳本覆蓋圖像預處理、車牌檢測、透視校正到字符識別的全流程另有txt說明與構(gòu)建腳本輔助環(huán)境配置。已有566人學習適合交通監(jiān)控、停車場管理等場景快速搭建原型或研究算法細節(jié)。通過閱讀源碼可理解Canny邊緣檢測、霍夫變換、仿射/透視變換及SVM字符分類的實際用法配套測試圖片與批處理腳本可直接運行驗證模塊劃分清晰便于二次開發(fā)。包體僅5.54MB輕量易部署是OpenCV車牌識別實戰(zhàn)與教學的良好參考。1. 為什么說車牌識別最大的坑是“找車牌”先看 lpr.rar 里到底有什么做 OpenCV 車牌識別的人十個里有八個是倒在定位這一步的。字符識別不出來至少能看見程序在跑車牌根本沒找到那后面 OCR、SVM 全是空中樓閣。lpr.rar 這套 C 工程把整條鏈路拆成了 DetectRegions定位校正、SVM 驗證、OCR 字符識別三個獨立模塊配好了訓練好的 SVM.xml、OCR.xml 和十幾張不同角度光線的實拍圖適合正在做課設、畢設或者想把傳統(tǒng) CV 車牌識別從 demo 推到真實圖片上的人。它不依賴深度學習框架OpenCV 就能跑定位、校正、分類每一步都有源碼可以單步調(diào)。如果你也想搞明白“車牌識別到底難在哪”這套代碼能給你一個完整的答案。2. 先把 CMake 構(gòu)建跑通OpenCV 版本、編譯參數(shù)與 demo 首跑2.1 包內(nèi)文件拆解main.cpp、DetectRegions、OCR 各管哪一段拿到 lpr.rar先別急著編譯把文件角色弄清楚。這套工程的結(jié)構(gòu)很典型入口是 main.cpp核心算法分布在 DetectRegions.cpp 和 OCR.cpp 里trainSVM.cpp 和 trainOCR.cpp 負責訓練兩個模型eval.cpp、evalOCR.cpp 配合 eval.sh 做批量驗證。下面這張表對應實際文件職責。文件職責main.cppdemo 入口讀圖、調(diào)用 DetectRegions 得到候選車牌區(qū)域再交給 OCR 輸出字符串DetectRegions.h / .cpp車牌定位、傾斜校正、SVM 驗證候選區(qū)域輸出裁剪好的車牌圖Plate.h / .cpp車牌數(shù)據(jù)結(jié)構(gòu)保存旋轉(zhuǎn)矩形、車牌圖、字符塊等中間結(jié)果trainSVM.cpp訓練“是不是車牌”的二分類 SVM產(chǎn)出 SVM.xmlOCR.h / .cpp字符分割、特征提取、加載 OCR.xml 做字符分類拼出車牌字符串trainOCR.cpp訓練字符分類器產(chǎn)出 OCR.xmleval.cpp / evalOCR.cpp批量跑測試圖、單獨評估字符分類器配合 eval.sh 統(tǒng)計正確率CMakeLists.txt構(gòu)建腳本*.JPG / *.jpg測試樣本覆蓋不同光照和拍攝角度這套分層的價值在于定位和識別是解耦的。你要是覺得定位不準只改 DetectRegions覺得字符分錯只動 OCR。兩個模塊之間用 Plate 結(jié)構(gòu)體傳遞數(shù)據(jù)不用互相改接口對初學者非常友好也方便你逐步替換成自己的算法。2.2 編譯與首跑OpenCV 版本匹配和 cmake 參數(shù)編譯前先確認 OpenCV 裝好了。Ubuntu 下一般裝的是 libopencv-dev 這個開發(fā)包版本 3.x 或 4.x 都行但下面有個坑要先說OpenCV 4 里find_package(OpenCV)的 CMake 配置和 3 是兼容的如果系統(tǒng)里恰好裝了多個版本cmake會優(yōu)先找最新版這通常是好事但也有可能把 3 和 4 的庫混著鏈接導致運行時報符號錯誤。我的習慣是編譯前先跑一句pkg-config --modversion opencv4或opencv看清楚默認版本。mkdir build cd build cmake .. -DCMAKE_BUILD_TYPERelease make -j$(nproc)CMake 配置會通過find_package(OpenCV REQUIRED)找到 OpenCV然后target_link_libraries(lpr ${OpenCV_LIBS})。-DCMAKE_BUILD_TYPERelease建議加上Debug 模式下 OpenCV 的斷言很多識別速度會被拖慢不少。編譯通過后隨便挑一張測試圖跑./lpr ../3266CNT.JPGmain.cpp 的邏輯一般是這樣讀圖 →DetectRegions返回候選車牌 → 對每個候選調(diào)用 OCR 識別 → 把結(jié)果打印到終端。輸出里能看到識別出的車牌字符串比如3266CNT。如果屏幕上有畫框結(jié)果可能是用了imshow或把結(jié)果寫到了磁盤。提示測試圖片最好先放到純英文路徑下再跑。OpenCV 的imread在 Windows 上對中文路徑支持很差Linux 下也偶爾翻車這是第一個最容易踩的坑。3. 車牌定位、校正與 SVM 驗證從 Sobel 邊緣到可信區(qū)域的完整鏈路3.1 定位主鏈路Sobel、形態(tài)學閉運算和輪廓篩選先回答一個很多人問過的問題為什么不用顏色過濾直接找藍色區(qū)域藍底車牌在光線好的時候 HSV 閾值確實好用但傍晚、路燈、白平衡偏移一過來藍色直接漂成灰藍甚至紫色閾值怎么調(diào)都壓不住。所以成熟的做法是用邊緣信息做初篩顏色只做輔助。DetectRegions.cpp 的主鏈路就是 Sobel 邊緣 形態(tài)學閉運算 連通域篩選。cv::Mat gray, edges; cv::cvtColor(img, gray, cv::COLOR_BGR2GRAY); // 只做 x 方向 Sobel車牌字符的垂直邊緣非常密集 cv::Sobel(gray, edges, CV_16S, 1, 0, 3); cv::convertScaleAbs(edges, edges); // OTSU 自適應閾值避免固定閾值在不同光照下失效 cv::threshold(edges, edges, 0, 255, cv::THRESH_OTSU); // 閉運算把離散的字符邊緣連成一個整體塊 cv::morphologyEx(edges, edges, cv::MORPH_CLOSE, cv::getStructuringElement(cv::MORPH_RECT, cv::Size(17, 3)));這段代碼是整套定位的骨架。CV_16S輸出是為了保留 Sobel 的負梯度如果直接用 8U 接結(jié)果負值會被截斷成 0邊緣信息少一半這是新手最容易犯的錯。閉運算的核尺寸 17×3 是經(jīng)驗值橫向拉長把字符邊緣連起來縱向保持窄避免把上下兩塊無關區(qū)域粘連。光照條件差的時候可以把核加寬到 21×3但別超過 25否則兩個相鄰車牌會粘成一團。拿到二值圖后下一步是找輪廓并篩選候選區(qū)域std::vectorstd::vectorcv::Point contours; cv::findContours(edges, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE); for (auto c : contours) { double area cv::contourArea(c); // 面積過濾太小的噪點不要太大的車身塊不要 if (area img.rows * img.cols * 0.005) continue; if (area img.rows * img.cols * 0.2) continue; cv::RotatedRect r cv::minAreaRect(c); float ratio r.size.width / r.size.height; if (ratio 2.0 || ratio 6.0) continue; // 到這里算一個候選后面再做精驗證 }面積閾值按全圖比例算而不是絕對像素這樣換分辨率不用改參數(shù)。寬高比 2.0~6.0 覆蓋了標準車牌 440×140約 3.14以及一定程度的傾斜變形。但注意傾斜超過 25 度時 minAreaRect 的寬高比會失真這種情況下建議把 ratio 下限放寬到 1.8寧多勿漏把判斷壓力交給后面的 SVM。3.2 傾斜校正MinAreaRect 與透視變換候選框是旋轉(zhuǎn)矩形直接裁剪出來是斜的字符識別在這種圖上基本報廢。校正的思路是用 minAreaRect 拿到旋轉(zhuǎn)角度先把圖轉(zhuǎn)正再用透視變換拉成標準尺寸。cv::RotatedRect r cv::minAreaRect(contour); float angle r.angle; cv::Size2f sz r.size; // OpenCV 的 angle 有時是負的寬高也可能反著這里統(tǒng)一一下 if (sz.width sz.height) { std::swap(sz.width, sz.height); angle 90.f; } // 按旋轉(zhuǎn)矩形的四個角點做透視變換到 440x140 cv::Point2f vertices[4]; r.points(vertices); std::vectorcv::Point2f src_pts { vertices[0], vertices[1], vertices[2], vertices[3] }; std::vectorcv::Point2f dst_pts { cv::Point2f(0, 0), cv::Point2f(440, 0), cv::Point2f(440, 140), cv::Point2f(0, 140) }; cv::Mat M cv::getPerspectiveTransform(src_pts, dst_pts); cv::Mat plate; cv::warpPerspective(img, plate, M, cv::Size(440, 140));這里有個非常隱蔽的坑RotatedRect::points()返回的四個點順序不是固定的左上、右上、右下、左下直接按順序映射到 dst_pts 會導致圖像左右翻轉(zhuǎn)或上下顛倒。我一般會先按 y 坐標排序分出上下兩組每組再按 x 排序確定左右最后重組成規(guī)范的四邊形角點。透視變換完成后車牌圖里通常還有邊框和鉚釘殘留建議接一步中值濾波cv::medianBlur(plate, plate, 3)能有效減少后面分割時的椒鹽噪聲。3.3 HOGSVM 驗證trainSVM.cpp 里那點特征工程定位找出來的候選框到了這一步還只能說“長得像車牌”。廣告牌、車燈、車身的反光區(qū)域都可能混進來。如果不做驗證OCR 會在垃圾輸入上硬跑輸出一堆亂碼。所以 DetectRegions 后面接了一個二分類 SVM正樣本是真實車牌圖負樣本是各種背景干擾塊。特征用的是 HOG因為 HOG 對局部形狀敏感恰好能抓住“字符密集排列”這個車牌核心特征。// 以 128x64 檢測窗口為例實際尺寸以 trainSVM.cpp 里為準 cv::HOGDescriptor hog(cv::Size(128, 64), cv::Size(16, 16), cv::Size(8, 8), cv::Size(8, 8), 9); cv::Mat sample_img cv::imread(positive.jpg, cv::IMREAD_GRAYSCALE); cv::resize(sample_img, sample_img, cv::Size(128, 64)); std::vectorfloat feats; hog.compute(sample_img, feats); cv::Mat sample(1, (int)feats.size(), CV_32F); memcpy(sample.data, feats.data(), feats.size() * sizeof(float));HOG 參數(shù)里最容易影響結(jié)果的是 cell 大小和 block 大小。8×8 的 cell 對字符這種小目標足夠細block 用 16×16 能保留局部對比度信息。特征向量維度可以自己打印出來看不同窗口尺寸算出來不一樣不用背但要保證訓練和預測時用的 HOG 參數(shù)完全一致差一個 cell 尺寸特征維度就對不上SVM 直接拒絕預測。訓練部分沒什么玄學線性核和 RBF 都行小樣本下線性核更穩(wěn)cv::Ptrcv::ml::SVM svm cv::ml::SVM::create(); svm-setType(cv::ml::SVM::C_SVC); svm-setKernel(cv::ml::SVM::RBF); svm-setC(10.0); svm-setGamma(0.01); cv::Ptrcv::ml::TrainData td cv::ml::TrainData::create( training_data, cv::ml::ROW_SAMPLE, training_labels); svm-train(td); svm-save(SVM.xml);C 參數(shù)控制誤分類懲罰太小欠擬合負樣本會大量漏進來太大會把邊界撐得過擬合稍微換個角度就誤殺。10 是我常用的起點。訓練樣本里正樣本最好包含傾斜校正后的、不同光照的真實車牌負樣本不要只從純背景里裁多截一些“邊緣密集但又不是車牌”的區(qū)域比如柵欄、樹葉陰影SVM 才會真正學會“見多識廣”。到了預測階段對每個候選框做同樣的 resize 和 HOG 提取然后svm-predict(feats, true)。OpenCV 的 SVM predict 第二個參數(shù)傳 true 會返回決策值不是簡單的 0/1 分類結(jié)果我一般會把決策值絕對值很小的候選也過濾掉因為那說明 SVM 自己也拿不準。4. 字符分割與 OCR 識別投影切分、特征提取與 XML 模型配合4.1 垂直投影分割與字符歸一化拿到校正后的車牌圖下一步是把 7 個字符一個一個切出來。最經(jīng)典也最穩(wěn)定的方法是垂直投影統(tǒng)計每一列上白色像素的數(shù)量字符區(qū)域列和會明顯高于背景字符之間的空隙列和接近 0按這個波峰波谷就能切分。cv::Mat gray, binary; cv::cvtColor(plate, gray, cv::COLOR_BGR2GRAY); cv::medianBlur(gray, gray, 3); // 自適應閾值注意用 THRESH_BINARY_INV讓字符變白、背景變黑 cv::adaptiveThreshold(gray, binary, 255, cv::ADAPTIVE_THRESH_MEAN_C, cv::THRESH_BINARY_INV, 31, 15); // 按列統(tǒng)計白像素比例 cv::Mat colSum; cv::reduce(binary, colSum, 0, cv::REDUCE_AVG); // 遍歷 colSum把連續(xù)大于 0 的區(qū)間記錄為字符候選 std::vectorstd::pairint, int segments; bool in_char false; int start 0; for (int i 0; i colSum.cols; i) { float v colSum.atfloat(0, i); if (v 0.01 !in_char) { in_char true; start i; } else if (v 0.01 in_char) { in_char false; segments.push_back({start, i}); } }REDUCE_AVG返回的是每列均值數(shù)值在 0 到 255 之間所以閾值用 0.01 判斷“這一列有沒有字符”就夠了。自適應閾值窗口 31 和偏移 15 是經(jīng)驗值窗口太大會把陰影也二值化成背景太小字符內(nèi)部會出現(xiàn)大量空洞。黃牌和綠牌的二值化結(jié)果和藍牌差異很大如果跑出來的候選區(qū)間特別多先檢查是不是把車牌底色當成了前景。切出來的候選區(qū)間里有三個典型問題一是鉚釘和邊框殘留通常出現(xiàn)在最左和最右寬度很窄二是字符粘連兩個字符中間的白像素沒斷干凈被切成一個超寬區(qū)間三是「1」這種窄字符容易被誤過濾。我的處理方式是先把所有候選寬度做個統(tǒng)計按寬度中位數(shù)篩選明顯小于中位數(shù)一半的丟掉明顯大于中位數(shù) 1.5 倍的在區(qū)間內(nèi)再做一次 findContours 找內(nèi)部輪廓切分。最后統(tǒng)一 resize 到同一尺寸比如歸一化到 32×16再送進字符分類器。4.2 字符分類trainOCR.cpp 與 OCR.xml 的配合字符分類這步和車牌驗證一樣用 SVM只是輸入從整張車牌變成了單個字符圖像。trainOCR.cpp 做的事情是讀入一批預先切好的字符圖提取特征訓練一個多分類 SVM把模型存成 OCR.xml。OCR.cpp 在運行時加載這個 XML對每個字符塊提取同樣的特征predict 得到類別最后映射成字符。特征這塊包里的常見做法是網(wǎng)格密度特征。把字符圖 resize 到固定大小切成 4×4 的格子統(tǒng)計每個格子里的白像素比例得到一個 16 維向量。這個特征雖然簡單但對印刷體字符很有效而且計算開銷比 HOG 小得多。cv::Mat ch cv::imread(char.png, cv::IMREAD_GRAYSCALE); cv::resize(ch, ch, cv::Size(32, 16)); std::vectorfloat feats; for (int gy 0; gy 4; gy) { for (int gx 0; gx 4; gx) { cv::Mat cell ch(cv::Rect(gx * 8, gy * 4, 8, 4)); feats.push_back(cv::countNonZero(cell) / 32.0f); } }32×16 的字符圖配 8×4 的格子每個格子 32 個像素除以 32 歸一化到 0~1。訓練字符分類器時標簽是字符本身注意字符表里通常去掉 I、O 這種容易和 1、0 混淆的字母或者干脆在數(shù)據(jù)里同時包含它們讓模型自己學。如果發(fā)現(xiàn)數(shù)字和字母互相誤判多半是訓練樣本不夠或者字符沒有對齊。運行時的推斷鏈路在 OCR.cpp 里核心就兩行cv::Ptrcv::ml::SVM ocr_svm cv::ml::SVM::load(OCR.xml); float label ocr_svm-predict(feature_vector);predict 返回的 label 是訓練時的類別索引需要映射回字符。不要直接把返回的 float 強轉(zhuǎn)成 char 輸出除非訓練標簽用的就是 ASCII 碼。evalOCR.cpp 的意義在于單獨評估“分割后的字符”的識別準確率它不經(jīng)過定位環(huán)節(jié)這樣你能把“分割失敗”和“分類失敗”兩個問題分開排查而不是混在一起瞎猜。5. 避坑與排查跑不起來先查這五處5.1 SVM.xml 加載失敗OpenCV 版本序列化不兼容現(xiàn)象編譯沒問題一跑到加載模型就彈出assertion failed或者 svm 指針是空的再往下調(diào)用 predict 直接段錯誤。原因OpenCV 3 和 4 的 XML 序列化格式不完全兼容另外模型文件路徑寫錯、路徑里有中文、當前工作目錄不對都會讓 load 靜默失敗。trainSVM.cpp 生成的模型和運行時用的 OpenCV 版本不一致也是高頻翻車點。解決加載后立刻做一次判空檢查不要裸調(diào) predict。cv::Ptrcv::ml::SVM svm cv::ml::SVM::load(SVM.xml); if (svm.empty()) { std::cerr SVM.xml load failed, check path and OpenCV version std::endl; return -1; }如果確認路徑?jīng)]問題還加載失敗就用當前環(huán)境的 OpenCV 重新編譯并運行 trainSVM.cpp用自己的模型替換包里的 XML。別在原模型上耗時間重新訓練十幾分鐘就完了。5.2 findContours 找不到字符輪廓層級和二值化極性問題現(xiàn)象分割階段一張車牌只出來一個巨大的輪廓或者字符輪廓完全找不到投影圖上一片白。原因RETR_EXTERNAL只提取最外層輪廓。藍底白字車牌里字符是內(nèi)部亮區(qū)找外層輪廓只能得到車牌邊框字符全丟。另一個常見原因是二值化極性反了字符是黑底白字背景被當成前景。解決定位環(huán)節(jié)用RETR_EXTERNAL沒問題但分割環(huán)節(jié)要用RETR_CCOMP并遍歷層級或者直接把二值圖取反再找。std::vectorstd::vectorcv::Point contours; std::vectorcv::Vec4i hierarchy; cv::findContours(binary, contours, hierarchy, cv::RETR_CCOMP, cv::CHAIN_APPROX_SIMPLE); // 遍歷時只取孔洞層hierarchy[i][2] 0 的內(nèi)輪廓也就是字符區(qū)域5.3 字符粘連投影切不開一個區(qū)間里有兩三個字符現(xiàn)象垂直投影圖上兩三個字符連成一段寬度明顯是正常字符的一倍半以上直接 crop 出來喂給 OCR識別結(jié)果變成亂碼。原因二值化閾值偏松字符間細小的噪聲把空隙填上了或者車牌本身有磨損字符邊界模糊。解決對超寬區(qū)間做二次切分。先統(tǒng)計所有候選寬度的中位數(shù)把寬度超過 1.5 倍中位數(shù)的段提取出來在子圖內(nèi)部重新二值化并做連通域分析找內(nèi)部的字符輪廓再單獨切。int median_w /* 所有 segment 寬度的中位數(shù) */; for (auto seg : segments) { int w seg.second - seg.first; if (w median_w * 1.5) { cv::Mat sub binary(cv::Rect(seg.first, 0, w, binary.rows)); // 在 sub 上重新 findContours按輪廓切分 } }這個辦法對付絕大多數(shù)粘連夠用。如果字符真的完全連在一起沒有縫隙那就只能退一步按車牌規(guī)范的 7 字符等寬布局做固定寬度切分但這是下策一遇傾斜就廢。5.4 藍底車牌在低照度下整體漏檢現(xiàn)象白天跑得好好的傍晚測試圖定位到區(qū)域明顯偏少甚至一張都找不到。原因只靠 HSV 顏色過濾找藍色區(qū)域光照一變藍色分量漂移閾值外的像素全被丟棄。這屬于選型問題。解決不管你后面用不用顏色輔助主定位鏈路務必走 Sobel 邊緣 形態(tài)學這條路。邊緣響應是灰度變化率對絕對光照不敏感。顏色信息可以留到候選驗證階段做加權(quán)評分而不是一開始就硬過濾。5.5 eval.sh 批量跑不出結(jié)果相對路徑和腳本調(diào)用方式現(xiàn)象在工程根目錄執(zhí)行./eval.sh報No such file or directory或者 result 文件是空的。原因腳本里的 for 循環(huán)用的是相對路徑而腳本從別的目錄被調(diào)用時相對路徑基于當前 shell 的工作目錄不是腳本所在目錄。還有可能是測試圖擴展名大小寫不匹配。解決先進到腳本所在目錄再執(zhí)行或者修改腳本開頭加一句cd $(dirname $0)讓腳本自己切到正確目錄。跑之前先ls *.JPG *.jpg確認擴展名。6. 用 eval.sh 和 evalOCR.cpp 做回歸驗證讓準確率可復現(xiàn)6.1 批量評估把十幾張圖一次跑完再統(tǒng)計單張圖調(diào)到好看不算本事整套代碼能不能在測試集上穩(wěn)定輸出才是關鍵。eval.sh 的常見做法是遍歷目錄下的測試圖跑一遍 lpr 可執(zhí)行文件把每張圖的識別結(jié)果追加到 result 文件里最后人工或腳本統(tǒng)計正確率。#!/bin/bash cd $(dirname $0) rm -f result.txt for f in *.JPG *.jpg; do echo $f result.txt ./lpr $f result.txt 21 done cat result.txt輸出里如果有大量空行或亂碼先確認中間環(huán)節(jié)有沒有把結(jié)果打印到 stdout。evalOCR.cpp 則是另一條評估線它跳過定位直接在已分割的字符圖上測分類器準確率。兩條線分開跑的好處是定位爛還是識別爛一眼就能分清。我一般先跑 evalOCR準確率低于 90% 就回去補訓練數(shù)據(jù)再跑 eval.sh這時候的錯誤基本都出在定位環(huán)節(jié)。6.2 調(diào)參順序一次只動一個變量調(diào)這套代碼最忌諱拿著單張圖一點一點湊參數(shù)。正確做法是先跑一遍 eval.sh 建立基線準確率然后每次只改一個參數(shù)比如把 Sobel 核從 17×3 改成 21×3跑一遍看整體變化有效就留無效就回滾。優(yōu)先動的參數(shù)順序是Sobel 核大小、形態(tài)學閉運算核、自適應閾值的窗口大小、SVM 的 C 和 gamma。等這三個環(huán)節(jié)穩(wěn)定了再去調(diào) OCR 特征和訓練樣本。這套工程我前后拆過兩遍第一遍就是栽在“定位沒做驗證”上候選框一多 OCR 就跑飛后來強制自己先跑 eval 再談優(yōu)化。從那以后我每次改完閾值的第一件事都是把 eval.sh 完整跑一遍盯著整體準確率的波動做事而不是和某一兩張圖較勁。希望幫到你。本文還有配套的精品資源點擊獲取