：答題卡識別系統(tǒng)的完整實現(xiàn))
簡介基于OpenCV的答題卡自動識別與評分系統(tǒng)設計與實現(xiàn)是一份面向計算機視覺初學者與初級工程師的課程設計報告聚焦教育場景中的電子閱卷需求系統(tǒng)講解從圖像預處理、輪廓檢測、透視變換到選項提取與評分比對的完整流程。壓縮包內(nèi)含1個docx文檔大小僅60KB內(nèi)容精煉但覆蓋核心實現(xiàn)步驟適合快速入門OpenCV圖像處理與實際項目開發(fā)。報告以50張不同光照和涂寫情況的答題卡作為測試樣本識別準確率達到96%并針對光照不足、涂寫不規(guī)范、背景復雜等典型問題給出了具體分析與可優(yōu)化方向。目前已有383人學習無論是作為課程設計參考還是作為圖像處理實戰(zhàn)入門案例都能幫助讀者理解傳統(tǒng)CV方法在自動閱卷任務中的應用與局限并啟發(fā)后續(xù)結(jié)合深度學習提升系統(tǒng)魯棒性的思路。1. 為什么要自己寫一套答題卡識別而不是直接買現(xiàn)成的先說個背景。每年各種考試季都能看到很多學校、機構(gòu)還在用最原始的方式——人工讀卡或者買那種幾千上萬一臺的專用閱卷機。專用設備確實穩(wěn)定但問題也很明顯貴、笨重、只認自家定制的答題卡排版改個題號排列方式就得重新買模塊。我接到這個需求的時候?qū)Ψ骄吞崃藘蓚€硬性條件第一不能增加硬件成本就用現(xiàn)有辦公電腦加普通掃描儀第二答題卡版式可能隨時要調(diào)程序不能跟著改。說白了就是要一套純軟件方案能適配多種版式的答題卡識別準確率還不能比專用設備差太多。OpenCV在這類場景里的優(yōu)勢其實被很多人低估了。它不只是一個圖像處理庫而是一整套計算機視覺的基礎(chǔ)設施。做答題卡識別本質(zhì)上就是把“人眼讀卡”這個過程拆解成幾個標準的視覺任務定位答題區(qū)域、判斷每個選項是否被填涂、按規(guī)則判分。這三件事OpenCV的基礎(chǔ)模塊完全能覆蓋而且不需要深度學習不需要GPU一臺普通電腦跑起來毫無壓力。整套系統(tǒng)我分成了五個核心模塊圖像預處理、答題卡定位與透視校正、選項區(qū)域分割、填涂狀態(tài)判定、判分與結(jié)果輸出。下面逐個拆開講會結(jié)合具體代碼和踩過的坑盡量做到你照著敲一遍就能跑通。2. 預處理環(huán)節(jié)的三個關(guān)鍵決策灰度、濾波、二值化的取舍2.1 為什么不能直接拿彩色圖做識別很多新手拿到一張答題卡掃描圖第一反應就是直接轉(zhuǎn)灰度然后找輪廓。這個思路大方向沒錯但有個容易被忽略的坑掃描儀的成像質(zhì)量參差不齊有的會帶明顯的彩色噪點有的背景發(fā)灰如果直接做二值化很容易把答題卡背景里的淺色底紋當成有效內(nèi)容后續(xù)輪廓提取會多出一大堆干擾項。我實際測試下來比較穩(wěn)妥的預處理流程是先轉(zhuǎn)灰度再做高斯模糊最后用大津法Otsu做自適應二值化。這套組合的通用性最好。cv::Mat gray, blurred, binary; cv::cvtColor(src, gray, cv::COLOR_BGR2GRAY); cv::GaussianBlur(gray, blurred, cv::Size(5, 5), 0); cv::threshold(blurred, binary, 0, 255, cv::THRESH_BINARY_INV | cv::THRESH_OTSU);這里有兩個細節(jié)值得展開說。第一個是為什么用高斯模糊而不是中值模糊。中值濾波去椒鹽噪聲確實更強但它對邊緣細節(jié)的破壞也更明顯。答題卡的選項圓圈邊緣本身就很細如果用中值濾波填涂區(qū)域的邊界會被磨掉不少后面做輪廓檢測的時候圓的完整性就差了。高斯模糊是線性濾波保留邊緣的能力相對更好。第二個是二值化的方式。我特意用了THRESH_BINARY_INV也就是反二值化讓填涂的黑色筆跡變成白色、背景變成黑色。這是因為OpenCV的findContours默認找的是白色區(qū)域的輪廓如果按常規(guī)方式二值化找出來的就是整張答題卡的白色背景方向就反了。2.2 大津法為什么比固定閾值更省心固定閾值的痛處在于不同掃描儀、不同光線條件下一張答題卡的灰度直方圖分布完全不一樣。同一個閾值在這批圖上效果很好換一批圖就翻車。大津法會自動計算一個能把前景和背景區(qū)分得最開的閾值基本不用手動調(diào)參。不過大津法也不是萬能的。如果答題卡本身有大面積的學生涂鴉或者嚴重折痕直方圖可能出現(xiàn)雙峰之外的多峰這時大津法的分割效果會打折扣。我后來加了一個直方圖檢查的小邏輯如果二值化后白色像素占比超過40%就可能是原始圖像質(zhì)量問題會提示重新掃描而不是硬著頭皮往下走。3. 透視校正答題卡放歪了也能準確識別的核心保障3.1 從輪廓提取到四個角點定位掃描件最常見的問題就是放置不端正尤其是用普通平板掃描儀的時候答題卡放歪5度到10度是常有的事。如果不做校正直接切選項區(qū)域哪怕歪1度到了試卷下端的答題區(qū)域累積的位置偏差可能已經(jīng)超過一個選項圓的半徑識別結(jié)果自然就亂了。校正的思路是用答題卡的外邊框作為參照。標準答題卡四周一般有一條粗的黑色邊緣線這條線在二值化圖像里會形成一個大矩形的輪廓。通過findContours找到面積最大的那個輪廓再用approxPolyDP逼近成四邊形就能拿到四個角點。std::vectorstd::vectorcv::Point contours; cv::findContours(binary, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE); // 按輪廓面積降序排序取最大的 std::sort(contours.begin(), contours.end(), [](const auto a, const auto b) { return cv::contourArea(a) cv::contourArea(b); }); cv::Mat approx; cv::approxPolyDP(contours[0], approx, 0.02 * cv::arcLength(contours[0], true), true);這里有個小細節(jié)approxPolyDP的epsilon參數(shù)我建議用輪廓周長的2%作為經(jīng)驗值。太小會得到很多雜點太大又把矩形的角給削圓了2%是個比較穩(wěn)的中間值。3.2 透視變換矩陣的計算與坑拿到四個點之后要做一個從原圖四邊形到標準矩形的透視變換。這里有個坑是四個點的順序。approxPolyDP返回的點順序不一定是左上、右上、右下、左下需要自己按坐標排序。排序邏輯不難先按y坐標分成上下兩組再按x坐標排左右。cv::Point2f srcPoints[4], dstPoints[4]; // 假設已經(jīng)排好序的四個角點TL, TR, BR, BL srcPoints[0] tl; srcPoints[1] tr; srcPoints[2] br; srcPoints[3] bl; // 目標尺寸按實際答題卡的寬高比設置 dstPoints[0] cv::Point2f(0, 0); dstPoints[1] cv::Point2f(cardWidth, 0); dstPoints[2] cv::Point2f(cardWidth, cardHeight); dstPoints[3] cv::Point2f(0, cardHeight); cv::Mat M cv::getPerspectiveTransform(srcPoints, dstPoints); cv::warpPerspective(binary, warped, M, cv::Size(cardWidth, cardHeight));我踩過的一個坑是直接用原始灰度圖做透視變換然后在新圖上重新二值化。這樣看似沒毛病但warpPerspective本身會做像素插值插值過程會把原本干脆的黑白邊界變成灰色過渡帶二次二值化后邊緣容易出現(xiàn)鋸齒影響圓檢測的精度。正確做法是先二值化再做透視變換保持黑白邊界清晰。另外一個建議目標尺寸cardWidth和cardHeight不要隨便拍腦袋最好按答題卡的實際長寬比例來定。比如A4大小的答題卡寬高比就是210:297可以設成840x1188。比例不對的話雖然不影響識別選項圓的相對位置不變但會給你心里添堵調(diào)試的時候總覺得哪里不對。4. 選項區(qū)域的自動分割從坐標硬編碼到配置化設計4.1 題號與選項的網(wǎng)格化切分邏輯拿到校正后的圖像接下來就是把每道題的每個選項區(qū)域切出來。這里的設計我走了兩版迭代第一版是硬編碼坐標第二版改成了配置化。硬編碼的方案就不多說了只能說能用但適應性極差。答題卡版式稍微一變比如題號間距從5毫米改成6毫米所有坐標全要重新量一遍、改一遍極其痛苦。第二版我采用了一種比較通用的做法先檢測所有選項圓的連通域再根據(jù)圓心坐標自動聚類成網(wǎng)格。這里用到了cv::HoughCircles來輔助定位圓心不過實測下來在二值化圖上直接用findContours找輪廓、然后計算輪廓的最小外接圓效果更穩(wěn)定。std::vectorcv::Vec3f circles; cv::HoughCircles(blurred, circles, cv::HOUGH_GRADIENT, 1, 20, 200, 30, 10, 30);HoughCircles的參數(shù)學問比較大。dp設1表示累加器分辨率與原圖一致minDist表示圓心之間的最小距離這個值要略小于選項圓的直徑否則相鄰的兩個圓會被合并。param1和param2是Canny邊緣檢測閾值和累加器閾值這兩個需要實際調(diào)試我這邊比較穩(wěn)定的組合是200和30。不過說句實話HoughCircles在答題卡這種印刷質(zhì)量穩(wěn)定的場景下有點殺雞用牛刀。因為答題卡的選項圓位置是均勻排列的用連通域分析加幾何排序更直接。我用的是先findContours過濾掉面積過小或過大的輪廓然后對剩下的每個輪廓算質(zhì)心把質(zhì)心坐標按y分桶成行、按x分桶成列得到的就是一個規(guī)整的二維網(wǎng)格。4.2 配置文件驅(qū)動版式的設計思路為了讓這套系統(tǒng)真正能適配多種答題卡我把版式信息單獨抽成了一個配置文件JSON格式里面定義了幾列關(guān)鍵信息題目數(shù)量、每題的選項數(shù)量、選項起始坐標、行間距、列間距、選項圓半徑范圍。系統(tǒng)啟動時讀取配置文件按坐標公式計算出每個選項區(qū)域的位置運行時只依賴配置不依賴代碼。這樣換版式的時候只需要改配置文件完全不用動程序。{ cardWidth: 840, cardHeight: 1188, questionCount: 50, optionsPerQuestion: 4, firstQuestionX: 120, firstQuestionY: 100, rowSpacing: 30, columnSpacing: 25, optionRadiusMin: 6, optionRadiusMax: 12 }這個設計的價值在做畢設或者小項目的時候可能還體現(xiàn)不明顯但如果你以后要走工程化的路子配置文件驅(qū)動是必須的——需求方改版式永遠比改代碼來得勤快。5. 填涂狀態(tài)判定不是簡單的“有黑就算”5.1 像素占比法 vs 連通域面積法判斷一個選項是否被填涂直覺的做法是切出那個小矩形區(qū)域統(tǒng)計黑色像素占比超過某個閾值就認為填涂了。這個方法簡單有效但有個毛病容易把選項圓邊緣的印刷邊框也算進去。如果答題卡印刷質(zhì)量一般圓圈的黑色邊框本身就有一定厚度占比算下來可能到15%到20%如果閾值設低了沒填涂的選項也會被誤判成填涂。我后來改成了連通域面積法在切出來的區(qū)域內(nèi)找所有連通域計算最大連通域的面積再跟整個選項區(qū)域的面積做比值。填涂的筆跡會形成一個較大的連通域而印刷邊框的線寬比較細即使把整個邊框連通了最大連通域的面積也遠小于填涂后的實心面積。5.2 閾值選擇與防干擾策略經(jīng)過幾十張答題卡的實測我把判定閾值定在了40%左右最大連通域面積占選項區(qū)域面積的比值超過40%判為已填涂。這個閾值配合連通域面積法既能避開印刷邊框的干擾又不至于漏判那些用鉛筆輕輕涂的答案。還要處理一種情況橡皮擦沒擦干凈或者涂抹痕跡比較淺。二值化之后這類痕跡會呈現(xiàn)為“雪花狀”的碎點會被拆成很多小連通域用最大連通域面積法天然就能濾掉。這也是我放棄純像素占比法的核心理由——像素占比法面對碎點噪聲基本沒有免疫力。bool isFilled(const cv::Mat optionROI) { std::vectorstd::vectorcv::Point contours; cv::findContours(optionROI, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE); if (contours.empty()) return false; double maxArea 0; for (const auto c : contours) { maxArea std::max(maxArea, cv::contourArea(c)); } double roiArea optionROI.rows * optionROI.cols; return (maxArea / roiArea) 0.4; }閾值0.4不是拍腦袋定的是統(tǒng)計了60張由不同人填涂的答題卡畫出來的分布曲線正常填涂的比值集中在0.55到0.85之間未填涂的樣本集中在0.05到0.2之間中間有一段比較干凈的區(qū)間取中值0.4留足了安全余量。6. 判分邏輯的邊界情況處理多選、漏選、涂改判分這部分看起來最簡單其實坑最多。單選、多選、漏選、涂改、題號錯位每一種情況都要想清楚規(guī)則。單選題我的策略是遍歷4到5個選項如果只有一個被判定為填涂取該選項作為答案如果有多個選項被填涂這道題標記為“異?！辈粎⑴c判分在結(jié)果報告里單獨列出來讓人工復核。多選題則反過來只要被填涂的選項集合跟標準答案完全一致才算對缺少或多余任何一項都判錯同時把缺失的多余的具體項名都記錄進結(jié)果。涂改情況的處理是最考驗細節(jié)的。如果答題卡用的是那種擦不干凈的鉛筆同一個選項里經(jīng)常出現(xiàn)“填涂痕跡和殘留筆跡并存”。我的方案是檢查最大連通域和第二大連通域如果最大連通域占比已經(jīng)超過60%即使有第二大連通域也不影響判定——這就是一道填涂完成的題。但如果最大連通域只有30%到40%第二大連通域也有20%以上說明這個選項涂了又擦應該按未填涂處理。這個邏輯寫起來就是幾行if判斷但它背后是一套完整的業(yè)務規(guī)則需要在需求階段跟考試方確認清楚。不同考試方對“涂了兩個選項的單選題”可能有兩套規(guī)則一套是直接按錯算另一套是只要包含正確選項就給一半分。作為系統(tǒng)設計者你要把這些規(guī)則做成可配置的而不是寫死在代碼里。7. 從識別結(jié)果到結(jié)構(gòu)化輸出成績單的生成與導出識別本身跑完之后整個系統(tǒng)還差最后一公里結(jié)果輸出。我這邊是用Qt搭了一個小而美的桌面界面左側(cè)展示答題卡的原圖和處理后的二值圖右側(cè)實時顯示識別進度和結(jié)果表格最后可以一鍵導出Excel和PDF成績單。表格是用的模型視圖架構(gòu)識別線程把結(jié)果通過信號槽發(fā)到主線程主線程更新表格模型這樣界面在識別過程中不會卡死。導出Excel我用的第三方庫libxl免費版有水印但功能夠用。導出格式可以自定義包括學號、姓名、每題得分、總分、正確率這幾列PDF則用Qt自帶的QPrinter直接打印表格內(nèi)容。這里要提醒一個實際應用中的問題答題卡通常還需要綁定學生信息。我的方案是用答題卡上的手寫學號區(qū)域先用OpenCV切出學號區(qū)域然后接一個簡單的OCR模塊Tesseract轉(zhuǎn)成文本。這塊的識別率大概在95%左右對模糊的手寫數(shù)字OCR識別錯了會比較頭疼所以要加一個人工復核入口在界面上顯示切出來的學號區(qū)域圖旁邊是OCR識別文本操作員掃一眼就能確認或修正。8. 實際測試結(jié)果與失敗案例復盤整套系統(tǒng)在Win10上用VS2019和OpenCV 4.5.5跑通的發(fā)布后的程序包大約40MB不用裝機綠色運行。在普通辦公電腦上i5-84008G內(nèi)存處理一張A4答題卡大概需要1.2到1.5秒如果開了多線程批量處理能壓到1秒以內(nèi)。測試樣本我準備了三種標準答題卡、輕微褶皺的都答題卡、故意歪著放和顛倒放的答題卡。前兩種的識別率達到了99.2%歪放和顛倒的經(jīng)過透視校正識別率也穩(wěn)定在98.7%左右。識別錯誤的部分集中出現(xiàn)在褶皺嚴重的答題卡上——這種卡片的填涂區(qū)域發(fā)生了幾何形變二值化后填涂圓已經(jīng)被扭曲到連通域面積不足屬于物理層面的損壞純視覺手段很難解決。失敗案例中印象最深的是那一批用了綠色鉛筆填涂的答題卡。高光掃描下綠色鉛筆在灰度圖里的灰度和白色背景差別很小二值化后基本就消失不見了。這個問題解法有兩個方向一是在預處理階段用色彩通道分離把綠色通道單獨提出來做增強二是直接在考前強調(diào)必須用2B鉛筆。實測下來通道分離的方法能把綠鉛筆的識別率拉回95%以上但代價是預處理流程多了一步通用性變差。9. 項目擴展的三個方向這套系統(tǒng)做完以后我覺得最有價值的不是“答題卡識別”這個本身而是它作為計算機視覺入門到進階的完整鏈路具備了非常好的延展性。順著這個項目可以往三個方向走。第一個方向是接深度學習做涂改檢測?，F(xiàn)有的連通域方法對擦除痕跡的判定是啟發(fā)式規(guī)則換成語義分割模型來判定“這塊區(qū)域?qū)儆诤畏N填涂狀態(tài)”理論上可以進一步降低誤判率。第二個方向是泛化成通用的表單識別工具。答題卡識別本質(zhì)上就是固定版式的標記檢測如果換個思路把版式信息從“配置文件”升級成“模板自學習”讓它能根據(jù)一張空白的表單自動生成模板配置那這套系統(tǒng)就能從答題卡擴展到問卷、選票、評教表等場景。第三個方向是識別速度的優(yōu)化。如果答題卡數(shù)量達到幾千張單機串行識別就需要半小時以上了。把預處理、透視變換、連通域分析這幾個步驟拆開做流水線并行再配合多線程隊列吞吐量能翻好幾倍。這塊我還沒有深入優(yōu)化算是留給下一篇的內(nèi)容。做這個項目最大的收獲是明白了一個道理計算機視覺項目里真正花時間的往往不是算法本身而是邊界情況的處理細節(jié)。填涂判定閾值怎么定、答題卡放歪了怎么校正、鉛筆痕跡深淺怎么兼容這些才是決定一個CV項目是從“Demo”走向“真正能用”的關(guān)鍵。希望這套系統(tǒng)的拆解思路能幫到你。本文還有配套的精品資源點擊獲取 OpenCV實戰(zhàn)：答題卡識別系統(tǒng)的完整實現(xiàn)
簡介基于OpenCV的答題卡自動識別與評分系統(tǒng)設計與實現(xiàn)是一份面向計算機視覺初學者與初級工程師的課程設計報告聚焦教育場景中的電子閱卷需求系統(tǒng)講解從圖像預處理、輪廓檢測、透視變換到選項提取與評分比對的完整流程。壓縮包內(nèi)含1個docx文檔大小僅60KB內(nèi)容精煉但覆蓋核心實現(xiàn)步驟適合快速入門OpenCV圖像處理與實際項目開發(fā)。報告以50張不同光照和涂寫情況的答題卡作為測試樣本識別準確率達到96%并針對光照不足、涂寫不規(guī)范、背景復雜等典型問題給出了具體分析與可優(yōu)化方向。目前已有383人學習無論是作為課程設計參考還是作為圖像處理實戰(zhàn)入門案例都能幫助讀者理解傳統(tǒng)CV方法在自動閱卷任務中的應用與局限并啟發(fā)后續(xù)結(jié)合深度學習提升系統(tǒng)魯棒性的思路。1. 為什么要自己寫一套答題卡識別而不是直接買現(xiàn)成的先說個背景。每年各種考試季都能看到很多學校、機構(gòu)還在用最原始的方式——人工讀卡或者買那種幾千上萬一臺的專用閱卷機。專用設備確實穩(wěn)定但問題也很明顯貴、笨重、只認自家定制的答題卡排版改個題號排列方式就得重新買模塊。我接到這個需求的時候?qū)Ψ骄吞崃藘蓚€硬性條件第一不能增加硬件成本就用現(xiàn)有辦公電腦加普通掃描儀第二答題卡版式可能隨時要調(diào)程序不能跟著改。說白了就是要一套純軟件方案能適配多種版式的答題卡識別準確率還不能比專用設備差太多。OpenCV在這類場景里的優(yōu)勢其實被很多人低估了。它不只是一個圖像處理庫而是一整套計算機視覺的基礎(chǔ)設施。做答題卡識別本質(zhì)上就是把“人眼讀卡”這個過程拆解成幾個標準的視覺任務定位答題區(qū)域、判斷每個選項是否被填涂、按規(guī)則判分。這三件事OpenCV的基礎(chǔ)模塊完全能覆蓋而且不需要深度學習不需要GPU一臺普通電腦跑起來毫無壓力。整套系統(tǒng)我分成了五個核心模塊圖像預處理、答題卡定位與透視校正、選項區(qū)域分割、填涂狀態(tài)判定、判分與結(jié)果輸出。下面逐個拆開講會結(jié)合具體代碼和踩過的坑盡量做到你照著敲一遍就能跑通。2. 預處理環(huán)節(jié)的三個關(guān)鍵決策灰度、濾波、二值化的取舍2.1 為什么不能直接拿彩色圖做識別很多新手拿到一張答題卡掃描圖第一反應就是直接轉(zhuǎn)灰度然后找輪廓。這個思路大方向沒錯但有個容易被忽略的坑掃描儀的成像質(zhì)量參差不齊有的會帶明顯的彩色噪點有的背景發(fā)灰如果直接做二值化很容易把答題卡背景里的淺色底紋當成有效內(nèi)容后續(xù)輪廓提取會多出一大堆干擾項。我實際測試下來比較穩(wěn)妥的預處理流程是先轉(zhuǎn)灰度再做高斯模糊最后用大津法Otsu做自適應二值化。這套組合的通用性最好。cv::Mat gray, blurred, binary; cv::cvtColor(src, gray, cv::COLOR_BGR2GRAY); cv::GaussianBlur(gray, blurred, cv::Size(5, 5), 0); cv::threshold(blurred, binary, 0, 255, cv::THRESH_BINARY_INV | cv::THRESH_OTSU);這里有兩個細節(jié)值得展開說。第一個是為什么用高斯模糊而不是中值模糊。中值濾波去椒鹽噪聲確實更強但它對邊緣細節(jié)的破壞也更明顯。答題卡的選項圓圈邊緣本身就很細如果用中值濾波填涂區(qū)域的邊界會被磨掉不少后面做輪廓檢測的時候圓的完整性就差了。高斯模糊是線性濾波保留邊緣的能力相對更好。第二個是二值化的方式。我特意用了THRESH_BINARY_INV也就是反二值化讓填涂的黑色筆跡變成白色、背景變成黑色。這是因為OpenCV的findContours默認找的是白色區(qū)域的輪廓如果按常規(guī)方式二值化找出來的就是整張答題卡的白色背景方向就反了。2.2 大津法為什么比固定閾值更省心固定閾值的痛處在于不同掃描儀、不同光線條件下一張答題卡的灰度直方圖分布完全不一樣。同一個閾值在這批圖上效果很好換一批圖就翻車。大津法會自動計算一個能把前景和背景區(qū)分得最開的閾值基本不用手動調(diào)參。不過大津法也不是萬能的。如果答題卡本身有大面積的學生涂鴉或者嚴重折痕直方圖可能出現(xiàn)雙峰之外的多峰這時大津法的分割效果會打折扣。我后來加了一個直方圖檢查的小邏輯如果二值化后白色像素占比超過40%就可能是原始圖像質(zhì)量問題會提示重新掃描而不是硬著頭皮往下走。3. 透視校正答題卡放歪了也能準確識別的核心保障3.1 從輪廓提取到四個角點定位掃描件最常見的問題就是放置不端正尤其是用普通平板掃描儀的時候答題卡放歪5度到10度是常有的事。如果不做校正直接切選項區(qū)域哪怕歪1度到了試卷下端的答題區(qū)域累積的位置偏差可能已經(jīng)超過一個選項圓的半徑識別結(jié)果自然就亂了。校正的思路是用答題卡的外邊框作為參照。標準答題卡四周一般有一條粗的黑色邊緣線這條線在二值化圖像里會形成一個大矩形的輪廓。通過findContours找到面積最大的那個輪廓再用approxPolyDP逼近成四邊形就能拿到四個角點。std::vectorstd::vectorcv::Point contours; cv::findContours(binary, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE); // 按輪廓面積降序排序取最大的 std::sort(contours.begin(), contours.end(), [](const auto a, const auto b) { return cv::contourArea(a) cv::contourArea(b); }); cv::Mat approx; cv::approxPolyDP(contours[0], approx, 0.02 * cv::arcLength(contours[0], true), true);這里有個小細節(jié)approxPolyDP的epsilon參數(shù)我建議用輪廓周長的2%作為經(jīng)驗值。太小會得到很多雜點太大又把矩形的角給削圓了2%是個比較穩(wěn)的中間值。3.2 透視變換矩陣的計算與坑拿到四個點之后要做一個從原圖四邊形到標準矩形的透視變換。這里有個坑是四個點的順序。approxPolyDP返回的點順序不一定是左上、右上、右下、左下需要自己按坐標排序。排序邏輯不難先按y坐標分成上下兩組再按x坐標排左右。cv::Point2f srcPoints[4], dstPoints[4]; // 假設已經(jīng)排好序的四個角點TL, TR, BR, BL srcPoints[0] tl; srcPoints[1] tr; srcPoints[2] br; srcPoints[3] bl; // 目標尺寸按實際答題卡的寬高比設置 dstPoints[0] cv::Point2f(0, 0); dstPoints[1] cv::Point2f(cardWidth, 0); dstPoints[2] cv::Point2f(cardWidth, cardHeight); dstPoints[3] cv::Point2f(0, cardHeight); cv::Mat M cv::getPerspectiveTransform(srcPoints, dstPoints); cv::warpPerspective(binary, warped, M, cv::Size(cardWidth, cardHeight));我踩過的一個坑是直接用原始灰度圖做透視變換然后在新圖上重新二值化。這樣看似沒毛病但warpPerspective本身會做像素插值插值過程會把原本干脆的黑白邊界變成灰色過渡帶二次二值化后邊緣容易出現(xiàn)鋸齒影響圓檢測的精度。正確做法是先二值化再做透視變換保持黑白邊界清晰。另外一個建議目標尺寸cardWidth和cardHeight不要隨便拍腦袋最好按答題卡的實際長寬比例來定。比如A4大小的答題卡寬高比就是210:297可以設成840x1188。比例不對的話雖然不影響識別選項圓的相對位置不變但會給你心里添堵調(diào)試的時候總覺得哪里不對。4. 選項區(qū)域的自動分割從坐標硬編碼到配置化設計4.1 題號與選項的網(wǎng)格化切分邏輯拿到校正后的圖像接下來就是把每道題的每個選項區(qū)域切出來。這里的設計我走了兩版迭代第一版是硬編碼坐標第二版改成了配置化。硬編碼的方案就不多說了只能說能用但適應性極差。答題卡版式稍微一變比如題號間距從5毫米改成6毫米所有坐標全要重新量一遍、改一遍極其痛苦。第二版我采用了一種比較通用的做法先檢測所有選項圓的連通域再根據(jù)圓心坐標自動聚類成網(wǎng)格。這里用到了cv::HoughCircles來輔助定位圓心不過實測下來在二值化圖上直接用findContours找輪廓、然后計算輪廓的最小外接圓效果更穩(wěn)定。std::vectorcv::Vec3f circles; cv::HoughCircles(blurred, circles, cv::HOUGH_GRADIENT, 1, 20, 200, 30, 10, 30);HoughCircles的參數(shù)學問比較大。dp設1表示累加器分辨率與原圖一致minDist表示圓心之間的最小距離這個值要略小于選項圓的直徑否則相鄰的兩個圓會被合并。param1和param2是Canny邊緣檢測閾值和累加器閾值這兩個需要實際調(diào)試我這邊比較穩(wěn)定的組合是200和30。不過說句實話HoughCircles在答題卡這種印刷質(zhì)量穩(wěn)定的場景下有點殺雞用牛刀。因為答題卡的選項圓位置是均勻排列的用連通域分析加幾何排序更直接。我用的是先findContours過濾掉面積過小或過大的輪廓然后對剩下的每個輪廓算質(zhì)心把質(zhì)心坐標按y分桶成行、按x分桶成列得到的就是一個規(guī)整的二維網(wǎng)格。4.2 配置文件驅(qū)動版式的設計思路為了讓這套系統(tǒng)真正能適配多種答題卡我把版式信息單獨抽成了一個配置文件JSON格式里面定義了幾列關(guān)鍵信息題目數(shù)量、每題的選項數(shù)量、選項起始坐標、行間距、列間距、選項圓半徑范圍。系統(tǒng)啟動時讀取配置文件按坐標公式計算出每個選項區(qū)域的位置運行時只依賴配置不依賴代碼。這樣換版式的時候只需要改配置文件完全不用動程序。{ cardWidth: 840, cardHeight: 1188, questionCount: 50, optionsPerQuestion: 4, firstQuestionX: 120, firstQuestionY: 100, rowSpacing: 30, columnSpacing: 25, optionRadiusMin: 6, optionRadiusMax: 12 }這個設計的價值在做畢設或者小項目的時候可能還體現(xiàn)不明顯但如果你以后要走工程化的路子配置文件驅(qū)動是必須的——需求方改版式永遠比改代碼來得勤快。5. 填涂狀態(tài)判定不是簡單的“有黑就算”5.1 像素占比法 vs 連通域面積法判斷一個選項是否被填涂直覺的做法是切出那個小矩形區(qū)域統(tǒng)計黑色像素占比超過某個閾值就認為填涂了。這個方法簡單有效但有個毛病容易把選項圓邊緣的印刷邊框也算進去。如果答題卡印刷質(zhì)量一般圓圈的黑色邊框本身就有一定厚度占比算下來可能到15%到20%如果閾值設低了沒填涂的選項也會被誤判成填涂。我后來改成了連通域面積法在切出來的區(qū)域內(nèi)找所有連通域計算最大連通域的面積再跟整個選項區(qū)域的面積做比值。填涂的筆跡會形成一個較大的連通域而印刷邊框的線寬比較細即使把整個邊框連通了最大連通域的面積也遠小于填涂后的實心面積。5.2 閾值選擇與防干擾策略經(jīng)過幾十張答題卡的實測我把判定閾值定在了40%左右最大連通域面積占選項區(qū)域面積的比值超過40%判為已填涂。這個閾值配合連通域面積法既能避開印刷邊框的干擾又不至于漏判那些用鉛筆輕輕涂的答案。還要處理一種情況橡皮擦沒擦干凈或者涂抹痕跡比較淺。二值化之后這類痕跡會呈現(xiàn)為“雪花狀”的碎點會被拆成很多小連通域用最大連通域面積法天然就能濾掉。這也是我放棄純像素占比法的核心理由——像素占比法面對碎點噪聲基本沒有免疫力。bool isFilled(const cv::Mat optionROI) { std::vectorstd::vectorcv::Point contours; cv::findContours(optionROI, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE); if (contours.empty()) return false; double maxArea 0; for (const auto c : contours) { maxArea std::max(maxArea, cv::contourArea(c)); } double roiArea optionROI.rows * optionROI.cols; return (maxArea / roiArea) 0.4; }閾值0.4不是拍腦袋定的是統(tǒng)計了60張由不同人填涂的答題卡畫出來的分布曲線正常填涂的比值集中在0.55到0.85之間未填涂的樣本集中在0.05到0.2之間中間有一段比較干凈的區(qū)間取中值0.4留足了安全余量。6. 判分邏輯的邊界情況處理多選、漏選、涂改判分這部分看起來最簡單其實坑最多。單選、多選、漏選、涂改、題號錯位每一種情況都要想清楚規(guī)則。單選題我的策略是遍歷4到5個選項如果只有一個被判定為填涂取該選項作為答案如果有多個選項被填涂這道題標記為“異?！辈粎⑴c判分在結(jié)果報告里單獨列出來讓人工復核。多選題則反過來只要被填涂的選項集合跟標準答案完全一致才算對缺少或多余任何一項都判錯同時把缺失的多余的具體項名都記錄進結(jié)果。涂改情況的處理是最考驗細節(jié)的。如果答題卡用的是那種擦不干凈的鉛筆同一個選項里經(jīng)常出現(xiàn)“填涂痕跡和殘留筆跡并存”。我的方案是檢查最大連通域和第二大連通域如果最大連通域占比已經(jīng)超過60%即使有第二大連通域也不影響判定——這就是一道填涂完成的題。但如果最大連通域只有30%到40%第二大連通域也有20%以上說明這個選項涂了又擦應該按未填涂處理。這個邏輯寫起來就是幾行if判斷但它背后是一套完整的業(yè)務規(guī)則需要在需求階段跟考試方確認清楚。不同考試方對“涂了兩個選項的單選題”可能有兩套規(guī)則一套是直接按錯算另一套是只要包含正確選項就給一半分。作為系統(tǒng)設計者你要把這些規(guī)則做成可配置的而不是寫死在代碼里。7. 從識別結(jié)果到結(jié)構(gòu)化輸出成績單的生成與導出識別本身跑完之后整個系統(tǒng)還差最后一公里結(jié)果輸出。我這邊是用Qt搭了一個小而美的桌面界面左側(cè)展示答題卡的原圖和處理后的二值圖右側(cè)實時顯示識別進度和結(jié)果表格最后可以一鍵導出Excel和PDF成績單。表格是用的模型視圖架構(gòu)識別線程把結(jié)果通過信號槽發(fā)到主線程主線程更新表格模型這樣界面在識別過程中不會卡死。導出Excel我用的第三方庫libxl免費版有水印但功能夠用。導出格式可以自定義包括學號、姓名、每題得分、總分、正確率這幾列PDF則用Qt自帶的QPrinter直接打印表格內(nèi)容。這里要提醒一個實際應用中的問題答題卡通常還需要綁定學生信息。我的方案是用答題卡上的手寫學號區(qū)域先用OpenCV切出學號區(qū)域然后接一個簡單的OCR模塊Tesseract轉(zhuǎn)成文本。這塊的識別率大概在95%左右對模糊的手寫數(shù)字OCR識別錯了會比較頭疼所以要加一個人工復核入口在界面上顯示切出來的學號區(qū)域圖旁邊是OCR識別文本操作員掃一眼就能確認或修正。8. 實際測試結(jié)果與失敗案例復盤整套系統(tǒng)在Win10上用VS2019和OpenCV 4.5.5跑通的發(fā)布后的程序包大約40MB不用裝機綠色運行。在普通辦公電腦上i5-84008G內(nèi)存處理一張A4答題卡大概需要1.2到1.5秒如果開了多線程批量處理能壓到1秒以內(nèi)。測試樣本我準備了三種標準答題卡、輕微褶皺的都答題卡、故意歪著放和顛倒放的答題卡。前兩種的識別率達到了99.2%歪放和顛倒的經(jīng)過透視校正識別率也穩(wěn)定在98.7%左右。識別錯誤的部分集中出現(xiàn)在褶皺嚴重的答題卡上——這種卡片的填涂區(qū)域發(fā)生了幾何形變二值化后填涂圓已經(jīng)被扭曲到連通域面積不足屬于物理層面的損壞純視覺手段很難解決。失敗案例中印象最深的是那一批用了綠色鉛筆填涂的答題卡。高光掃描下綠色鉛筆在灰度圖里的灰度和白色背景差別很小二值化后基本就消失不見了。這個問題解法有兩個方向一是在預處理階段用色彩通道分離把綠色通道單獨提出來做增強二是直接在考前強調(diào)必須用2B鉛筆。實測下來通道分離的方法能把綠鉛筆的識別率拉回95%以上但代價是預處理流程多了一步通用性變差。9. 項目擴展的三個方向這套系統(tǒng)做完以后我覺得最有價值的不是“答題卡識別”這個本身而是它作為計算機視覺入門到進階的完整鏈路具備了非常好的延展性。順著這個項目可以往三個方向走。第一個方向是接深度學習做涂改檢測?，F(xiàn)有的連通域方法對擦除痕跡的判定是啟發(fā)式規(guī)則換成語義分割模型來判定“這塊區(qū)域?qū)儆诤畏N填涂狀態(tài)”理論上可以進一步降低誤判率。第二個方向是泛化成通用的表單識別工具。答題卡識別本質(zhì)上就是固定版式的標記檢測如果換個思路把版式信息從“配置文件”升級成“模板自學習”讓它能根據(jù)一張空白的表單自動生成模板配置那這套系統(tǒng)就能從答題卡擴展到問卷、選票、評教表等場景。第三個方向是識別速度的優(yōu)化。如果答題卡數(shù)量達到幾千張單機串行識別就需要半小時以上了。把預處理、透視變換、連通域分析這幾個步驟拆開做流水線并行再配合多線程隊列吞吐量能翻好幾倍。這塊我還沒有深入優(yōu)化算是留給下一篇的內(nèi)容。做這個項目最大的收獲是明白了一個道理計算機視覺項目里真正花時間的往往不是算法本身而是邊界情況的處理細節(jié)。填涂判定閾值怎么定、答題卡放歪了怎么校正、鉛筆痕跡深淺怎么兼容這些才是決定一個CV項目是從“Demo”走向“真正能用”的關(guān)鍵。希望這套系統(tǒng)的拆解思路能幫到你。本文還有配套的精品資源點擊獲取