：多維特征輸入與二分類/多分類模板)
直接上干貨這次咱們用Matlab整點實用的CNN分類模型支持多維特征輸入二分類和多分類都能玩。先看效果再說原理代碼直接扒下來就能用替換數(shù)據(jù)分分鐘搞定——這話聽著就帶勁因為用Matlab寫CNN的教程是真的少大部分一搜全是Python PyTorch可咱們工業(yè)界、實驗室里大量老系統(tǒng)、儀器采集程序都是基于Matlab的數(shù)據(jù)預(yù)處理、特征提取、畫圖、報表全在一條鏈路上你非要為了一個分類器去搭Python環(huán)境、學新框架、折騰CUDA那性價比屬實太低。這篇博文不講故事、不寫情懷就講一套我實際調(diào)通過的Matlab CNN分類模板它既能吃二維表格特征就是行是樣本、列是特征那種也能吃多維特征比如把多個傳感器/多個時間窗口拼成一個三維塊訓練完直接出混淆矩陣、ROC曲線二分類換多分類只需要改一個數(shù)字。下面我要寫的內(nèi)容每一段都是實操現(xiàn)場記錄代碼我會從頭到尾列出來關(guān)鍵參數(shù)我逐個解釋為什么這么設(shè)還會把我在兩個實際項目里踩過的坑一并倒出來。1. 這套CNN分類模板的整體設(shè)計思路1.1 它到底解決什么問題先說清楚這套東西的使用場景。假設(shè)你手頭有一個特征矩陣每一行代表一個樣本每一列是某個特征維度可能是傳感器均值、方差、峰值、頻域能量、統(tǒng)計量之類的組合。你之前要么用SVM、隨機森林做分類要么用BP神經(jīng)網(wǎng)絡(luò)但分類準確率卡在某個瓶頸上。這時候你想試試CNN是因為CNN能通過卷積核自動提取局部特征組合比如它自己會學到“特征3和特征7的某種相對關(guān)系有判別力”而不需要你手工構(gòu)造交互項。而多維特征輸入是指數(shù)據(jù)本身不只是一張二維表有的場景下每個樣本是“多個通道的序列”比如振動信號分x、y、z三個方向每個方向截取200個點那一個樣本就是3×200的矩陣或者你的原始數(shù)據(jù)是多個傳感器同時采集時間窗口內(nèi)有800個采樣點8個通道那一個樣本就是8×800。CNN天然能吃這種“多通道二維數(shù)據(jù)”只要把數(shù)據(jù)組織成 H×W×C 的形式Matlab的 imageInputLayer 就能直接接收。這套模板的定位就是你只需要把你的數(shù)據(jù)整理成“樣本數(shù)×特征數(shù)”或“樣本數(shù)×高度×寬度×通道數(shù)”然后按我的代碼填進去訓練、評估、可視化全自動。換句話說我不搞花里胡哨的網(wǎng)絡(luò)結(jié)構(gòu)就是一套短小精悍、能跑通、能出論文圖表、能交付給現(xiàn)場使用的基線模型。1.2 為什么用Matlab而不是Python這個問題我被問過很多次。Python生態(tài)確實豐富PyTorch寫CNN跟喝水一樣但很多工程師手里的數(shù)據(jù)本身就是Matlab出來的或者需要和Simulink模型聯(lián)動又或者單位電腦不允許隨便裝Python環(huán)境和驅(qū)動。Matlab的Deep Learning Toolbox從R2018b之后已經(jīng)相當成熟trainNetwork、trainingOptions、confusionchart這些函數(shù)封裝得非常好你不需要手寫反向傳播不需要手動管理GPU顯存代碼量比PyTorch還短。另外Matlab的調(diào)試體驗和數(shù)據(jù)可視化是傳統(tǒng)強項訓練過程中你可以實時看訓練精度、損失曲線結(jié)束后一鍵出混淆矩陣熱力圖甚至能導(dǎo)出訓練過程動畫。對于非純算法崗的人來說這套工作流友好得離譜。當然缺點是部署相對笨重但它自帶的Coder可以生成C代碼也能導(dǎo)出ONNX給其他平臺用這塊后面我會提一下。1.3 模板的整體架構(gòu)這套模板從數(shù)據(jù)到結(jié)果分五步數(shù)據(jù)導(dǎo)入與整理、數(shù)據(jù)歸一化與格式轉(zhuǎn)換、網(wǎng)絡(luò)結(jié)構(gòu)定義、訓練參數(shù)配置、評估與可視化。我把每一步都封裝成獨立小節(jié)方便你按需替換。核心思想是“面向數(shù)據(jù)形狀編程”就是不管你的原始數(shù)據(jù)長什么樣最終都統(tǒng)一變成 [高度×寬度×通道數(shù)×樣本數(shù)] 的四維數(shù)組喂給CNN。如果你只有普通表格特征那就把每行特征重排成 [1×特征數(shù)×1] 的形狀相當于一個“單像素寬圖片”照樣能跑卷積。為了讓你快速建立全局觀我先給出代碼調(diào)用總覽后續(xù)每段代碼都會展開解釋。% 主入口示例 data readtable(your_data.csv); % 讀數(shù)據(jù) featMat table2array(data(:, 2:end)); % 特征 labels data.label; % 標簽 normMat normalize(featMat, zscore); % 歸一化 % 重排成CNN輸入格式 X reshape(normMat, [1, size(normMat,2), 1, size(normMat,1)]); Y categorical(labels); % 定義網(wǎng)絡(luò) layers [ ... imageInputLayer([1 size(normMat,2) 1]) convolution2dLayer([1 3], 16, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) fullyConnectedLayer(2, Name, fc1) softmaxLayer(Name, softmax) classificationLayer(Name, output)]; % 訓練 options trainingOptions(sgdm, MaxEpochs, 30, MiniBatchSize, 32, Shuffle, every-epoch, ValidationData, ...); net trainNetwork(X, Y, layers, options);看到?jīng)]核心代碼就是這么短。接下來的內(nèi)容就是把每一行的“為什么”講透然后告訴你不同數(shù)據(jù)形態(tài)怎么改。2. 數(shù)據(jù)準備和格式轉(zhuǎn)換80%的坑都埋在這2.1 從表格數(shù)據(jù)到CNN輸入維度的轉(zhuǎn)換細節(jié)很多初學者第一次跑CNN都會卡在“數(shù)據(jù)格式不對”。Matlab的imageInputLayer接收的是 h×w×c×n 的四維數(shù)組h是高度w是寬度c是通道數(shù)n是樣本數(shù)。對于特征向量這種形式最自然的理解方式就是“高為1、寬等于特征數(shù)量、單通道的圖”。關(guān)鍵是reshape時別把行列搞反。假設(shè)你的特征矩陣是 data——它的大小是 m×fm是樣本數(shù)f是特征數(shù)。我們要的是每個樣本按行取出形成一個 [1, f, 1] 的特征圖所以最不容易錯的辦法是先把矩陣轉(zhuǎn)置再reshape% data: m×f, 每一行是一個樣本 X_raw data’; % f×m X reshape(X_raw, [1, f, 1, m]); % 高度1、寬度f、通道1、數(shù)量m這里有人會問為什么不是 [f, 1, 1]你要從CNN的角度想convolution2dLayer的卷積核會沿“寬”方向滑動如果你把特征放成豎向 [f, 1]那1維卷積核 [1,3] 就沒辦法正?；瑒与m然技術(shù)上也能跑但參數(shù)含義會變得很擰巴。所以統(tǒng)一用 [1, feature_dim, 1] 是約定俗成的做法。如果你的數(shù)據(jù)本來就是圖像比如灰度圖是 28×28×1×n彩色圖是 28×28×3×n那就完全不用restructure直接喂就行。如果數(shù)據(jù)是“多通道時序信號”比如8通道、每個通道800點那就是 [800, 8] 轉(zhuǎn)成 [1, 800, 8] 或者 [800, 8, 1]這兩種放法對應(yīng)不同的卷積方向理解。我自己習慣把時間放寬度、通道放通道數(shù)即 [1, 800, 8]因為這樣卷積核每次看到的是一段局部時間內(nèi)的所有通道組合符合傳感器融合的直覺。2.2 歸一化的正確姿勢和常見誤區(qū)CNN對輸入尺度很敏感不是因為它內(nèi)部有什么玄學而是因為卷積核的權(quán)重乘以輸入后如果數(shù)值量級差異極大梯度更新就會亂飄訓練很難收斂。我見過有人直接把原始數(shù)據(jù)丟進去loss在前10個epoch像過山車一樣下不來歸一化之后10個epoch就開始穩(wěn)定下降。在Matlab里normalize函數(shù)有幾種模式zscore和range最常用。zscore是“(x - mean)/std”適用于特征本身近似正態(tài)分布、且沒有極端離群點的場景range是“min-max縮放”適用于特征值本身有界且需要映射到[0,1]的場景。如果數(shù)據(jù)里有大量離群點直接zscore會導(dǎo)致一些小特征被壓縮到幾乎為零這時候建議先做分位數(shù)裁剪再歸一化。% 推薦做法按列zscore歸一化 normMat normalize(featMat, 2, zscore); % 第二個參數(shù)2表示按列操作對Matlab來說就是每一列特征獨立歸一注意歸一化的均值和標準差必須在訓練集上計算然后直接套到驗證集和測試集上。如果對整個數(shù)據(jù)集統(tǒng)一歸一化會造成輕微的信息泄漏最后評估指標會虛高。這個問題在表格數(shù)據(jù)上不明顯但時間序列和圖像上會放大養(yǎng)成好習慣很重要。2.3 標簽格式categorical是標配Matlab分類層的標簽要求是categorical類型而不是字符串數(shù)組或數(shù)值向量。很多人直接用數(shù)值0和1當標簽然后訓練報錯“Invalid training label”。正確做法是Y_raw data.label; % 可能是double或cell字符串 Y categorical(Y_raw);如果你的標簽是字符串直接用 categorical 轉(zhuǎn)換。如果標簽是數(shù)值0和1也能轉(zhuǎn)但要注意二分類用0/1標簽的時候categorical之后類別名稱會變成“0”和“1”分類層會把它們視為兩個類別沒問題。多分類同理轉(zhuǎn)成categorical之后Matlab會自動按字母序或首次出現(xiàn)順序排列類別。如果你對類別順序有要求可以用 reordercats 手動調(diào)整這個影響混淆矩陣的展示順序但不會影響模型本身。3. 網(wǎng)絡(luò)結(jié)構(gòu)是怎么定出來的每一層我都跟你掰扯清楚3.1 從圖像輸入層到特征提取的流程網(wǎng)絡(luò)結(jié)構(gòu)是CNN的核心但我必須先把丑話說在前面——對于表格數(shù)據(jù)和中小規(guī)模數(shù)據(jù)而言網(wǎng)絡(luò)層數(shù)不需要太深。很多人被ImageNet的成功經(jīng)驗帶偏了一上來就是十幾層卷積結(jié)果自己的數(shù)據(jù)只有幾千個樣本訓練沒幾步就開始嚴重過擬合trainning accuracy接近100%驗證集一塌糊涂。這里的關(guān)鍵是CNN的容量要跟數(shù)據(jù)規(guī)模匹配。我這套模板選的是一個非常穩(wěn)健的基線結(jié)構(gòu)layers [ imageInputLayer([1 featDim 1], Name, input, Normalization, none) convolution2dLayer([1 3], 16, Padding, same, Stride, [1 1], Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) convolution2dLayer([1 3], 32, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool2) fullyConnectedLayer(32, Name, fc1) reluLayer(Name, relu_fc) dropoutLayer(0.5, Name, dropout) fullyConnectedLayer(numClasses, Name, fc_final) softmaxLayer(Name, softmax) classificationLayer(Name, output)];imageInputLayer的Normalization參數(shù)我直接設(shè)成‘none’因為前面我們已經(jīng)手動歸一化過了避免重復(fù)處理。如果你的原始數(shù)據(jù)沒有歸一化可以考慮在這里設(shè)成‘zscore’它會自動學習每個通道的均值和方差并內(nèi)置到網(wǎng)絡(luò)里。但我個人的建議是數(shù)據(jù)預(yù)處理應(yīng)該在網(wǎng)絡(luò)外面顯式做這樣你可以把同一套歸一化參數(shù)導(dǎo)出到部署端免得部署時還要從網(wǎng)絡(luò)里扒參數(shù)。3.2 卷積核尺寸和通道數(shù)的選擇邏輯第一個卷積核我設(shè)置成 [1 3]意思是核的高度是1、寬度是3。因為輸入是 [1 featureDim]特征在寬度方向上排列所以卷積核高度為1不會跨行去卷寬度3表示每次看相鄰的3個特征。這相當于一個“特征組合器”把相鄰三個特征的信息融合成一個值符合局部感受野的直覺。至于通道數(shù)第一層16、第二層32這個數(shù)值是我反復(fù)測試后覺得性價比最高的配置。16個初始通道足夠提取多種局部特征模式32個第二層通道能讓網(wǎng)絡(luò)在更高語義層做組合。不要第一層就上64、128對于幾千個樣本的表格數(shù)據(jù)來說參數(shù)量增加幾倍但準確率不會有本質(zhì)提升反而訓練更慢、更容易過擬合。如果有經(jīng)驗的讀者想調(diào)整可以按這個原則數(shù)據(jù)量越大、輸入特征維度越寬卷積核數(shù)量和層數(shù)可以適當增加反之則必須縮減。比如你只有500個樣本、20個特征那我建議去掉第二個卷積塊保留到pool1之后就直接接全連接否則一定會過擬合。3.3 BatchNorm和ReLU為什么綁在一起用BatchNormalization層的核心作用是讓每一層的輸入分布保持穩(wěn)定避免訓練過程中由于前面層參數(shù)更新導(dǎo)致后面層輸入劇烈變化。它做兩件事先對每個通道計算均值方差做歸一化再通過可學習的縮放和平移參數(shù)恢復(fù)表達能力。它的好處是不光加速收斂還在一定程度上起到正則化作用減少對dropout的依賴。ReLU就是簡單的max(0,x)它的作用是引入非線性。如果不加激活函數(shù)所有卷積和全連接堆疊起來本質(zhì)上還是一個線性變換CNN的擬合能力就廢了。ReLU在正區(qū)間梯度恒為1不會像sigmoid那樣梯度飽和所以深層網(wǎng)絡(luò)訓練更穩(wěn)。在Matlab里BatchNorm必須搭配訓練過程使用預(yù)測時會自動用訓練階段累積的均值和方差不需要你額外處理。3.4 池化層和Dropout的真正作用maxPooling2dLayer的作用是降采樣把特征圖的寬高減半。它一方面減少計算量另一方面讓后續(xù)的卷積操作能覆蓋更廣的范圍相當于粗?；乇Ａ麸@著特征。我這里用的是大小[1 2]步長[1 2]意味著寬度方向每2個元素取1個最大的特征維度直接減半。如果特征維度特別小比如不到16那就不建議池化了直接保留到全連接層會更穩(wěn)。dropoutLayer則是在訓練時隨機丟棄一部分神經(jīng)元讓網(wǎng)絡(luò)不能過分依賴某個特定節(jié)點從而提高泛化能力。0.5的丟棄比例是默認的安全值。對于容易過擬合的小數(shù)據(jù)集這個層簡直是救命稻草。我一般把dropout放在第一個全連接層后面而不是最后分類層前這樣能讓最后一層保持完整的特征輸入效果更好。3.5 輸出層與分類層的配置要點末尾的流程是全連接層輸出類別數(shù)→ softmax層 → classificationLayer。fullyConnectedLayer里的第二個參數(shù)就是類別數(shù)。二分類就是2三分類就是3。softmaxLayer把全連接輸出映射成每個類別的概率總和為1。classificationLayer接收概率分布和真實標簽計算交叉熵損失并執(zhí)行反向傳播。有人會問二分類可不可以用sigmoid加binary cross entropyMatlab的Deep Learning Toolbox里分類層對二分類就是這么處理的但網(wǎng)絡(luò)結(jié)構(gòu)是完全一樣的唯一的區(qū)別是類別數(shù)量設(shè)為2不用特殊處理。放心用就行。4. 訓練參數(shù)怎么配這些選項決定你模型是菜鳥還是能打4.1 trainingOptions里每個字段的實戰(zhàn)解讀訓練網(wǎng)絡(luò)用的是trainNetwork(net, layers, options)或者直接trainNetwork(X, Y, layers, options)。options配置決定了訓練的質(zhì)量和速度我給出一個工業(yè)級較穩(wěn)的配置options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MaxEpochs, 60, ... MiniBatchSize, 32, ... Shuffle, every-epoch, ... ValidationData, {XVal, YVal}, ... ValidationFrequency, 20, ... LearnRateSchedule, piecewise, ... LearnRateDropFactor, 0.1, ... LearnRateDropPeriod, 20, ... Verbose, true, ... Plots, training-progress, ... ExecutionEnvironment, auto);逐個說字段solver用adam不用sgdm的原因adam自適應(yīng)調(diào)整每個參數(shù)的學習率對學習率初始值不那么敏感表格數(shù)據(jù)和小批量場景下收斂更穩(wěn)。sgdm調(diào)好了上限更高但需要手調(diào)momentum和學習率衰減策略圖省事就adam。InitialLearnRate設(shè)0.001是adam的默認安全值。如果你發(fā)現(xiàn)loss降得太慢可以調(diào)大到0.01如果loss震蕩就降到0.0003。MaxEpochs對于小數(shù)據(jù)集30到80輪是個合理區(qū)間。不用設(shè)太多否則后期只是在擬合訓練集的噪聲。MiniBatchSize默認32。如果GPU顯存不夠就降到16或8。數(shù)據(jù)量很大時用64或128能加速但會影響收斂穩(wěn)定性。Shuffle設(shè)‘every-epoch’每個epoch打亂訓練數(shù)據(jù)順序防止模型學到順序相關(guān)的假規(guī)律。ValidationData從訓練集里切出一部分做驗證我在后面細講怎么切。ValidationFrequency每迭代20次驗證一次。迭代次數(shù)是“iteration”不是epoch。如果總樣本幾百個、batch32那一個epoch也就十幾二十次迭代所以20這個值大致可以保證每輪或隔輪都驗證一次。LearnRateSchedule用piecewise分段式衰減每20個epoch學習率乘以0.1。這種方式是經(jīng)典做法前期大步快跑后期小步精調(diào)。Plots設(shè)‘training-progress’可以在訓練窗口實時看到loss和accuracy曲線我強烈建議開著肉眼判斷模型是否正常比看任何日志都直觀。ExecutionEnvironment設(shè)‘a(chǎn)uto’自動選擇GPU或CPU如果沒GPU就CPU跑。4.2 訓練集、驗證集、測試集怎么切才科學切數(shù)據(jù)是模型評估里最容易被新手忽略的環(huán)節(jié)。正確流程是先把原始數(shù)據(jù)分成訓練集驗證集和測試集然后在訓練過程中用訓練集訓練、驗證集實時評估最后用測試集做一次性的最終評估。cv cvpartition(height(data), HoldOut, 0.2); % 20%做測試集 trainIdx training(cv); testIdx test(cv); % 在訓練集內(nèi)部再分驗證集 valIdx randi([1 sum(trainIdx)], floor(sum(trainIdx)*0.15), 1);我見過太多人犯的錯誤是直接把全部數(shù)據(jù)丟進trainNetwork然后用同一批數(shù)據(jù)測試得出一個虛高的準確率。那個數(shù)字拿到現(xiàn)場一測就打回原形。正確的做法必須像上面這樣留出獨立測試集而且測試集只在最后用一次不要根據(jù)測試集表現(xiàn)反復(fù)調(diào)參否則測試集就在你心里變成了驗證集評估意義會被污染。4.3 數(shù)據(jù)不平衡和二分類閾值怎么處理如果你的二分類數(shù)據(jù)類別比例嚴重失衡比如正樣本只有5%負樣本95%CNN很容易陷入“全部預(yù)測為負類”的局部最優(yōu)。直接改分類層不現(xiàn)實實用的方案有幾種第一種用MiniBatchSize控制采樣。在構(gòu)造訓練集的時候把正負樣本分開每個batch里按比例抽取。這個在Matlab里需要自定義minibatchqueue稍微麻煩一點但對不平衡數(shù)據(jù)效果非常顯著。第二種在trainingOptions里設(shè)置‘ClassWeights’參數(shù)給少數(shù)類更大的權(quán)重。這個參數(shù)在Matlab里是trainingOptions(adam, ClassWeights, [1 5])這樣的寫法需要確認版本支持。如果版本不支持最簡單的辦法是復(fù)制少數(shù)類樣本或做簡單過采樣。第三種是在最終評估時不要只盯accuracy要看混淆矩陣、召回率和精確率。很多工業(yè)場景下我們寧可犧牲一點負類的準確率也要保證正類的召回率這時候可以調(diào)整分類閾值。Matlab分類層的決策閾值默認是0.5如果要改變閾值你需要用predict函數(shù)拿到概率輸出再自己設(shè)定閾值。[~, scores] predict(net, XTest); % 二分類scores第二列是正類概率 predLabel scores(:, 2) 0.3; % 降低閾值提高召回5. 訓練過程中的實操觀察記錄和驗證曲線分析5.1 正常訓練曲線長什么樣當你點下運行按鈕訓練窗口彈出圖表之后前幾個iteration可能loss很高這是正常的因為網(wǎng)絡(luò)是隨機初始化的。大概10到30個iteration后訓練loss會出現(xiàn)斷崖式下降驗證準確率同步上升。這個過程可以粗略理解為網(wǎng)絡(luò)先學到全局統(tǒng)計規(guī)律再慢慢學細節(jié)。以我自己跑過的某制造業(yè)傳感器數(shù)據(jù)集為例初始loss約0.69第10個iteration降到0.45第30個iteration到0.2上下準確率從50%跳到90%以上后面曲線變緩60輪結(jié)束時訓練集準確率98%、驗證集準確率93%左右。這是典型的好跡象訓練集和驗證集差距不算太遠說明沒有嚴重過擬合。5.2 過擬合信號和應(yīng)對方法如果出現(xiàn)訓練準確率持續(xù)上升到99%但驗證準確率在80%附近來回震蕩這就是過擬合的紅色警報?？赡茉蛴袛?shù)據(jù)量太小、網(wǎng)絡(luò)容量過大、訓練輪數(shù)過多。應(yīng)對辦法按優(yōu)先級排列增加dropout比例從0.5調(diào)到0.6或0.7。減少網(wǎng)絡(luò)層數(shù)或卷積核數(shù)量。提前終止設(shè)ValidationPatience或者手動把MaxEpochs降到30。做數(shù)據(jù)增強。表格數(shù)據(jù)的增強方式包括加噪聲、縮放擾動、特征dropout時序數(shù)據(jù)可以隨機裁剪或改變速度。Matlab的augmentedImageDatastore主要面向圖像表格數(shù)據(jù)需要自己用循環(huán)生成。5.3 欠擬合信號和應(yīng)對方法如果訓練集和驗證集準確率都很低且loss下降緩慢比如20個epoch后訓練準確率還在70%以下那就是欠擬合或特征表達能力不足。這時候反向操作增大學習率、增加卷積核數(shù)量、增加層數(shù)、或者回到起點看特征工程是否合理。很多時候CNN救不了一個特征本身毫無判別力的數(shù)據(jù)集這點必須清醒認識。6. 全套評估代碼混淆矩陣、ROC、分類報告一網(wǎng)打盡訓練完成后evaluateClassification函數(shù)在R2022b后非常方便一條命令生成所有指標% 在測試集上做最終評估 YPred classify(net, XTest); % 混淆矩陣 cm confusionchart(YTest, YPred); cm.Title 測試集混淆矩陣; % 各類別精確率、召回率、F1 report evaluateClassification(YTest, YPred); % ROC曲線二分類或多分類都支持 rocObj rocmetrics(YTest, scores, classNames); plot(rocObj);這里我想多說一句混淆矩陣比準確率更能暴露問題。我見過一個二分類模型準確率97.5%看似很牛但打開混淆矩陣發(fā)現(xiàn)少數(shù)類只被正確檢出了5%因為少數(shù)類只占總樣本2%模型直接無腦預(yù)測多數(shù)類都能拿到98%。如果你只看accuracy就會把一個線都測不出來的殘廢模型當成寶貝。所以強烈建議每次訓練完把混淆矩陣、F1-score、AUC都看一遍再下結(jié)論。對于多分類你可以用rocmetrics的One-vs-Rest策略畫每個類別的ROC曲線Matlab自動處理了代碼不變。AUC值在0.8以上算可用0.9以上算擬合得相當好。7. 從二分類擴展到多分類以及場景化適配7.1 二分類變多分類只需要改三行代碼嚴格來說這套模板從一開始就兼容多分類。二分類轉(zhuǎn)三分類只需要把fullyConnectedLayer的numClasses從2改成3。確保標簽是三類categorical。如果類別不平衡ClassWeights改成三個權(quán)重。就這么簡單。CNN分類層天然支持任意數(shù)量的類別不需要像SVM那樣一個一個做OvR一對多拆分。我自己做過一個6分類的故障診斷項目就是拿這套模板直接跑的效果比同行用2層LSTM還穩(wěn)。原因在于故障特征大多是頻率和時域統(tǒng)計特征卷積天然的局部感知能力很適合捕捉它們之間的組合關(guān)系。7.2 如果輸入變成圖像或時序數(shù)據(jù)怎么快速改如果你的數(shù)據(jù)不是表格而是圖像那更好辦。圖片本身已經(jīng)是 h×w×c 的格式你只需要確保imageInputLayer參數(shù)和圖像尺寸一致% 假設(shè)圖像是64×64×3 imageInputLayer([64 64 3])但要注意卷積核尺寸也要改不能再是 [1 3]而應(yīng)該改成 [3 3] 或 [5 5]因為圖像是二維的卷積核在兩個方向都要滑動。池化層也要改成 [2 2] 而不是 [1 2]否則你只在寬度方向降采樣高度方向不動特征圖變成細長條信息利用率差。如果輸入是多通道時序信號那更簡單。每個樣本是一個 通道數(shù)×時間點 的矩陣比如8通道×800點。有兩種組織方式第一種是 [1, 800, 8] 時間在寬度通道在通道維度第二種是 [800, 8, 1]時間在高度通道在寬度。我推薦第一種因為默認的特征圖更符合“橫軸為序列、縱軸為通道”的閱讀習慣而且時間方向上的局部卷積可以更好地捕捉短期模式。8. 我踩過的坑附排查清單和避坑建議8.1 尺寸不匹配Matlab報錯最兇的問題這個錯誤90%是reshape維度算錯了。你reshape的目標必須嚴格等于總元素數(shù)。比如原始特征是 2000×502000個樣本、50個特征你想變成 [1 50 1 2000]那總元素數(shù)是1×50×1×2000100000正好等于2000×50沒問題。但如果你寫反成 [1 2000 1 50]總元素數(shù)也是100000不報錯但語義完全錯了——每個樣本由2000個“偽特征”組成訓練出來的模型是垃圾。我的建議是在reshape之后加一行斷言檢查assert(size(X, 4) m, 樣本數(shù)量不匹配); assert(size(X, 2) f, 特征維度不匹配);8.2 內(nèi)存爆炸Out of Memory怎么辦如果你數(shù)據(jù)量很大比如幾萬個樣本、幾千個特征直接把所有數(shù)據(jù)做成四維數(shù)組會吃到大量內(nèi)存。一個[50000 1000]的特征矩陣轉(zhuǎn)成[1 1000 1 50000]是200MB的double數(shù)組再加網(wǎng)絡(luò)訓練時的中間變量很容易爆內(nèi)存。解決辦法用single類型存數(shù)據(jù)數(shù)據(jù)量減半X single(X); 圖像輸入層支持single。用 tall 數(shù)組或 datastore 分批讀入trainNetwork本身支持Datastore輸入但代碼復(fù)雜度會上來。減小MiniBatchSize訓練內(nèi)存峰值會明顯下降。8.3 驗證集loss上升但準確率也上升這個現(xiàn)象初看很詭異其實是因為loss和accuracy不是完全單調(diào)負相關(guān)。loss是交叉熵它反映了預(yù)測概率的置信度如果模型對錯誤的樣本給出稍微高一點的置信度loss會上升但準確率可能沒變或微升。這個沒關(guān)系只要測試集表現(xiàn)穩(wěn)定就行不用過度擔心。8.4 CPU訓練慢成狗怎么加速Matlab的trainNetwork在CPU上也支持但CNN卷積運算密集CPU跟GPU差距可能幾十倍。沒有GPU的情況下最有效的加速辦法是減小網(wǎng)絡(luò)規(guī)模減少卷積層數(shù)、減少通道數(shù)、減小特征維度用PCA先降維。如果特征有幾百維我建議先做主成分分析降維到50維左右再喂CNN不僅能加速還能去除冗余噪聲準確率反而可能提升。8.5 部署時模型怎么給出去訓練好的net是一個SeriesNetwork或DAGNetwork對象?，F(xiàn)場交付有兩種選擇第一種是直接打包Matlab Runtime讓現(xiàn)場機器裝個運行時就能跑適合內(nèi)部使用。第二種是exportONNXNetwork導(dǎo)出ONNX然后轉(zhuǎn)成其他平臺或語言推理適合跨語言部署。還有第三種如果你只是要在Matlab里做實時預(yù)測直接用net作為函數(shù)調(diào)用即可延遲極低。9. 一套可直接復(fù)制的完整實戰(zhàn)模板最后我把上面所有的散裝代碼整合成一個完整的訓練腳本把你換數(shù)據(jù)時需要改的位置都用注釋標注出來。你可以把它保存成一個main.m直接運行%% 1. 數(shù)據(jù)加載與標簽準備 data readtable(your_data.csv); % 改成你自己的數(shù)據(jù) featMat table2array(data(:, 1:end-1)); % 前面列是特征 labels data{:, end}; % 最后一列是標簽 % 標簽轉(zhuǎn)categorical Y categorical(labels); classNames categories(Y); numClasses numel(classNames); %% 2. 數(shù)據(jù)劃分訓練集/驗證集/測試集 rng(42); % 固定隨機種子保證可復(fù)現(xiàn) cv cvpartition(Y, HoldOut, 0.2); trainIdx training(cv); testIdx test(cv); featTrain featMat(trainIdx, :); featTest featMat(testIdx, :); YTrain Y(trainIdx); YTest Y(testIdx); % 從訓練集中再分出驗證集 valRatio 0.15; numVal floor(sum(trainIdx) * valRatio); valIdx randperm(sum(trainIdx), numVal); featVal featTrain(valIdx, :); YVal YTrain(valIdx); % 剩余訓練數(shù)據(jù) featTrainRest featTrain; featTrainRest(valIdx, :) []; YTrainRest YTrain; YTrainRest(valIdx) []; %% 3. 歸一化在訓練集上計算參數(shù) mu mean(featTrainRest, 1); sigma std(featTrainRest, 0, 1); sigma(sigma 0) 1; % 避免除零 featTrainNorm (featTrainRest - mu) ./ sigma; featValNorm (featVal - mu) ./ sigma; featTestNorm (featTest - mu) ./ sigma; %% 4. 轉(zhuǎn)換為CNN輸入格式 [1 特征數(shù) 1 樣本數(shù)] XTrain reshape(featTrainNorm, [1, size(featTrainNorm,2), 1, size(featTrainNorm,1)]); XVal reshape(featValNorm, [1, size(featValNorm,2), 1, size(featValNorm,1)]); XTest reshape(featTestNorm, [1, size(featTestNorm,2), 1, size(featTestNorm,1)]); %% 5. 網(wǎng)絡(luò)結(jié)構(gòu)定義可自定義 featDim size(featTrainNorm, 2); layers [ imageInputLayer([1 featDim 1], Name, input) convolution2dLayer([1 3], 16, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) convolution2dLayer([1 3], 32, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool2) fullyConnectedLayer(64, Name, fc1) reluLayer(Name, relu_fc) dropoutLayer(0.5, Name, dropout) fullyConnectedLayer(numClasses, Name, fc_final) softmaxLayer(Name, softmax) classificationLayer(Name, output)]; %% 6. 訓練選項 options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MaxEpochs, 50, ... MiniBatchSize, 32, ... Shuffle, every-epoch, ... ValidationData, {XVal, YVal}, ... ValidationFrequency, 20, ... LearnRateSchedule, piecewise, ... LearnRateDropFactor, 0.2, ... LearnRateDropPeriod, 15, ... Verbose, true, ... Plots, training-progress, ... ExecutionEnvironment, auto); %% 7. 訓練 net trainNetwork(XTrain, YTrainRest, layers, options); %% 8. 評估 YPred classify(net, XTest); cm confusionchart(YTest, YPred); cm.Title 測試集混淆矩陣; [~, scores] predict(net, XTest); if numClasses 2 rocObj rocmetrics(YTest, scores(:, 2), classNames); else rocObj rocmetrics(YTest, scores, classNames); end plot(rocObj);換數(shù)據(jù)的時候只需要動第一步的readtable路徑和最后一列的標簽設(shè)置。如果特征維度特別大可以先把featMat做PCA降維再喂進來。如果你想把這個網(wǎng)絡(luò)接到實時數(shù)據(jù)流里做預(yù)測只要把 predict(net, newData) 封裝成函數(shù)就行我可以保證推理速度遠快于訓練速度幾毫秒一個樣本綽綽有余。我個人實際用下來的體會是這套模板最大的價值不在“先進”而在“可預(yù)期”。它結(jié)構(gòu)簡單、參數(shù)常規(guī)、收斂穩(wěn)定你拿到手上之后80%的精力可以花在特征工程和數(shù)據(jù)質(zhì)量問題排查上而不需要去調(diào)網(wǎng)絡(luò)結(jié)構(gòu)。CNN在表格數(shù)據(jù)上的效果雖然沒有深度學習神話吹得那么玄乎但在特征維數(shù)中等、樣本量幾千以上的場景里確實能比隨機森林和BP網(wǎng)絡(luò)高出幾個點的準確率尤其是特征之間存在復(fù)雜交互的時候。先跑通這個模板驗證CNN在你的數(shù)據(jù)上到底有沒有效果如果有效再考慮深挖更復(fù)雜的結(jié)構(gòu)我覺得這是性價比最高的路線。最后再分享一個小習慣——訓練前把關(guān)鍵中間變量比如mu、sigma、網(wǎng)絡(luò)結(jié)構(gòu)、訓練選項用mat文件存一份這樣即使你改了代碼重新訓練也能隨時回看上次跑的配置對比實驗的時候省太多事了。 Matlab CNN分類模型實戰(zhàn)：多維特征輸入與二分類/多分類模板
直接上干貨這次咱們用Matlab整點實用的CNN分類模型支持多維特征輸入二分類和多分類都能玩。先看效果再說原理代碼直接扒下來就能用替換數(shù)據(jù)分分鐘搞定——這話聽著就帶勁因為用Matlab寫CNN的教程是真的少大部分一搜全是Python PyTorch可咱們工業(yè)界、實驗室里大量老系統(tǒng)、儀器采集程序都是基于Matlab的數(shù)據(jù)預(yù)處理、特征提取、畫圖、報表全在一條鏈路上你非要為了一個分類器去搭Python環(huán)境、學新框架、折騰CUDA那性價比屬實太低。這篇博文不講故事、不寫情懷就講一套我實際調(diào)通過的Matlab CNN分類模板它既能吃二維表格特征就是行是樣本、列是特征那種也能吃多維特征比如把多個傳感器/多個時間窗口拼成一個三維塊訓練完直接出混淆矩陣、ROC曲線二分類換多分類只需要改一個數(shù)字。下面我要寫的內(nèi)容每一段都是實操現(xiàn)場記錄代碼我會從頭到尾列出來關(guān)鍵參數(shù)我逐個解釋為什么這么設(shè)還會把我在兩個實際項目里踩過的坑一并倒出來。1. 這套CNN分類模板的整體設(shè)計思路1.1 它到底解決什么問題先說清楚這套東西的使用場景。假設(shè)你手頭有一個特征矩陣每一行代表一個樣本每一列是某個特征維度可能是傳感器均值、方差、峰值、頻域能量、統(tǒng)計量之類的組合。你之前要么用SVM、隨機森林做分類要么用BP神經(jīng)網(wǎng)絡(luò)但分類準確率卡在某個瓶頸上。這時候你想試試CNN是因為CNN能通過卷積核自動提取局部特征組合比如它自己會學到“特征3和特征7的某種相對關(guān)系有判別力”而不需要你手工構(gòu)造交互項。而多維特征輸入是指數(shù)據(jù)本身不只是一張二維表有的場景下每個樣本是“多個通道的序列”比如振動信號分x、y、z三個方向每個方向截取200個點那一個樣本就是3×200的矩陣或者你的原始數(shù)據(jù)是多個傳感器同時采集時間窗口內(nèi)有800個采樣點8個通道那一個樣本就是8×800。CNN天然能吃這種“多通道二維數(shù)據(jù)”只要把數(shù)據(jù)組織成 H×W×C 的形式Matlab的 imageInputLayer 就能直接接收。這套模板的定位就是你只需要把你的數(shù)據(jù)整理成“樣本數(shù)×特征數(shù)”或“樣本數(shù)×高度×寬度×通道數(shù)”然后按我的代碼填進去訓練、評估、可視化全自動。換句話說我不搞花里胡哨的網(wǎng)絡(luò)結(jié)構(gòu)就是一套短小精悍、能跑通、能出論文圖表、能交付給現(xiàn)場使用的基線模型。1.2 為什么用Matlab而不是Python這個問題我被問過很多次。Python生態(tài)確實豐富PyTorch寫CNN跟喝水一樣但很多工程師手里的數(shù)據(jù)本身就是Matlab出來的或者需要和Simulink模型聯(lián)動又或者單位電腦不允許隨便裝Python環(huán)境和驅(qū)動。Matlab的Deep Learning Toolbox從R2018b之后已經(jīng)相當成熟trainNetwork、trainingOptions、confusionchart這些函數(shù)封裝得非常好你不需要手寫反向傳播不需要手動管理GPU顯存代碼量比PyTorch還短。另外Matlab的調(diào)試體驗和數(shù)據(jù)可視化是傳統(tǒng)強項訓練過程中你可以實時看訓練精度、損失曲線結(jié)束后一鍵出混淆矩陣熱力圖甚至能導(dǎo)出訓練過程動畫。對于非純算法崗的人來說這套工作流友好得離譜。當然缺點是部署相對笨重但它自帶的Coder可以生成C代碼也能導(dǎo)出ONNX給其他平臺用這塊后面我會提一下。1.3 模板的整體架構(gòu)這套模板從數(shù)據(jù)到結(jié)果分五步數(shù)據(jù)導(dǎo)入與整理、數(shù)據(jù)歸一化與格式轉(zhuǎn)換、網(wǎng)絡(luò)結(jié)構(gòu)定義、訓練參數(shù)配置、評估與可視化。我把每一步都封裝成獨立小節(jié)方便你按需替換。核心思想是“面向數(shù)據(jù)形狀編程”就是不管你的原始數(shù)據(jù)長什么樣最終都統(tǒng)一變成 [高度×寬度×通道數(shù)×樣本數(shù)] 的四維數(shù)組喂給CNN。如果你只有普通表格特征那就把每行特征重排成 [1×特征數(shù)×1] 的形狀相當于一個“單像素寬圖片”照樣能跑卷積。為了讓你快速建立全局觀我先給出代碼調(diào)用總覽后續(xù)每段代碼都會展開解釋。% 主入口示例 data readtable(your_data.csv); % 讀數(shù)據(jù) featMat table2array(data(:, 2:end)); % 特征 labels data.label; % 標簽 normMat normalize(featMat, zscore); % 歸一化 % 重排成CNN輸入格式 X reshape(normMat, [1, size(normMat,2), 1, size(normMat,1)]); Y categorical(labels); % 定義網(wǎng)絡(luò) layers [ ... imageInputLayer([1 size(normMat,2) 1]) convolution2dLayer([1 3], 16, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) fullyConnectedLayer(2, Name, fc1) softmaxLayer(Name, softmax) classificationLayer(Name, output)]; % 訓練 options trainingOptions(sgdm, MaxEpochs, 30, MiniBatchSize, 32, Shuffle, every-epoch, ValidationData, ...); net trainNetwork(X, Y, layers, options);看到?jīng)]核心代碼就是這么短。接下來的內(nèi)容就是把每一行的“為什么”講透然后告訴你不同數(shù)據(jù)形態(tài)怎么改。2. 數(shù)據(jù)準備和格式轉(zhuǎn)換80%的坑都埋在這2.1 從表格數(shù)據(jù)到CNN輸入維度的轉(zhuǎn)換細節(jié)很多初學者第一次跑CNN都會卡在“數(shù)據(jù)格式不對”。Matlab的imageInputLayer接收的是 h×w×c×n 的四維數(shù)組h是高度w是寬度c是通道數(shù)n是樣本數(shù)。對于特征向量這種形式最自然的理解方式就是“高為1、寬等于特征數(shù)量、單通道的圖”。關(guān)鍵是reshape時別把行列搞反。假設(shè)你的特征矩陣是 data——它的大小是 m×fm是樣本數(shù)f是特征數(shù)。我們要的是每個樣本按行取出形成一個 [1, f, 1] 的特征圖所以最不容易錯的辦法是先把矩陣轉(zhuǎn)置再reshape% data: m×f, 每一行是一個樣本 X_raw data’; % f×m X reshape(X_raw, [1, f, 1, m]); % 高度1、寬度f、通道1、數(shù)量m這里有人會問為什么不是 [f, 1, 1]你要從CNN的角度想convolution2dLayer的卷積核會沿“寬”方向滑動如果你把特征放成豎向 [f, 1]那1維卷積核 [1,3] 就沒辦法正?；瑒与m然技術(shù)上也能跑但參數(shù)含義會變得很擰巴。所以統(tǒng)一用 [1, feature_dim, 1] 是約定俗成的做法。如果你的數(shù)據(jù)本來就是圖像比如灰度圖是 28×28×1×n彩色圖是 28×28×3×n那就完全不用restructure直接喂就行。如果數(shù)據(jù)是“多通道時序信號”比如8通道、每個通道800點那就是 [800, 8] 轉(zhuǎn)成 [1, 800, 8] 或者 [800, 8, 1]這兩種放法對應(yīng)不同的卷積方向理解。我自己習慣把時間放寬度、通道放通道數(shù)即 [1, 800, 8]因為這樣卷積核每次看到的是一段局部時間內(nèi)的所有通道組合符合傳感器融合的直覺。2.2 歸一化的正確姿勢和常見誤區(qū)CNN對輸入尺度很敏感不是因為它內(nèi)部有什么玄學而是因為卷積核的權(quán)重乘以輸入后如果數(shù)值量級差異極大梯度更新就會亂飄訓練很難收斂。我見過有人直接把原始數(shù)據(jù)丟進去loss在前10個epoch像過山車一樣下不來歸一化之后10個epoch就開始穩(wěn)定下降。在Matlab里normalize函數(shù)有幾種模式zscore和range最常用。zscore是“(x - mean)/std”適用于特征本身近似正態(tài)分布、且沒有極端離群點的場景range是“min-max縮放”適用于特征值本身有界且需要映射到[0,1]的場景。如果數(shù)據(jù)里有大量離群點直接zscore會導(dǎo)致一些小特征被壓縮到幾乎為零這時候建議先做分位數(shù)裁剪再歸一化。% 推薦做法按列zscore歸一化 normMat normalize(featMat, 2, zscore); % 第二個參數(shù)2表示按列操作對Matlab來說就是每一列特征獨立歸一注意歸一化的均值和標準差必須在訓練集上計算然后直接套到驗證集和測試集上。如果對整個數(shù)據(jù)集統(tǒng)一歸一化會造成輕微的信息泄漏最后評估指標會虛高。這個問題在表格數(shù)據(jù)上不明顯但時間序列和圖像上會放大養(yǎng)成好習慣很重要。2.3 標簽格式categorical是標配Matlab分類層的標簽要求是categorical類型而不是字符串數(shù)組或數(shù)值向量。很多人直接用數(shù)值0和1當標簽然后訓練報錯“Invalid training label”。正確做法是Y_raw data.label; % 可能是double或cell字符串 Y categorical(Y_raw);如果你的標簽是字符串直接用 categorical 轉(zhuǎn)換。如果標簽是數(shù)值0和1也能轉(zhuǎn)但要注意二分類用0/1標簽的時候categorical之后類別名稱會變成“0”和“1”分類層會把它們視為兩個類別沒問題。多分類同理轉(zhuǎn)成categorical之后Matlab會自動按字母序或首次出現(xiàn)順序排列類別。如果你對類別順序有要求可以用 reordercats 手動調(diào)整這個影響混淆矩陣的展示順序但不會影響模型本身。3. 網(wǎng)絡(luò)結(jié)構(gòu)是怎么定出來的每一層我都跟你掰扯清楚3.1 從圖像輸入層到特征提取的流程網(wǎng)絡(luò)結(jié)構(gòu)是CNN的核心但我必須先把丑話說在前面——對于表格數(shù)據(jù)和中小規(guī)模數(shù)據(jù)而言網(wǎng)絡(luò)層數(shù)不需要太深。很多人被ImageNet的成功經(jīng)驗帶偏了一上來就是十幾層卷積結(jié)果自己的數(shù)據(jù)只有幾千個樣本訓練沒幾步就開始嚴重過擬合trainning accuracy接近100%驗證集一塌糊涂。這里的關(guān)鍵是CNN的容量要跟數(shù)據(jù)規(guī)模匹配。我這套模板選的是一個非常穩(wěn)健的基線結(jié)構(gòu)layers [ imageInputLayer([1 featDim 1], Name, input, Normalization, none) convolution2dLayer([1 3], 16, Padding, same, Stride, [1 1], Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) convolution2dLayer([1 3], 32, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool2) fullyConnectedLayer(32, Name, fc1) reluLayer(Name, relu_fc) dropoutLayer(0.5, Name, dropout) fullyConnectedLayer(numClasses, Name, fc_final) softmaxLayer(Name, softmax) classificationLayer(Name, output)];imageInputLayer的Normalization參數(shù)我直接設(shè)成‘none’因為前面我們已經(jīng)手動歸一化過了避免重復(fù)處理。如果你的原始數(shù)據(jù)沒有歸一化可以考慮在這里設(shè)成‘zscore’它會自動學習每個通道的均值和方差并內(nèi)置到網(wǎng)絡(luò)里。但我個人的建議是數(shù)據(jù)預(yù)處理應(yīng)該在網(wǎng)絡(luò)外面顯式做這樣你可以把同一套歸一化參數(shù)導(dǎo)出到部署端免得部署時還要從網(wǎng)絡(luò)里扒參數(shù)。3.2 卷積核尺寸和通道數(shù)的選擇邏輯第一個卷積核我設(shè)置成 [1 3]意思是核的高度是1、寬度是3。因為輸入是 [1 featureDim]特征在寬度方向上排列所以卷積核高度為1不會跨行去卷寬度3表示每次看相鄰的3個特征。這相當于一個“特征組合器”把相鄰三個特征的信息融合成一個值符合局部感受野的直覺。至于通道數(shù)第一層16、第二層32這個數(shù)值是我反復(fù)測試后覺得性價比最高的配置。16個初始通道足夠提取多種局部特征模式32個第二層通道能讓網(wǎng)絡(luò)在更高語義層做組合。不要第一層就上64、128對于幾千個樣本的表格數(shù)據(jù)來說參數(shù)量增加幾倍但準確率不會有本質(zhì)提升反而訓練更慢、更容易過擬合。如果有經(jīng)驗的讀者想調(diào)整可以按這個原則數(shù)據(jù)量越大、輸入特征維度越寬卷積核數(shù)量和層數(shù)可以適當增加反之則必須縮減。比如你只有500個樣本、20個特征那我建議去掉第二個卷積塊保留到pool1之后就直接接全連接否則一定會過擬合。3.3 BatchNorm和ReLU為什么綁在一起用BatchNormalization層的核心作用是讓每一層的輸入分布保持穩(wěn)定避免訓練過程中由于前面層參數(shù)更新導(dǎo)致后面層輸入劇烈變化。它做兩件事先對每個通道計算均值方差做歸一化再通過可學習的縮放和平移參數(shù)恢復(fù)表達能力。它的好處是不光加速收斂還在一定程度上起到正則化作用減少對dropout的依賴。ReLU就是簡單的max(0,x)它的作用是引入非線性。如果不加激活函數(shù)所有卷積和全連接堆疊起來本質(zhì)上還是一個線性變換CNN的擬合能力就廢了。ReLU在正區(qū)間梯度恒為1不會像sigmoid那樣梯度飽和所以深層網(wǎng)絡(luò)訓練更穩(wěn)。在Matlab里BatchNorm必須搭配訓練過程使用預(yù)測時會自動用訓練階段累積的均值和方差不需要你額外處理。3.4 池化層和Dropout的真正作用maxPooling2dLayer的作用是降采樣把特征圖的寬高減半。它一方面減少計算量另一方面讓后續(xù)的卷積操作能覆蓋更廣的范圍相當于粗?；乇Ａ麸@著特征。我這里用的是大小[1 2]步長[1 2]意味著寬度方向每2個元素取1個最大的特征維度直接減半。如果特征維度特別小比如不到16那就不建議池化了直接保留到全連接層會更穩(wěn)。dropoutLayer則是在訓練時隨機丟棄一部分神經(jīng)元讓網(wǎng)絡(luò)不能過分依賴某個特定節(jié)點從而提高泛化能力。0.5的丟棄比例是默認的安全值。對于容易過擬合的小數(shù)據(jù)集這個層簡直是救命稻草。我一般把dropout放在第一個全連接層后面而不是最后分類層前這樣能讓最后一層保持完整的特征輸入效果更好。3.5 輸出層與分類層的配置要點末尾的流程是全連接層輸出類別數(shù)→ softmax層 → classificationLayer。fullyConnectedLayer里的第二個參數(shù)就是類別數(shù)。二分類就是2三分類就是3。softmaxLayer把全連接輸出映射成每個類別的概率總和為1。classificationLayer接收概率分布和真實標簽計算交叉熵損失并執(zhí)行反向傳播。有人會問二分類可不可以用sigmoid加binary cross entropyMatlab的Deep Learning Toolbox里分類層對二分類就是這么處理的但網(wǎng)絡(luò)結(jié)構(gòu)是完全一樣的唯一的區(qū)別是類別數(shù)量設(shè)為2不用特殊處理。放心用就行。4. 訓練參數(shù)怎么配這些選項決定你模型是菜鳥還是能打4.1 trainingOptions里每個字段的實戰(zhàn)解讀訓練網(wǎng)絡(luò)用的是trainNetwork(net, layers, options)或者直接trainNetwork(X, Y, layers, options)。options配置決定了訓練的質(zhì)量和速度我給出一個工業(yè)級較穩(wěn)的配置options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MaxEpochs, 60, ... MiniBatchSize, 32, ... Shuffle, every-epoch, ... ValidationData, {XVal, YVal}, ... ValidationFrequency, 20, ... LearnRateSchedule, piecewise, ... LearnRateDropFactor, 0.1, ... LearnRateDropPeriod, 20, ... Verbose, true, ... Plots, training-progress, ... ExecutionEnvironment, auto);逐個說字段solver用adam不用sgdm的原因adam自適應(yīng)調(diào)整每個參數(shù)的學習率對學習率初始值不那么敏感表格數(shù)據(jù)和小批量場景下收斂更穩(wěn)。sgdm調(diào)好了上限更高但需要手調(diào)momentum和學習率衰減策略圖省事就adam。InitialLearnRate設(shè)0.001是adam的默認安全值。如果你發(fā)現(xiàn)loss降得太慢可以調(diào)大到0.01如果loss震蕩就降到0.0003。MaxEpochs對于小數(shù)據(jù)集30到80輪是個合理區(qū)間。不用設(shè)太多否則后期只是在擬合訓練集的噪聲。MiniBatchSize默認32。如果GPU顯存不夠就降到16或8。數(shù)據(jù)量很大時用64或128能加速但會影響收斂穩(wěn)定性。Shuffle設(shè)‘every-epoch’每個epoch打亂訓練數(shù)據(jù)順序防止模型學到順序相關(guān)的假規(guī)律。ValidationData從訓練集里切出一部分做驗證我在后面細講怎么切。ValidationFrequency每迭代20次驗證一次。迭代次數(shù)是“iteration”不是epoch。如果總樣本幾百個、batch32那一個epoch也就十幾二十次迭代所以20這個值大致可以保證每輪或隔輪都驗證一次。LearnRateSchedule用piecewise分段式衰減每20個epoch學習率乘以0.1。這種方式是經(jīng)典做法前期大步快跑后期小步精調(diào)。Plots設(shè)‘training-progress’可以在訓練窗口實時看到loss和accuracy曲線我強烈建議開著肉眼判斷模型是否正常比看任何日志都直觀。ExecutionEnvironment設(shè)‘a(chǎn)uto’自動選擇GPU或CPU如果沒GPU就CPU跑。4.2 訓練集、驗證集、測試集怎么切才科學切數(shù)據(jù)是模型評估里最容易被新手忽略的環(huán)節(jié)。正確流程是先把原始數(shù)據(jù)分成訓練集驗證集和測試集然后在訓練過程中用訓練集訓練、驗證集實時評估最后用測試集做一次性的最終評估。cv cvpartition(height(data), HoldOut, 0.2); % 20%做測試集 trainIdx training(cv); testIdx test(cv); % 在訓練集內(nèi)部再分驗證集 valIdx randi([1 sum(trainIdx)], floor(sum(trainIdx)*0.15), 1);我見過太多人犯的錯誤是直接把全部數(shù)據(jù)丟進trainNetwork然后用同一批數(shù)據(jù)測試得出一個虛高的準確率。那個數(shù)字拿到現(xiàn)場一測就打回原形。正確的做法必須像上面這樣留出獨立測試集而且測試集只在最后用一次不要根據(jù)測試集表現(xiàn)反復(fù)調(diào)參否則測試集就在你心里變成了驗證集評估意義會被污染。4.3 數(shù)據(jù)不平衡和二分類閾值怎么處理如果你的二分類數(shù)據(jù)類別比例嚴重失衡比如正樣本只有5%負樣本95%CNN很容易陷入“全部預(yù)測為負類”的局部最優(yōu)。直接改分類層不現(xiàn)實實用的方案有幾種第一種用MiniBatchSize控制采樣。在構(gòu)造訓練集的時候把正負樣本分開每個batch里按比例抽取。這個在Matlab里需要自定義minibatchqueue稍微麻煩一點但對不平衡數(shù)據(jù)效果非常顯著。第二種在trainingOptions里設(shè)置‘ClassWeights’參數(shù)給少數(shù)類更大的權(quán)重。這個參數(shù)在Matlab里是trainingOptions(adam, ClassWeights, [1 5])這樣的寫法需要確認版本支持。如果版本不支持最簡單的辦法是復(fù)制少數(shù)類樣本或做簡單過采樣。第三種是在最終評估時不要只盯accuracy要看混淆矩陣、召回率和精確率。很多工業(yè)場景下我們寧可犧牲一點負類的準確率也要保證正類的召回率這時候可以調(diào)整分類閾值。Matlab分類層的決策閾值默認是0.5如果要改變閾值你需要用predict函數(shù)拿到概率輸出再自己設(shè)定閾值。[~, scores] predict(net, XTest); % 二分類scores第二列是正類概率 predLabel scores(:, 2) 0.3; % 降低閾值提高召回5. 訓練過程中的實操觀察記錄和驗證曲線分析5.1 正常訓練曲線長什么樣當你點下運行按鈕訓練窗口彈出圖表之后前幾個iteration可能loss很高這是正常的因為網(wǎng)絡(luò)是隨機初始化的。大概10到30個iteration后訓練loss會出現(xiàn)斷崖式下降驗證準確率同步上升。這個過程可以粗略理解為網(wǎng)絡(luò)先學到全局統(tǒng)計規(guī)律再慢慢學細節(jié)。以我自己跑過的某制造業(yè)傳感器數(shù)據(jù)集為例初始loss約0.69第10個iteration降到0.45第30個iteration到0.2上下準確率從50%跳到90%以上后面曲線變緩60輪結(jié)束時訓練集準確率98%、驗證集準確率93%左右。這是典型的好跡象訓練集和驗證集差距不算太遠說明沒有嚴重過擬合。5.2 過擬合信號和應(yīng)對方法如果出現(xiàn)訓練準確率持續(xù)上升到99%但驗證準確率在80%附近來回震蕩這就是過擬合的紅色警報?？赡茉蛴袛?shù)據(jù)量太小、網(wǎng)絡(luò)容量過大、訓練輪數(shù)過多。應(yīng)對辦法按優(yōu)先級排列增加dropout比例從0.5調(diào)到0.6或0.7。減少網(wǎng)絡(luò)層數(shù)或卷積核數(shù)量。提前終止設(shè)ValidationPatience或者手動把MaxEpochs降到30。做數(shù)據(jù)增強。表格數(shù)據(jù)的增強方式包括加噪聲、縮放擾動、特征dropout時序數(shù)據(jù)可以隨機裁剪或改變速度。Matlab的augmentedImageDatastore主要面向圖像表格數(shù)據(jù)需要自己用循環(huán)生成。5.3 欠擬合信號和應(yīng)對方法如果訓練集和驗證集準確率都很低且loss下降緩慢比如20個epoch后訓練準確率還在70%以下那就是欠擬合或特征表達能力不足。這時候反向操作增大學習率、增加卷積核數(shù)量、增加層數(shù)、或者回到起點看特征工程是否合理。很多時候CNN救不了一個特征本身毫無判別力的數(shù)據(jù)集這點必須清醒認識。6. 全套評估代碼混淆矩陣、ROC、分類報告一網(wǎng)打盡訓練完成后evaluateClassification函數(shù)在R2022b后非常方便一條命令生成所有指標% 在測試集上做最終評估 YPred classify(net, XTest); % 混淆矩陣 cm confusionchart(YTest, YPred); cm.Title 測試集混淆矩陣; % 各類別精確率、召回率、F1 report evaluateClassification(YTest, YPred); % ROC曲線二分類或多分類都支持 rocObj rocmetrics(YTest, scores, classNames); plot(rocObj);這里我想多說一句混淆矩陣比準確率更能暴露問題。我見過一個二分類模型準確率97.5%看似很牛但打開混淆矩陣發(fā)現(xiàn)少數(shù)類只被正確檢出了5%因為少數(shù)類只占總樣本2%模型直接無腦預(yù)測多數(shù)類都能拿到98%。如果你只看accuracy就會把一個線都測不出來的殘廢模型當成寶貝。所以強烈建議每次訓練完把混淆矩陣、F1-score、AUC都看一遍再下結(jié)論。對于多分類你可以用rocmetrics的One-vs-Rest策略畫每個類別的ROC曲線Matlab自動處理了代碼不變。AUC值在0.8以上算可用0.9以上算擬合得相當好。7. 從二分類擴展到多分類以及場景化適配7.1 二分類變多分類只需要改三行代碼嚴格來說這套模板從一開始就兼容多分類。二分類轉(zhuǎn)三分類只需要把fullyConnectedLayer的numClasses從2改成3。確保標簽是三類categorical。如果類別不平衡ClassWeights改成三個權(quán)重。就這么簡單。CNN分類層天然支持任意數(shù)量的類別不需要像SVM那樣一個一個做OvR一對多拆分。我自己做過一個6分類的故障診斷項目就是拿這套模板直接跑的效果比同行用2層LSTM還穩(wěn)。原因在于故障特征大多是頻率和時域統(tǒng)計特征卷積天然的局部感知能力很適合捕捉它們之間的組合關(guān)系。7.2 如果輸入變成圖像或時序數(shù)據(jù)怎么快速改如果你的數(shù)據(jù)不是表格而是圖像那更好辦。圖片本身已經(jīng)是 h×w×c 的格式你只需要確保imageInputLayer參數(shù)和圖像尺寸一致% 假設(shè)圖像是64×64×3 imageInputLayer([64 64 3])但要注意卷積核尺寸也要改不能再是 [1 3]而應(yīng)該改成 [3 3] 或 [5 5]因為圖像是二維的卷積核在兩個方向都要滑動。池化層也要改成 [2 2] 而不是 [1 2]否則你只在寬度方向降采樣高度方向不動特征圖變成細長條信息利用率差。如果輸入是多通道時序信號那更簡單。每個樣本是一個 通道數(shù)×時間點 的矩陣比如8通道×800點。有兩種組織方式第一種是 [1, 800, 8] 時間在寬度通道在通道維度第二種是 [800, 8, 1]時間在高度通道在寬度。我推薦第一種因為默認的特征圖更符合“橫軸為序列、縱軸為通道”的閱讀習慣而且時間方向上的局部卷積可以更好地捕捉短期模式。8. 我踩過的坑附排查清單和避坑建議8.1 尺寸不匹配Matlab報錯最兇的問題這個錯誤90%是reshape維度算錯了。你reshape的目標必須嚴格等于總元素數(shù)。比如原始特征是 2000×502000個樣本、50個特征你想變成 [1 50 1 2000]那總元素數(shù)是1×50×1×2000100000正好等于2000×50沒問題。但如果你寫反成 [1 2000 1 50]總元素數(shù)也是100000不報錯但語義完全錯了——每個樣本由2000個“偽特征”組成訓練出來的模型是垃圾。我的建議是在reshape之后加一行斷言檢查assert(size(X, 4) m, 樣本數(shù)量不匹配); assert(size(X, 2) f, 特征維度不匹配);8.2 內(nèi)存爆炸Out of Memory怎么辦如果你數(shù)據(jù)量很大比如幾萬個樣本、幾千個特征直接把所有數(shù)據(jù)做成四維數(shù)組會吃到大量內(nèi)存。一個[50000 1000]的特征矩陣轉(zhuǎn)成[1 1000 1 50000]是200MB的double數(shù)組再加網(wǎng)絡(luò)訓練時的中間變量很容易爆內(nèi)存。解決辦法用single類型存數(shù)據(jù)數(shù)據(jù)量減半X single(X); 圖像輸入層支持single。用 tall 數(shù)組或 datastore 分批讀入trainNetwork本身支持Datastore輸入但代碼復(fù)雜度會上來。減小MiniBatchSize訓練內(nèi)存峰值會明顯下降。8.3 驗證集loss上升但準確率也上升這個現(xiàn)象初看很詭異其實是因為loss和accuracy不是完全單調(diào)負相關(guān)。loss是交叉熵它反映了預(yù)測概率的置信度如果模型對錯誤的樣本給出稍微高一點的置信度loss會上升但準確率可能沒變或微升。這個沒關(guān)系只要測試集表現(xiàn)穩(wěn)定就行不用過度擔心。8.4 CPU訓練慢成狗怎么加速Matlab的trainNetwork在CPU上也支持但CNN卷積運算密集CPU跟GPU差距可能幾十倍。沒有GPU的情況下最有效的加速辦法是減小網(wǎng)絡(luò)規(guī)模減少卷積層數(shù)、減少通道數(shù)、減小特征維度用PCA先降維。如果特征有幾百維我建議先做主成分分析降維到50維左右再喂CNN不僅能加速還能去除冗余噪聲準確率反而可能提升。8.5 部署時模型怎么給出去訓練好的net是一個SeriesNetwork或DAGNetwork對象?，F(xiàn)場交付有兩種選擇第一種是直接打包Matlab Runtime讓現(xiàn)場機器裝個運行時就能跑適合內(nèi)部使用。第二種是exportONNXNetwork導(dǎo)出ONNX然后轉(zhuǎn)成其他平臺或語言推理適合跨語言部署。還有第三種如果你只是要在Matlab里做實時預(yù)測直接用net作為函數(shù)調(diào)用即可延遲極低。9. 一套可直接復(fù)制的完整實戰(zhàn)模板最后我把上面所有的散裝代碼整合成一個完整的訓練腳本把你換數(shù)據(jù)時需要改的位置都用注釋標注出來。你可以把它保存成一個main.m直接運行%% 1. 數(shù)據(jù)加載與標簽準備 data readtable(your_data.csv); % 改成你自己的數(shù)據(jù) featMat table2array(data(:, 1:end-1)); % 前面列是特征 labels data{:, end}; % 最后一列是標簽 % 標簽轉(zhuǎn)categorical Y categorical(labels); classNames categories(Y); numClasses numel(classNames); %% 2. 數(shù)據(jù)劃分訓練集/驗證集/測試集 rng(42); % 固定隨機種子保證可復(fù)現(xiàn) cv cvpartition(Y, HoldOut, 0.2); trainIdx training(cv); testIdx test(cv); featTrain featMat(trainIdx, :); featTest featMat(testIdx, :); YTrain Y(trainIdx); YTest Y(testIdx); % 從訓練集中再分出驗證集 valRatio 0.15; numVal floor(sum(trainIdx) * valRatio); valIdx randperm(sum(trainIdx), numVal); featVal featTrain(valIdx, :); YVal YTrain(valIdx); % 剩余訓練數(shù)據(jù) featTrainRest featTrain; featTrainRest(valIdx, :) []; YTrainRest YTrain; YTrainRest(valIdx) []; %% 3. 歸一化在訓練集上計算參數(shù) mu mean(featTrainRest, 1); sigma std(featTrainRest, 0, 1); sigma(sigma 0) 1; % 避免除零 featTrainNorm (featTrainRest - mu) ./ sigma; featValNorm (featVal - mu) ./ sigma; featTestNorm (featTest - mu) ./ sigma; %% 4. 轉(zhuǎn)換為CNN輸入格式 [1 特征數(shù) 1 樣本數(shù)] XTrain reshape(featTrainNorm, [1, size(featTrainNorm,2), 1, size(featTrainNorm,1)]); XVal reshape(featValNorm, [1, size(featValNorm,2), 1, size(featValNorm,1)]); XTest reshape(featTestNorm, [1, size(featTestNorm,2), 1, size(featTestNorm,1)]); %% 5. 網(wǎng)絡(luò)結(jié)構(gòu)定義可自定義 featDim size(featTrainNorm, 2); layers [ imageInputLayer([1 featDim 1], Name, input) convolution2dLayer([1 3], 16, Padding, same, Name, conv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool1) convolution2dLayer([1 3], 32, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) maxPooling2dLayer([1 2], Stride, [1 2], Name, pool2) fullyConnectedLayer(64, Name, fc1) reluLayer(Name, relu_fc) dropoutLayer(0.5, Name, dropout) fullyConnectedLayer(numClasses, Name, fc_final) softmaxLayer(Name, softmax) classificationLayer(Name, output)]; %% 6. 訓練選項 options trainingOptions(adam, ... InitialLearnRate, 0.001, ... MaxEpochs, 50, ... MiniBatchSize, 32, ... Shuffle, every-epoch, ... ValidationData, {XVal, YVal}, ... ValidationFrequency, 20, ... LearnRateSchedule, piecewise, ... LearnRateDropFactor, 0.2, ... LearnRateDropPeriod, 15, ... Verbose, true, ... Plots, training-progress, ... ExecutionEnvironment, auto); %% 7. 訓練 net trainNetwork(XTrain, YTrainRest, layers, options); %% 8. 評估 YPred classify(net, XTest); cm confusionchart(YTest, YPred); cm.Title 測試集混淆矩陣; [~, scores] predict(net, XTest); if numClasses 2 rocObj rocmetrics(YTest, scores(:, 2), classNames); else rocObj rocmetrics(YTest, scores, classNames); end plot(rocObj);換數(shù)據(jù)的時候只需要動第一步的readtable路徑和最后一列的標簽設(shè)置。如果特征維度特別大可以先把featMat做PCA降維再喂進來。如果你想把這個網(wǎng)絡(luò)接到實時數(shù)據(jù)流里做預(yù)測只要把 predict(net, newData) 封裝成函數(shù)就行我可以保證推理速度遠快于訓練速度幾毫秒一個樣本綽綽有余。我個人實際用下來的體會是這套模板最大的價值不在“先進”而在“可預(yù)期”。它結(jié)構(gòu)簡單、參數(shù)常規(guī)、收斂穩(wěn)定你拿到手上之后80%的精力可以花在特征工程和數(shù)據(jù)質(zhì)量問題排查上而不需要去調(diào)網(wǎng)絡(luò)結(jié)構(gòu)。CNN在表格數(shù)據(jù)上的效果雖然沒有深度學習神話吹得那么玄乎但在特征維數(shù)中等、樣本量幾千以上的場景里確實能比隨機森林和BP網(wǎng)絡(luò)高出幾個點的準確率尤其是特征之間存在復(fù)雜交互的時候。先跑通這個模板驗證CNN在你的數(shù)據(jù)上到底有沒有效果如果有效再考慮深挖更復(fù)雜的結(jié)構(gòu)我覺得這是性價比最高的路線。最后再分享一個小習慣——訓練前把關(guān)鍵中間變量比如mu、sigma、網(wǎng)絡(luò)結(jié)構(gòu)、訓練選項用mat文件存一份這樣即使你改了代碼重新訓練也能隨時回看上次跑的配置對比實驗的時候省太多事了。