簡介這套Python實現(xiàn)的基于CNN網(wǎng)絡(luò)入侵檢測項目源碼與文檔說明適合深度學習入門、網(wǎng)絡(luò)安全方向課設(shè)或期末大作業(yè)的本科生及自學者。項目難度適中代碼經(jīng)過本地編譯驗證完整覆蓋NSL-KDD數(shù)據(jù)集預處理、CNN模型定義、訓練與預測流程并附有README說明與實操文檔可幫助理解入侵檢測任務的建模思路與代碼組織方式。壓縮包共33個文件約21.58MB主要包含4個Python源碼文件、12個cvs數(shù)據(jù)文件、7個xml工程配置文件、1個pth模型權(quán)重文件以及準確率曲線圖、混淆矩陣圖表等輔助材料源碼按數(shù)據(jù)預處理、模型構(gòu)建、訓練、預測模塊拆分注釋清晰、易讀易改。數(shù)據(jù)預處理腳本和模型訓練代碼均可直接運行支持自行調(diào)節(jié)學習率、卷積核等參數(shù)復用于其他二分類或多分類任務也可作為期末答辯時的完整演示項目。目前已有355人學習下載適合希望快速參考完整實現(xiàn)或作為高分期末作業(yè)模板的讀者。1. 用 Python 和 CNN 做網(wǎng)絡(luò)入侵檢測這門課設(shè)為什么值得認真做網(wǎng)絡(luò)入侵檢測系統(tǒng)NIDS一直是網(wǎng)絡(luò)安全領(lǐng)域的熱門方向而用 Python 實現(xiàn)基于 CNN卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測模型正是許多高校網(wǎng)絡(luò)工程、信息安全專業(yè)期末大作業(yè)的高頻選題。這類項目源碼加上文檔說明被打包成 zip 發(fā)放本質(zhì)上是在考察學生能否把深度學習理論落地到真實流量數(shù)據(jù)上而不是停留在調(diào)庫層面。打開這個壓縮包你大概率會看到 KDD Cup 1999 或 NSL-KDD 數(shù)據(jù)集的預處理腳本、CNN 模型定義文件、訓練與評估代碼以及一份說明文檔。這個方向能解決的問題很明確傳統(tǒng)入侵檢測系統(tǒng)依賴專家規(guī)則和特征匹配對未知攻擊的泛化能力差而 CNN 能自動從流量特征中提取空間相關(guān)性把分類任務交給網(wǎng)絡(luò)自己學習。適合的人群包括正在做課程設(shè)計的學生、想入門深度學習在安全領(lǐng)域應用的開發(fā)者以及需要快速搭建一個可演示 IDS 原型的工程師。接下來的內(nèi)容我會從數(shù)據(jù)集處理講到模型調(diào)參再講踩過的坑盡量讓你拿到源碼后能直接跑通、能講清楚、能應付答辯。2. 入侵檢測與 CNN 的契合點為什么流量數(shù)據(jù)適合用卷積網(wǎng)絡(luò)2.1 從特征工程到自動特征提取的轉(zhuǎn)變傳統(tǒng)入侵檢測的做法是先定義大量規(guī)則比如某個端口短時間內(nèi)連接次數(shù)超過閾值就判定為掃描攻擊。這種方式依賴人工經(jīng)驗規(guī)則覆蓋不全時漏報率很高。后來發(fā)展到機器學習方法用 SVM、隨機森林等算法對特征向量分類但特征仍需要人工挑選。CNN 的思路完全不同它把原始特征當作一種空間結(jié)構(gòu)來處理通過卷積核在特征維度上滑動自動學習局部組合特征。網(wǎng)絡(luò)流量數(shù)據(jù)經(jīng)過預處理后每條記錄通常是幾十個數(shù)值特征協(xié)議類型、源字節(jié)數(shù)、目的字節(jié)數(shù)、連接狀態(tài)等。這些特征看似是平鋪的一維向量但相鄰特征之間存在某種關(guān)聯(lián)——比如同一個 TCP 連接中的包長、標志位、持續(xù)時長在空間上相鄰這種局部模式恰好是 CNN 擅長捕捉的。把一維特征向量 reshape 成合適的形狀喂給卷積層卷積核就能提取出特征之間的短程依賴關(guān)系這比全連接網(wǎng)絡(luò)直接學習所有特征組合要高效得多。2.2 CNN 處理一維序列輸入的常見結(jié)構(gòu)對于 NIDS 這種輸入是一維特征向量的任務常見做法是使用一維卷積Conv1D而不是圖像領(lǐng)域常用的 Conv2D。一個典型的網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層接受 shape 為 (seq_len, feature_dim) 或 (seq_len,) 的數(shù)據(jù)經(jīng)過幾個 Conv1D 層提取特征每層后接 BatchNormalization 和 MaxPooling1D 做歸一化和降采樣最后接全局池化或展平層再通過全連接層輸出分類概率。代碼骨架大概是這樣的from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv1D, MaxPooling1D, Flatten, Dense, Dropout, BatchNormalization def build_cnn_model(input_shape, num_classes): model Sequential([ Conv1D(filters64, kernel_size3, activationrelu, input_shapeinput_shape), BatchNormalization(), MaxPooling1D(pool_size2), Conv1D(filters128, kernel_size3, activationrelu), BatchNormalization(), MaxPooling1D(pool_size2), Flatten(), Dense(128, activationrelu), Dropout(0.5), Dense(num_classes, activationsoftmax) ]) model.compile(optimizeradam, losscategorical_crossentropy, metrics[accuracy]) return model這段代碼里input_shape 需要根據(jù)特征維度確定。如果每條樣本有 41 個特征NSL-KDD 標準可以 reshape 成 (41, 1)即把每個特征當作一個時間步Conv1D 在特征序列上滑動。filters 表示卷積核數(shù)量決定提取多少種局部模式kernel_size 表示卷積核覆蓋的相鄰特征個數(shù)一般取 3 或 5太小感受野不足太大容易過擬合。BatchNormalization 加速收斂并穩(wěn)定訓練Dropout 防止過擬合這些做課設(shè)答辯時都是加分點。2.3 二分類還是多分類取決于數(shù)據(jù)集標簽定義KDD Cup 1999 和 NSL-KDD 的標簽分為正常Normal和四類攻擊DoS、Probe、R2L、U2R。做課設(shè)時先確認文檔里要求的是二分類正常 vs 異常還是五分類正常 四類攻擊。二分類簡單準確率容易做高但答辯時老師常問各類攻擊的檢出率分別是多少這時只看總體準確率是不夠的五分類任務中 R2L 和 U2R 樣本量極少是典型的類別不平衡問題需要額外處理。選擇哪種分類粒度直接決定模型輸出層神經(jīng)元數(shù)量和損失函數(shù)。多分類用 softmax 和 categorical_crossentropy二分類用 sigmoid 和 binary_crossentropy。建議文檔說明里明確寫清楚實驗設(shè)定把混淆矩陣和每類別的精確率、召回率都打出來這比只給一個準確率數(shù)字有說服力得多。3. 數(shù)據(jù)預處理與特征編碼決定模型上限的關(guān)鍵一步3.1 NSL-KDD 數(shù)據(jù)集的加載與清洗NSL-KDD 是 KDD Cup 1999 的改進版本去掉了冗余記錄訓練集和測試集的分布更合理。拿到源碼包后第一步通常是加載 CSV 格式的 KDDTrain.csv 和 KDDTest.csv。每條記錄有 41 個特征和 1 個標簽特征分為三類連續(xù)數(shù)值型如 duration、src_bytes、離散符號型如 protocol_type、service、flag、以及二進制型。加載代碼通常長這樣import pandas as pd column_names [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, # ... 省略部分特征名 dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label ] train_df pd.read_csv(KDDTrain.csv, namescolumn_names) test_df pd.read_csv(KDDTest.csv, namescolumn_names) print(f訓練集形狀: {train_df.shape}, 測試集形狀: {test_df.shape}) print(train_df[label].value_counts())這里需要注意KDD 數(shù)據(jù)集的原始 CSV 沒有表頭必須手動指定列名。如果列名數(shù)量和 CSV 實際列數(shù)不匹配pandas 會報錯常見的翻車點在最后有一列difficulty_levelNSL-KDD 特有讀數(shù)據(jù)時要么把這一列也加進列名要么用usecols忽略它。建議先打印train_df.shape確認列數(shù)不要想當然。3.2 符號特征編碼LabelEncoder 還是 OneHotEncoderprotocol_type、service、flag 這三個特征是離散字符串不能直接喂給 CNN。常見的處理方式有兩種如果每個符號特征的取值種類少如 protocol_type 只有 3 種取值用 OneHot 編碼展開成多列如果取值很多service 有 70 種左右用 LabelEncoder 轉(zhuǎn)成整數(shù)再歸一化。但這里有個坑LabelEncoder 給類別賦予的整數(shù)大小是隨機的比如 tcp0、udp1、icmp2這個大小關(guān)系沒有實際意義CNN 的卷積核會把它當作真實數(shù)值關(guān)系來學習效果往往不如 OneHot。我一般會這樣做from sklearn.preprocessing import LabelEncoder # 方法一對取值少的特征做 OneHot train_df pd.get_dummies(train_df, columns[protocol_type, flag]) # 方法二對取值多的特征做 LabelEncoder 并歸一化 le LabelEncoder() for col in [service]: train_df[col] le.fit_transform(train_df[col]) test_df[col] le.transform(test_df[col])但這里有個嚴重的問題訓練集和測試集的類別取值可能不一致。比如訓練集里 service 有 70 種測試集里可能出現(xiàn)訓練集沒見過的 service 值。如果直接用訓練集擬合的 LabelEncoder 去 transform 測試集sklearn 會直接拋異常。解決方法是先合并兩個數(shù)據(jù)集做編碼或者對測試集中出現(xiàn)的新類別統(tǒng)一映射到一個未知類再在文檔里說明這種處理的理由。這個細節(jié)在答辯時很加分因為它體現(xiàn)了對真實場景中分布漂移問題的理解。3.3 數(shù)值特征歸一化與訓練集測試集泄漏41 個特征里數(shù)值型特征的量綱差異巨大src_bytes 可能是 0 到幾百萬而 land 只有 0 或 1。如果不歸一化卷積層的梯度更新會被大數(shù)值特征主導模型很難收斂。標準做法是用 StandardScaler 或 MinMaxScaler但必須只在訓練集上擬合 scaler然后同時 transform 訓練集和測試集。如果先對全量數(shù)據(jù)做歸一化再劃分訓練集測試集會造成數(shù)據(jù)泄漏測試集的信息被模型間接看到了評估結(jié)果虛高。from sklearn.preprocessing import StandardScaler scaler StandardScaler() train_numeric_cols train_df.select_dtypes(include[float64, int64]).columns train_df[train_numeric_cols] scaler.fit_transform(train_df[train_numeric_cols]) test_df[train_numeric_cols] scaler.transform(test_df[train_numeric_cols])這段代碼里scaler 只在 train_df 上 fittest_df 只做 transform。注意select_dtypes會把標簽列也選進去如果標簽是字符串沒問題如果是整數(shù)編碼就需要先剔除 label 列。處理完特征后把標簽單獨拆出來做 one-hot 編碼用于多分類模型訓練。最后要把數(shù)據(jù) reshape 成 CNN 輸入格式通常是(樣本數(shù), 特征維度, 1)。4. 模型訓練與評估把準確率做上去的完整流程4.1 數(shù)據(jù)集劃分不要只留一個測試集拿到源碼后常見的做法是直接把 KDDTrain 當訓練集、KDDTest 當測試集然后開始訓練。但這樣做有一個問題你無法在訓練過程中驗證模型效果超參數(shù)調(diào)優(yōu)沒有依據(jù)。更好的流程是從訓練集里再切出 20% 作為驗證集訓練時監(jiān)控驗證集準確率和損失防止過擬合。from sklearn.model_selection import train_test_split X_train, X_val, y_train, y_val train_test_split( X_train_raw, y_train_raw, test_size0.2, random_state42, stratifyy_train_raw ) X_train X_train.reshape(X_train.shape[0], X_train.shape[1], 1) X_val X_val.reshape(X_val.shape[0], X_val.shape[1], 1)stratifyy_train_raw是按類別比例分層抽樣保證驗證集里各個攻擊類型的占比和訓練集一致。這對 NSL-KDD 尤其重要因為 R2L 和 U2R 樣本極少如果不分層抽樣驗證集里可能一個 U2R 樣本都分不到驗證指標完全失真。4.2 訓練循環(huán)與 EarlyStoppingCNN 在 NSL-KDD 上訓練比較容易過擬合因為訓練集規(guī)模只有幾萬條且類別不平衡嚴重。常見做法是設(shè)置早停當驗證集損失連續(xù)多個 epoch 不再下降時停止訓練并用回調(diào)保存最佳模型。from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint callbacks [ EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue), ModelCheckpoint(best_model.h5, monitorval_accuracy, save_best_onlyTrue) ] history model.fit( X_train, y_train, validation_data(X_val, y_val), epochs100, batch_size256, callbackscallbacks, verbose1 )patience10表示連續(xù) 10 個 epoch 驗證損失沒改善就停。restore_best_weightsTrue會把模型權(quán)重回滾到驗證集表現(xiàn)最好的那一輪而不是停在最后一個 epoch。batch_size 取 256 在大多數(shù) GPU 或 CPU 上都能接受太大容易收斂慢太小則梯度噪聲大、訓練振蕩。如果訓練時發(fā)現(xiàn)驗證損失震蕩劇烈優(yōu)先減小學習率或增大 batch_size。4.3 評估指標準確率之外必須看混淆矩陣課設(shè)報告里如果只寫準確率 99.2%答辯老師大概率會追問對 U2R 攻擊的檢出率是多少NSL-KDD 測試集中 U2R 樣本極少很多模型對其檢出率為 0但總體準確率依然很高這就是準確率指標的欺騙性。必須輸出混淆矩陣、各類別的 precision、recall、F1-score。from sklearn.metrics import classification_report, confusion_matrix import numpy as np y_pred model.predict(X_test) y_pred_class np.argmax(y_pred, axis1) y_true_class np.argmax(y_test, axis1) print(classification_report(y_true_class, y_pred_class, target_nameslabel_names)) print(confusion_matrix(y_true_class, y_pred_class))看報告時重點關(guān)注 R2L 和 U2R 兩行的 recall。如果這兩行數(shù)字很低說明模型基本沒學會少數(shù)類攻擊模式這時候需要回頭處理類別不平衡。一個簡單的改進是class_weight讓少數(shù)類在 loss 計算中擁有更高權(quán)重。另一個是過采樣少數(shù)類樣本但要注意別在測試集上做任何采樣。4.4 類別不平衡的兩種處理方案對比處理 NSL-KDD 類別不平衡課設(shè)中最常用兩種做法class_weight 和少數(shù)類過采樣。class_weight 不改數(shù)據(jù)只在訓練時加大少數(shù)類的 loss 占比實現(xiàn)簡單。from sklearn.utils.class_weight import compute_class_weight class_weights compute_class_weight( balanced, classesnp.unique(y_train_raw), yy_train_raw ) class_weight_dict dict(enumerate(class_weights))過采樣則用 imbalanced-learn 庫的 SMOTE 生成少數(shù)類合成樣本但 SMOTE 是基于特征空間插值的對表格型數(shù)據(jù)效果尚可對類別型特征多的數(shù)據(jù)可能生成矛盾的樣本。做課設(shè)時用 class_weight 更安全答辯時講清楚原理就夠如果追求更好的少數(shù)類檢出率再嘗試 SMOTE 并對比兩組實驗結(jié)果。5. 常見坑與避坑指南課設(shè)翻車現(xiàn)場復盤5.1 特征維度不匹配導致模型無法編譯現(xiàn)象輸入模型時報錯Input 0 of layer conv1d is incompatible提示期望三維輸入但實際給了兩維。原因Conv1D 要求輸入是(batch_size, steps, channels)而很多人在預處理后直接拿二維數(shù)組(樣本數(shù), 特征數(shù))去喂模型忘記 reshape。解決在 fit 之前執(zhí)行X_train X_train.reshape(-1, n_features, 1)第三維設(shè)為 1 表示單通道。這個錯誤在第一次跑代碼時幾乎必現(xiàn)源碼包里的腳本如果沒處理手動補上即可。5.2 訓練集和測試集類別不一致導致 transform 崩潰現(xiàn)象執(zhí)行測試集 LabelEncoder transform 時報unknown class錯誤。原因測試集中某個 service 協(xié)議在訓練集中從未出現(xiàn)編碼器不認識。解決合并訓練集測試集后統(tǒng)一 fit或?qū)y試集中的新類別做未知類映射。課設(shè)報告里如果提到這個處理說明考慮了真實流量的開放性問題是加分項。另一個相關(guān)坑是 OneHot 編碼后訓練集和測試集列數(shù)不同原因同樣是新類別產(chǎn)生了新列用pd.concat后統(tǒng)一編碼能根治。5.3 訓練準確率不升反降或直接 NaN現(xiàn)象loss 在幾個 epoch 后變成 NaN或準確率一直徘徊在基線水平。原因?qū)W習率過大導致梯度爆炸或數(shù)值特征沒有歸一化或激活函數(shù)選擇不當。解決先把學習率降到 0.0001 試試確認歸一化已執(zhí)行檢查數(shù)據(jù)里是否有無窮大或空值。加 BatchNormalization 層能緩解梯度問題。另外要注意NSL-KDD 中有少量特征的取值極端分布如 src_bytes 的右偏只用 StandardScaler 有時不如取 log 變換穩(wěn)定這屬于進階調(diào)參技巧。5.4 準確率高但攻擊檢出率極低現(xiàn)象總準確率 99%但 U2R 和 R2L 的 recall 接近于 0。原因類別極度不平衡模型把所有樣本都預測為多數(shù)類就是最優(yōu)策略。解決使用 class_weight 加重少數(shù)類權(quán)重或在訓練時對少數(shù)類做重復采樣。評估時不要只看準確率輸出 macro-F1 或加權(quán) F1這幾個指標對不平衡更敏感。如果答辯時老師問為什么 U2R 檢不出回答思路是U2R 樣本只有幾十條特征空間被正常流量淹沒模型沒有足夠的判別信息這是數(shù)據(jù)層面的問題不是模型結(jié)構(gòu)的問題。5.5 結(jié)果無法復現(xiàn)現(xiàn)象同一個腳本多次運行準確率波動明顯。原因沒有固定隨機種子模型初始化隨機數(shù)據(jù)劃分隨機。解決在代碼開頭固定 numpy、tensorflow 和 Python 內(nèi)置 random 的種子。import random import numpy as np import tensorflow as tf random.seed(42) np.random.seed(42) tf.random.set_seed(42)課設(shè)報告里截圖的結(jié)果必須可復現(xiàn)不然答辯時老師讓你現(xiàn)場跑一遍結(jié)果和報告不一樣就很尷尬。固定種子后模型訓練速度和結(jié)果基本一致這是所有深度學習項目中必須養(yǎng)成的習慣。6. 進階玩法與驗證技巧讓課設(shè)從能跑變成能講6.1 試試用訓練好的模型做離線流量檢測演示模型訓練完可以寫一個小函數(shù)接收一條 CSV 格式的流量記錄輸出預測類型做成命令行工具。def predict_single_record(model, record_df, scaler, encoder): record record_df.copy() for col in [protocol_type, flag]: record pd.get_dummies(record, columns[col]) record record.reindex(columnsfeature_columns, fill_value0) record[numeric_cols] scaler.transform(record[numeric_cols]) record_array record.values.reshape(1, -1, 1) pred model.predict(record_array) return label_names[np.argmax(pred)]這段代碼里reindex是核心單挑記錄做 OneHot 后列數(shù)肯定和訓練時不一樣用訓練時的完整特征列列表對齊缺失列填 0。這樣模型才能接受輸入。演示時拿測試集里幾條已知類型的數(shù)據(jù)跑一遍輸出預測結(jié)果比光講一堆訓練曲線更有說服力。6.2 畫訓練曲線時注意原始記錄而不是平滑曲線課設(shè)報告里通常會放訓練準確率和損失曲線圖。畫圖時用 matplotlib 記錄 history 中的原始數(shù)據(jù)就好關(guān)鍵是把訓練集和驗證集兩條線放一起對比觀察過擬合發(fā)生的 epoch 位置。如果只畫訓練集曲線沒法展示早停策略的效果。import matplotlib.pyplot as plt plt.plot(history.history[accuracy], labeltrain_acc) plt.plot(history.history[val_accuracy], labelval_acc) plt.xlabel(Epoch) plt.ylabel(Accuracy) plt.legend() plt.savefig(training_history.png, dpi150)圖片保存分辨率要夠不要截窗口模糊圖。文檔里左圖右圖對應說明比如第 20 輪后驗證集準確率開始下降說明過擬合出現(xiàn)觸發(fā)早停回滾到第 18 輪權(quán)重。6.3 把你的模型和傳統(tǒng)機器學習做橫向?qū)Ρ却疝q時老師最常問的問題之一為什么用 CNNCNN 比隨機森林好在哪建議在文檔里補一個對比實驗跑一個隨機森林或邏輯回歸作為基線比較二者在 NSL-KDD 測試集上的準確率和 F1。CNN 在這種表格數(shù)據(jù)上優(yōu)勢并不明顯但特征相關(guān)性提取能力比手工特征略強特別是在原始特征不做太多人工構(gòu)造的情況下。如果不做對比實驗老師容易懷疑為什么不用隨機森林。實現(xiàn)方式很簡單用 sklearn 的 RandomForestClassifier 跑同樣的數(shù)據(jù)然后對比兩到三個指標。對比結(jié)果不一定要 CNN 全面碾壓哪怕 CNN 在 U2R 上多召回幾個樣本或者總體 F1 高一點都有交代。如果隨機森林反而更好那也可以說明傳統(tǒng)方法在小樣本攻擊上仍有優(yōu)勢未來可以考慮 CNN 樹模型的集成方案這比硬吹 CNN 合理得多。6.4 文檔說明怎么寫才打高分我見過很多課設(shè)源碼里帶的文檔說明長篇大論貼代碼卻唯獨不寫實驗結(jié)果分析。高分文檔至少要有這幾塊問題定義和數(shù)據(jù)集描述、數(shù)據(jù)預處理流程圖、模型結(jié)構(gòu)圖和每層參數(shù)表、超參數(shù)設(shè)置表、訓練曲線圖、混淆矩陣與各類別指標表、對比實驗表以及遇到的三個問題和解決辦法章節(jié)。每個表格配一句解釋比如從表 4 可以看出U2R 的召回率僅為 0.12主要原因是訓練集中該類別只有 52 條樣本。這種文檔老師沒理由扣分。整個項目做下來我最深的感受是CNN 在網(wǎng)絡(luò)入侵檢測上的表現(xiàn)很大程度上取決于數(shù)據(jù)預處理而不是網(wǎng)絡(luò)深度。我自己的課設(shè)就是從亂吞 Shape 錯誤開始一步步把代碼跑通又因為類別不平衡反復調(diào)整最后才把改進過程寫成文檔。這條路你大概率也要走一遍希望這些踩坑經(jīng)驗能幫你少走幾步彎路。希望幫到你。本文還有配套的精品資源點擊獲取