1. 項(xiàng)目概述從“拍腦袋”到“算數(shù)據(jù)”的決策革命在數(shù)學(xué)建模競(jìng)賽或者任何需要從數(shù)據(jù)中尋找規(guī)律的場(chǎng)景里我們常常面臨一個(gè)核心問(wèn)題如何根據(jù)一堆看似雜亂無(wú)章的特征變量來(lái)預(yù)測(cè)一個(gè)結(jié)果或者做出一個(gè)分類(lèi)新手最容易想到的可能是線性回歸但現(xiàn)實(shí)世界的數(shù)據(jù)關(guān)系往往沒(méi)那么“直來(lái)直去”。這時(shí)候一個(gè)既直觀又強(qiáng)大的工具就該登場(chǎng)了——決策樹(shù)。它不像神經(jīng)網(wǎng)絡(luò)那樣是個(gè)“黑箱”其決策過(guò)程清晰得像一份流程圖從根節(jié)點(diǎn)開(kāi)始根據(jù)數(shù)據(jù)特征一層層提問(wèn)比如“年齡是否大于30歲”、“收入是否高于5萬(wàn)”最終引導(dǎo)你到達(dá)一個(gè)葉節(jié)點(diǎn)得到結(jié)論比如“批準(zhǔn)貸款”或“拒絕貸款”。這個(gè)項(xiàng)目就是帶你親手揭開(kāi)決策樹(shù)看似簡(jiǎn)單的面紗深入其數(shù)學(xué)原理的內(nèi)核并完成一次從理論到代碼的完整數(shù)學(xué)建模實(shí)戰(zhàn)。無(wú)論你是正在備戰(zhàn)亞太杯、國(guó)賽的在校學(xué)生還是希望將數(shù)據(jù)驅(qū)動(dòng)決策方法應(yīng)用于實(shí)際工作的從業(yè)者掌握決策樹(shù)就等于掌握了一把將業(yè)務(wù)邏輯轉(zhuǎn)化為可計(jì)算、可優(yōu)化模型的鑰匙。2. 決策樹(shù)核心原理深度拆解不只是“if-else”很多人把決策樹(shù)簡(jiǎn)單理解為一系列“if-else”語(yǔ)句的堆砌這其實(shí)低估了它的數(shù)學(xué)內(nèi)涵。決策樹(shù)的構(gòu)建本質(zhì)上是一個(gè)遞歸的、基于純度的特征空間劃分過(guò)程。其核心思想是在每一個(gè)節(jié)點(diǎn)上從所有特征中選擇一個(gè)“最好”的特征進(jìn)行分裂使得分裂后的子節(jié)點(diǎn)中樣本的“不純度”下降得最快。這里的“最好”和“不純度”就是不同決策樹(shù)算法的數(shù)學(xué)靈魂所在。2.1 核心基石不純度度量指標(biāo)要選擇最佳分裂特征我們必須先量化一個(gè)節(jié)點(diǎn)里數(shù)據(jù)的“混亂程度”這就是不純度。主流算法主要使用三種指標(biāo)1. 信息熵源自信息論衡量的是信息的混亂程度。對(duì)于一個(gè)節(jié)點(diǎn) ( t )其熵 ( H(t) ) 的計(jì)算公式為H(t) - Σ (p(i|t) * log?(p(i|t)))其中 ( p(i|t) ) 是節(jié)點(diǎn) ( t ) 中屬于第 ( i ) 類(lèi)的樣本比例。為什么用它熵值越大表示節(jié)點(diǎn)內(nèi)各類(lèi)別樣本分布越均勻越混亂熵值為0表示節(jié)點(diǎn)內(nèi)所有樣本都屬于同一類(lèi)別完全純凈。ID3算法就是基于信息增益即熵的減少量來(lái)選擇特征的。2. 基尼指數(shù)源于經(jīng)濟(jì)學(xué)衡量的是一個(gè)隨機(jī)選中的樣本在節(jié)點(diǎn)中被錯(cuò)誤分類(lèi)的概率。其公式為Gini(t) 1 - Σ (p(i|t)2)為什么用它與熵相比基尼指數(shù)的計(jì)算不涉及對(duì)數(shù)運(yùn)算計(jì)算速度稍快且在實(shí)際應(yīng)用中兩者產(chǎn)生的樹(shù)通常很相似。CART算法默認(rèn)使用基尼指數(shù)作為分裂標(biāo)準(zhǔn)。3. 分類(lèi)錯(cuò)誤率最直觀的理解Error(t) 1 - max(p(i|t))即1減去節(jié)點(diǎn)中占比最大的那一類(lèi)的比例。為什么不用它做主要標(biāo)準(zhǔn)雖然直觀但分類(lèi)錯(cuò)誤率對(duì)節(jié)點(diǎn)中概率的變化不夠敏感不是一個(gè)平滑的函數(shù)在指導(dǎo)樹(shù)生長(zhǎng)時(shí)效果通常不如熵和基尼指數(shù)。它更多用于最終評(píng)估。實(shí)操心得在數(shù)學(xué)建模論文中當(dāng)你使用決策樹(shù)比如用Python的sklearn庫(kù)你需要明確說(shuō)明你選擇的不純度標(biāo)準(zhǔn)。criteriongini或criterionentropy是一個(gè)必須報(bào)告的超參數(shù)。對(duì)于大部分分類(lèi)問(wèn)題兩者差異不大但如果你希望樹(shù)的結(jié)構(gòu)對(duì)概率分布更敏感可以?xún)?yōu)先嘗試熵。2.2 算法演進(jìn)ID3、C4.5到CART的抉擇決策樹(shù)家族主要有三位代表性成員它們的區(qū)別核心就在于如何利用上述不純度指標(biāo)來(lái)選擇特征和如何處理不同數(shù)據(jù)類(lèi)型。ID3算法信息增益的開(kāi)拓者怎么做計(jì)算每個(gè)特征帶來(lái)的“信息增益”分裂前熵 - 分裂后各子節(jié)點(diǎn)熵的加權(quán)平均選擇增益最大的特征分裂。優(yōu)點(diǎn)概念清晰易于理解。致命缺點(diǎn)傾向于選擇取值較多的特征如“用戶(hù)ID”、“日期”這種唯一值很多的特征因?yàn)檫@類(lèi)特征容易將樣本分到非常純的子節(jié)點(diǎn)但這是過(guò)擬合毫無(wú)泛化能力。且只能處理分類(lèi)特征不能處理連續(xù)值和缺失值。C4.5算法對(duì)ID3的工業(yè)級(jí)改進(jìn)核心改進(jìn)1 - 信息增益率為了克服ID3的偏好C4.5引入了“固有值”Intrinsic Value的概念用信息增益除以該特征的固有值特征本身分裂的熵得到“信息增益率”。這相當(dāng)于對(duì)取值多的特征進(jìn)行了懲罰。核心改進(jìn)2 - 連續(xù)值處理可以將連續(xù)特征離散化。例如對(duì)“年齡”特征會(huì)嘗試所有可能的分割閾值如按排序后相鄰值的中間點(diǎn)計(jì)算每個(gè)閾值下的信息增益率選擇最優(yōu)的。核心改進(jìn)3 - 缺失值處理可以處理帶有缺失值的樣本通過(guò)概率分配等方式。為什么它重要C4.5是決策樹(shù)真正能投入實(shí)際使用的關(guān)鍵一步它解決了ID3的主要缺陷。我們常說(shuō)的“決策樹(shù)”很多思想都源于C4.5。CART算法當(dāng)前的主流與實(shí)戰(zhàn)首選核心特點(diǎn)它構(gòu)建的是二叉樹(shù)。每個(gè)節(jié)點(diǎn)只問(wèn)一個(gè)是/否問(wèn)題例如“年齡 30?”而不是像ID3/C4.5那樣可能產(chǎn)生多叉樹(shù)。分裂標(biāo)準(zhǔn)分類(lèi)任務(wù)用基尼指數(shù)回歸任務(wù)用最小平方誤差或最小絕對(duì)誤差?；貧w能力這是CART的一大亮點(diǎn)。它的葉節(jié)點(diǎn)不再輸出類(lèi)別而是輸出一個(gè)連續(xù)值通常是落到該節(jié)點(diǎn)所有樣本目標(biāo)值的平均值從而可以解決回歸問(wèn)題。為什么它是實(shí)戰(zhàn)首選二叉樹(shù)的結(jié)構(gòu)更簡(jiǎn)單計(jì)算效率高且與后續(xù)的集成學(xué)習(xí)如隨機(jī)森林、GBDT天然兼容。sklearn.tree.DecisionTreeClassifier/Regressor實(shí)現(xiàn)的就是CART算法。注意事項(xiàng)在數(shù)學(xué)建模中如果你直接調(diào)用sklearn的DecisionTreeClassifier你用的就是CART樹(shù)。在論文里寫(xiě)算法原理時(shí)可以重點(diǎn)闡述CART的基尼指數(shù)和二叉樹(shù)分裂過(guò)程。如果題目涉及特征選擇可以對(duì)比提及信息增益率的原理以展示深度。3. 數(shù)學(xué)建模實(shí)戰(zhàn)全流程以信貸風(fēng)險(xiǎn)評(píng)估為例理論懂了關(guān)鍵還得落地。我們以一個(gè)經(jīng)典的數(shù)學(xué)建模賽題方向“信貸風(fēng)險(xiǎn)評(píng)估”為例完整走一遍決策樹(shù)建模流程。假設(shè)我們有一份數(shù)據(jù)集包含用戶(hù)的年齡、收入、工作年限、負(fù)債比、歷史違約情況等特征以及標(biāo)簽“是否違約”二分類(lèi)。3.1 數(shù)據(jù)預(yù)處理模型效果的基石決策樹(shù)雖然對(duì)數(shù)據(jù)尺度不敏感無(wú)需標(biāo)準(zhǔn)化但預(yù)處理依然至關(guān)重要。連續(xù)特征處理CART本身可以處理連續(xù)特征它會(huì)自動(dòng)尋找最佳分割點(diǎn)。但有時(shí)為了模型可解釋性我們可以手動(dòng)分箱如將年齡分為“青年”、“中年”、“老年”。在sklearn中這一步不是必須的。分類(lèi)特征編碼決策樹(shù)無(wú)法直接處理“職業(yè)”這類(lèi)文本型分類(lèi)特征。必須使用標(biāo)簽編碼或獨(dú)熱編碼。標(biāo)簽編碼將類(lèi)別映射為整數(shù)如{“公務(wù)員”:0, “工程師”:1, “學(xué)生”:2}。注意這會(huì)給類(lèi)別引入隱含的順序關(guān)系012而樹(shù)模型可能會(huì)誤解這種順序。對(duì)于無(wú)序分類(lèi)變量這不是最佳選擇。獨(dú)熱編碼為每個(gè)類(lèi)別創(chuàng)建一個(gè)新的二值特征。這是更安全、更推薦的做法盡管會(huì)增加特征維度。sklearn的OneHotEncoder可以方便實(shí)現(xiàn)。缺失值處理sklearn的決策樹(shù)不支持缺失值。常用方法包括刪除缺失樣本數(shù)據(jù)量大時(shí)。用中位數(shù)、眾數(shù)或預(yù)測(cè)模型填充如SimpleImputer。將缺失本身作為一個(gè)特征如“收入_是否缺失”。樣本不均衡處理如果違約樣本很少比如只占5%模型可能會(huì)傾向于預(yù)測(cè)所有人為“不違約”以獲得高準(zhǔn)確率但這沒(méi)有意義。解決方法在DecisionTreeClassifier中設(shè)置class_weightbalanced讓算法自動(dòng)調(diào)整類(lèi)別權(quán)重。使用上采樣如SMOTE或下采樣。3.2 模型訓(xùn)練與關(guān)鍵超參數(shù)調(diào)優(yōu)直接使用默認(rèn)參數(shù)訓(xùn)練決策樹(shù)99%會(huì)得到一個(gè)過(guò)擬合的、深度驚人的“巨樹(shù)”它在訓(xùn)練集上表現(xiàn)完美在測(cè)試集上一塌糊涂。剪枝是決策樹(shù)建模的靈魂。from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import GridSearchCV, train_test_split from sklearn.metrics import classification_report, confusion_matrix # 假設(shè) X, y 已經(jīng)過(guò)預(yù)處理 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 初始化模型 dt DecisionTreeClassifier(random_state42) # 設(shè)置超參數(shù)網(wǎng)格 param_grid { max_depth: [3, 5, 7, 10, None], # 樹(shù)的最大深度最有效的正則化手段 min_samples_split: [2, 5, 10], # 內(nèi)部節(jié)點(diǎn)再劃分所需最小樣本數(shù) min_samples_leaf: [1, 2, 4], # 葉節(jié)點(diǎn)所需最小樣本數(shù)防止奇異值 criterion: [gini, entropy] # 不純度標(biāo)準(zhǔn) } # 網(wǎng)格搜索交叉驗(yàn)證 grid_search GridSearchCV(estimatordt, param_gridparam_grid, cv5, scoringf1, n_jobs-1) grid_search.fit(X_train, y_train) # 輸出最佳參數(shù) print(fBest parameters: {grid_search.best_params_}) best_dt grid_search.best_estimator_max_depth限制樹(shù)的最大深度這是防止過(guò)擬合最直接、最有效的手段。通常從3-10開(kāi)始嘗試。min_samples_split一個(gè)節(jié)點(diǎn)至少包含多少樣本才允許繼續(xù)分裂。值越大樹(shù)越保守。min_samples_leaf一個(gè)葉節(jié)點(diǎn)至少需要多少個(gè)樣本。這個(gè)參數(shù)可以平滑模型對(duì)噪聲數(shù)據(jù)更魯棒。criterion前面提到的分裂標(biāo)準(zhǔn)。實(shí)操心得調(diào)參時(shí)優(yōu)先調(diào)max_depth和min_samples_leaf。max_depth通常對(duì)模型性能影響最大。不要一上來(lái)就設(shè)None不限制深度那幾乎必然過(guò)擬合。使用交叉驗(yàn)證如GridSearchCV來(lái)尋找泛化能力最好的參數(shù)組合而不是在訓(xùn)練集上表現(xiàn)最好的。3.3 模型評(píng)估與可解釋性輸出訓(xùn)練好模型后我們需要多維度評(píng)估并利用決策樹(shù)的核心優(yōu)勢(shì)——可解釋性。# 預(yù)測(cè)與評(píng)估 y_pred best_dt.predict(X_test) y_pred_proba best_dt.predict_proba(X_test)[:, 1] # 獲取違約概率 print(Confusion Matrix:) print(confusion_matrix(y_test, y_pred)) print(\nClassification Report:) print(classification_report(y_test, y_pred)) # 特征重要性分析 import pandas as pd feature_importances pd.DataFrame({ feature: X_train.columns, importance: best_dt.feature_importances_ }).sort_values(importance, ascendingFalse) print(\nFeature Importances:) print(feature_importances) # 可視化決策樹(shù)需要安裝 graphviz from sklearn.tree import export_graphviz import graphviz dot_data export_graphviz(best_dt, out_fileNone, feature_namesX_train.columns, class_names[No Default, Default], filledTrue, roundedTrue, special_charactersTrue) graph graphviz.Source(dot_data) graph.render(credit_risk_decision_tree) # 保存為PDF文件評(píng)估指標(biāo)對(duì)于不平衡分類(lèi)不要只看準(zhǔn)確率Accuracy。精確率、召回率、F1-Score和AUC-ROC曲線更重要?；煜仃嚹芮逦闯稣`分類(lèi)的具體情況。特征重要性決策樹(shù)可以輸出每個(gè)特征在減少不純度方面的貢獻(xiàn)度總和這是一個(gè)非常直觀的特征選擇工具。在論文中畫(huà)一個(gè)特征重要性水平條形圖能立刻讓評(píng)委看到你的模型抓住了哪些關(guān)鍵因素。樹(shù)結(jié)構(gòu)可視化將剪枝后的最佳樹(shù)可視化出來(lái)深度不宜超過(guò)5層否則看不清。在論文附錄中附上一張清晰的決策樹(shù)圖并解讀一條從根到葉的典型路徑例如“收入4.5萬(wàn) → 負(fù)債比0.6 → 預(yù)測(cè)為違約”這是模型可解釋性的絕佳證明能極大提升論文的說(shuō)服力。4. 進(jìn)階技巧與在數(shù)學(xué)建模中的策略應(yīng)用掌握了單棵決策樹(shù)你已經(jīng)能解決很多問(wèn)題。但在高手云集的數(shù)學(xué)建模競(jìng)賽中如何更進(jìn)一步4.1 處理過(guò)擬合剪枝的兩種哲學(xué)除了調(diào)參中的預(yù)剪枝還有后剪枝。預(yù)剪枝在樹(shù)生長(zhǎng)過(guò)程中就進(jìn)行限制如我們之前調(diào)的max_depth參數(shù)。優(yōu)點(diǎn)是計(jì)算效率高缺點(diǎn)是有可能“貪心”地停止過(guò)早欠擬合。后剪枝先讓樹(shù)充分生長(zhǎng)然后自底向上考察非葉節(jié)點(diǎn)。如果將其替換為葉節(jié)點(diǎn)能帶來(lái)驗(yàn)證集性能的提升就進(jìn)行剪枝。CART算法使用代價(jià)復(fù)雜度剪枝。sklearn中可以通過(guò)ccp_alpha參數(shù)實(shí)現(xiàn)。后剪枝通常能得到泛化能力更強(qiáng)的樹(shù)但計(jì)算量更大。4.2 從單棵樹(shù)到森林集成學(xué)習(xí)的降維打擊單棵決策樹(shù)不穩(wěn)定對(duì)數(shù)據(jù)微小變化敏感。集成學(xué)習(xí)是必然的進(jìn)化方向這在數(shù)學(xué)建模中幾乎是標(biāo)配。隨機(jī)森林通過(guò)Bootstrap抽樣構(gòu)建多棵不同的樹(shù)并引入特征隨機(jī)性每棵樹(shù)分裂時(shí)只考慮特征子集最后投票決定結(jié)果。它通過(guò)“平均”效應(yīng)極大地降低了方差提高了泛化能力和魯棒性。在sklearn中RandomForestClassifier的使用接口和決策樹(shù)幾乎一樣但性能通常好得多。梯度提升樹(shù)如XGBoost、LightGBM。采用串行方式每一棵樹(shù)都在學(xué)習(xí)前一棵樹(shù)的殘差錯(cuò)誤。它通過(guò)“修正”誤差專(zhuān)注于降低偏差。這類(lèi)模型是近年來(lái)Kaggle競(jìng)賽和數(shù)學(xué)建模賽題的“大殺器”精度極高但需要更精細(xì)的調(diào)參。建模策略在比賽中如果你的問(wèn)題是一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分類(lèi)/回歸問(wèn)題可以建立一個(gè)這樣的基線流程1) 用決策樹(shù)快速做特征重要性分析和基線模型2) 使用隨機(jī)森林作為主力模型它穩(wěn)定且通常表現(xiàn)良好3) 如果追求極致性能且時(shí)間允許嘗試調(diào)優(yōu)XGBoost或LightGBM。在論文中可以體現(xiàn)這種模型演進(jìn)和對(duì)比的思路。4.3 決策樹(shù)在建模賽題中的特殊應(yīng)用決策樹(shù)不僅是一個(gè)獨(dú)立的模型其思想可以靈活運(yùn)用。特征工程利用決策樹(shù)或隨機(jī)森林輸出的特征重要性進(jìn)行特征篩選?？梢蕴蕴糁匾越咏愕奶卣骱?jiǎn)化模型提升訓(xùn)練速度有時(shí)還能提高精度。模型融合決策樹(shù)的輸出類(lèi)別或概率可以作為新的特征輸入到邏輯回歸等其它模型中即Stacking集成策略的一部分。規(guī)則提取對(duì)于需要明確業(yè)務(wù)規(guī)則的場(chǎng)景如金融風(fēng)控的拒貸解釋可以從訓(xùn)練好的、深度較淺的決策樹(shù)中直接提取出“if-then”規(guī)則這些規(guī)則可以直接翻譯成業(yè)務(wù)語(yǔ)言部署到規(guī)則引擎中。5. 常見(jiàn)陷阱、排查與論文寫(xiě)作要點(diǎn)在實(shí)際操作和論文寫(xiě)作中下面這些坑你大概率會(huì)遇到。5.1 實(shí)戰(zhàn)常見(jiàn)問(wèn)題排查表問(wèn)題現(xiàn)象可能原因排查與解決思路訓(xùn)練集準(zhǔn)確率接近100%測(cè)試集很低嚴(yán)重過(guò)擬合1. 檢查是否未限制樹(shù)深度max_depthNone。2. 大幅增加min_samples_split和min_samples_leaf。3. 使用后剪枝 (ccp_alpha)。4. 確認(rèn)是否對(duì)分類(lèi)特征錯(cuò)誤地使用了標(biāo)簽編碼。模型預(yù)測(cè)結(jié)果全是某一類(lèi)樣本嚴(yán)重不均衡1. 檢查數(shù)據(jù)集中各類(lèi)別比例。2. 設(shè)置class_weightbalanced。3. 使用上采樣如SMOTE或調(diào)整分類(lèi)閾值不直接用0.5。特征重要性顯示所有特征都差不多數(shù)據(jù)預(yù)處理問(wèn)題或樹(shù)太淺1. 檢查特征尺度是否差異巨大雖然樹(shù)不要求標(biāo)準(zhǔn)化但有時(shí)會(huì)有影響。2. 嘗試讓樹(shù)更深一點(diǎn)適度增加max_depth讓特征有更多機(jī)會(huì)發(fā)揮作用。3. 可能特征間存在高度共線性樹(shù)模型對(duì)此不敏感但可以嘗試移除一些相關(guān)性極高的特征。模型訓(xùn)練速度很慢數(shù)據(jù)量過(guò)大或特征過(guò)多1. 使用隨機(jī)森林或梯度提升樹(shù)的單機(jī)高效實(shí)現(xiàn)如LightGBM。2. 通過(guò)特征重要性進(jìn)行降維。3. 調(diào)整max_features參數(shù)對(duì)于隨機(jī)森林減少分裂時(shí)的計(jì)算量。可視化圖形混亂看不清樹(shù)太深太復(fù)雜1. 用max_depth控制后重新訓(xùn)練一個(gè)淺樹(shù)用于可視化解釋。2. 使用export_text函數(shù)輸出文本規(guī)則。5.2 數(shù)學(xué)建模論文中的寫(xiě)作要點(diǎn)在論文中描述決策樹(shù)模型部分時(shí)切忌只寫(xiě)“我們使用了決策樹(shù)算法”這太單薄了。算法原理部分用公式和文字簡(jiǎn)要說(shuō)明你所用算法如CART的分裂準(zhǔn)則基尼指數(shù)、二叉樹(shù)生長(zhǎng)過(guò)程和剪枝策略。這體現(xiàn)理論深度。特征處理部分詳細(xì)說(shuō)明你對(duì)各類(lèi)特征連續(xù)、分類(lèi)、缺失的處理方法以及為什么這么做。例如“對(duì)‘職業(yè)’類(lèi)別特征我們采用獨(dú)熱編碼以避免標(biāo)簽編碼引入的虛假序關(guān)系?！蹦Ｐ驼{(diào)參部分必須寫(xiě)出調(diào)參過(guò)程。可以采用表格形式展示你搜索的超參數(shù)網(wǎng)格、交叉驗(yàn)證的折數(shù)以及最終選擇的參數(shù)組合和理由。例如“我們采用5折交叉驗(yàn)證以F1-Score為優(yōu)化目標(biāo)使用網(wǎng)格搜索確定了最優(yōu)參數(shù)組合為max_depth5,min_samples_leaf4。限制深度有效防止了過(guò)擬合?！苯Y(jié)果展示部分附上特征重要性排序圖并進(jìn)行分析如“我們發(fā)現(xiàn)‘負(fù)債比’和‘歷史逾期次數(shù)’是預(yù)測(cè)違約最重要的兩個(gè)因素這與金融常識(shí)相符。”。如果樹(shù)深度合適附上決策樹(shù)可視化圖并解讀一條關(guān)鍵路徑。提供完整的評(píng)估指標(biāo)表格精確率、召回率、F1、AUC等并與基線模型如邏輯回歸進(jìn)行對(duì)比。模型分析部分討論模型的優(yōu)缺點(diǎn)。優(yōu)點(diǎn)可解釋性強(qiáng)、無(wú)需特征縮放、能處理非線性關(guān)系。缺點(diǎn)單棵樹(shù)不穩(wěn)定、容易過(guò)擬合、對(duì)數(shù)據(jù)分布比較敏感。進(jìn)而引出你使用集成方法如隨機(jī)森林的必要性。我個(gè)人在多次建模和實(shí)際項(xiàng)目中的體會(huì)是決策樹(shù)的價(jià)值遠(yuǎn)不止于其作為一個(gè)模型的預(yù)測(cè)能力。它更是一個(gè)強(qiáng)大的數(shù)據(jù)探索和溝通工具。通過(guò)特征重要性你能快速抓住問(wèn)題的關(guān)鍵變量通過(guò)樹(shù)結(jié)構(gòu)可視化你能向完全不懂技術(shù)的業(yè)務(wù)方解釋模型的決策邏輯。在數(shù)學(xué)建模競(jìng)賽中這種將復(fù)雜模型“講明白”的能力往往和模型精度一樣重要。最后一個(gè)小技巧在時(shí)間緊張的比賽中先用sklearn的DecisionTreeClassifier配合GridSearchCV快速跑出一個(gè)基線模型和特征重要性這能為你的后續(xù)特征工程和模型選擇提供非常明確的方向事半功倍。