1. 從“萬能鑰匙”到“工具箱里的冷門工具”多元分?jǐn)?shù)多項式的興衰啟示在統(tǒng)計建模和機(jī)器學(xué)習(xí)的世界里我們總在尋找一種“萬能鑰匙”——一種既能捕捉復(fù)雜非線性關(guān)系又易于解釋、計算高效且穩(wěn)健的方法。大約在二十多年前一種名為“多元分?jǐn)?shù)多項式”Multivariable Fractional Polynomials, MFP的方法曾短暫地閃耀過被一些研究者視為處理連續(xù)變量非線性關(guān)系的潛在利器。它聽起來很美好自動為模型中的多個連續(xù)預(yù)測變量尋找最佳的函數(shù)形式不僅僅是線性或簡單的二次項而是更靈活的分?jǐn)?shù)冪次從而構(gòu)建出理論上擬合度更高、更符合數(shù)據(jù)真實結(jié)構(gòu)的模型。然而如果你今天去翻看主流的統(tǒng)計學(xué)教科書、流行的機(jī)器學(xué)習(xí)庫如scikit-learn或者臨床預(yù)測模型開發(fā)指南MFP的身影已經(jīng)非常稀少了。它更像是一個統(tǒng)計學(xué)博物館里的展品而非工程師和數(shù)據(jù)分析師手中的常用工具。這引出了一個非常有趣的問題一個理論上頗具吸引力的方法為何最終沒有流行起來是它本身存在致命缺陷還是時代的車輪選擇了其他方向今天我們就來深入拆解MFP的原理并從我個人的實踐和觀察出發(fā)聊聊它為何“叫好不叫座”。2. MFP的核心原理在預(yù)定義的函數(shù)形式中尋找最優(yōu)解要理解MFP為什么沒落首先得清楚它到底做了什么。MFP并非無拘無束的非參數(shù)方法它本質(zhì)上是一種有嚴(yán)格限制的參數(shù)化方法。它的目標(biāo)是為回歸模型如線性回歸、邏輯回歸、Cox比例風(fēng)險模型中的連續(xù)型自變量找到一個比簡單線性或多項式更優(yōu)的函數(shù)轉(zhuǎn)換形式。2.1 分?jǐn)?shù)多項式FP的數(shù)學(xué)本質(zhì)MFP建立在單變量分?jǐn)?shù)多項式Fractional Polynomials, FP的基礎(chǔ)上。FP的核心思想是對于一個連續(xù)變量 (x)要求 (x 0)對于非正數(shù)需要先平移我們不再局限于 (x, x^2, x^3) 這樣的整數(shù)冪次而是將冪次 (p) 的候選集擴(kuò)展到一個預(yù)先定義的集合。最常用的集合是 (S {-2, -1, -0.5, 0, 0.5, 1, 2, 3})其中 (x^0) 定義為 (ln(x))。一個 (m) 階的FP函數(shù)形式定義為 [ \phi_m(x) \beta_0 \sum_{j1}^{m} \beta_j x^{(p_j)} ] 其中(p_1 \leq p_2 \leq ... \leq p_m) 是從集合 (S) 中選取的冪次。當(dāng)相鄰冪次相等時例如 (p_j p_{j-1})則項 (x^{(p_j)}) 變?yōu)?(x^{p_j} ln(x))。這允許了更復(fù)雜的曲線形狀例如“先上升后下降”的鐘形曲線。為什么是這個集合這是FP/MFP的第一個關(guān)鍵設(shè)計點也是其局限性的來源之一。這個集合是經(jīng)過大量模擬研究后選出的被認(rèn)為能夠以較少的參數(shù)近似許多常見的函數(shù)形狀如對數(shù)、平方根、倒數(shù)等。但這是一種“妥協(xié)”它假設(shè)真實世界的關(guān)系大概率能被這個有限集合中的函數(shù)組合所描述。如果真實關(guān)系是周期性的如三角函數(shù)或者具有非常奇特的拐點FP可能就無能為力了。2.2 “多元”與模型選擇過程MFP中的“多元”Multivariable指的是該方法可以同時處理模型中的多個連續(xù)變量。其工作流程是一個逐步的、基于顯著性檢驗的模型選擇過程通常與向后剔除法結(jié)合。流程大致如下設(shè)定初始模型包含所有待考察的連續(xù)變量以最復(fù)雜的FP2形式即二階分?jǐn)?shù)多項式和所有分類變量。循環(huán)處理每個變量對于當(dāng)前正在處理的變量擬合一組候選模型包括線性形式(p1)、FP1從集合S中選一個最優(yōu)冪次和FP2從集合S中選兩個最優(yōu)冪次。通過似然比檢驗Likelihood Ratio Test比較這些候選模型與將變量從模型中剔除即系數(shù)為零的差異。檢驗的顯著性水平α需要預(yù)先設(shè)定通常較寬松如α0.05或0.157后者對應(yīng)于近似AIC準(zhǔn)則。決策如果所有候選模型與“剔除變量”相比都不顯著則該變量被從最終模型中移除。如果至少有一個候選模型顯著則選擇其中擬合最優(yōu)的通常是偏差最小的函數(shù)形式作為該變量的最終形式。循環(huán)與收斂對所有變量執(zhí)行完一輪后可能因為其他變量的形式改變之前確定的變量形式不再最優(yōu)。因此需要重復(fù)整個過程直到所有變量的函數(shù)形式在兩個連續(xù)循環(huán)中不再發(fā)生變化為止。這個過程聽起來很自動化很像一個“黑盒”優(yōu)化器。但其中充滿了主觀決策點顯著性水平α設(shè)多少FP的冪次集合S是否足夠是否需要包含F(xiàn)P3三階這些選擇會直接影響最終結(jié)果。2.3 MFP試圖解決的痛點在MFP被提出的年代研究者處理連續(xù)變量非線性關(guān)系的主流方法是簡單線性假設(shè)顯然很多生物、醫(yī)學(xué)、社會科學(xué)關(guān)系并非線性。手動嘗試轉(zhuǎn)換如取對數(shù)、平方根、平方等。這依賴于研究者的經(jīng)驗和反復(fù)嘗試效率低且不系統(tǒng)。使用分類變量將連續(xù)變量按分位數(shù)如四分位數(shù)切成幾段轉(zhuǎn)化為分類變量。這會損失信息且分類切點的選擇具有任意性。限制性立方樣條此時還未像今天這樣普及。MFP的賣點在于它提供了一個系統(tǒng)化、自動化、基于統(tǒng)計檢驗的框架來處理這個問題旨在減少主觀性提高發(fā)現(xiàn)真實非線性關(guān)系的概率。它尤其在當(dāng)時流行的臨床預(yù)測模型領(lǐng)域使用邏輯回歸或Cox回歸受到了一些關(guān)注。3. 理想豐滿現(xiàn)實骨感MFP為何在實踐中遇冷盡管原理上看似完美但MFP在更廣泛的數(shù)據(jù)科學(xué)和統(tǒng)計學(xué)社區(qū)中并未成為主流。結(jié)合文獻(xiàn)和我個人的項目經(jīng)驗我認(rèn)為其根本原因在于以下幾個相互關(guān)聯(lián)的硬傷。3.1 核心缺陷不穩(wěn)定性與過擬合風(fēng)險這是MFP最受詬病的一點。其逐步選擇過程對數(shù)據(jù)中的隨機(jī)波動異常敏感。小樣本波動導(dǎo)致結(jié)果巨變在樣本量不大或噪聲較多的情況下數(shù)據(jù)的一個微小擾動例如 bootstrap重抽樣一次就可能導(dǎo)致變量被剔除、保留或者函數(shù)形式從FP2變?yōu)镕P1甚至線性。這使得模型可重復(fù)性極差。你基于一個數(shù)據(jù)集辛苦得到的“最優(yōu)”MFP模型很可能在另一個來自同一總體的樣本上完全失效。多重比較與“假陽性”MFP過程涉及大量的統(tǒng)計檢驗每個變量至少比較線性、FP1、FP2與零模型。即使控制了每個檢驗的α水平整體的第一類錯誤率即錯誤地保留一個無關(guān)變量或選擇復(fù)雜形式的概率也會膨脹。雖然有一些修正方法但問題依然存在。過擬合的天然傾向自動化搜索復(fù)雜函數(shù)形式的過程本質(zhì)上是在挖掘數(shù)據(jù)中的特定模式包括噪聲。FP2形式已經(jīng)相當(dāng)靈活足以擬合很多偶然的波動。尤其是在變量多、樣本量相對不足時MFP很容易找到一個在訓(xùn)練集上表現(xiàn)極好、但泛化能力堪憂的模型。個人踩坑實錄我曾在一個臨床預(yù)后預(yù)測項目中嘗試使用MFP。數(shù)據(jù)集有約800個樣本20多個潛在預(yù)測變量。第一次運行MFPα0.05它選擇了5個變量其中3個是復(fù)雜的FP2形式。模型在訓(xùn)練集上C-index很高。然而當(dāng)我對數(shù)據(jù)進(jìn)行5折交叉驗證時每次折外驗證得到的變量集合和函數(shù)形式都大相徑庭性能波動巨大。最終我們放棄了MFP轉(zhuǎn)而使用穩(wěn)定性高得多的LASSO回歸配合事后樣條曲線診斷得到了更可靠、更易于解釋的結(jié)果。3.2 計算復(fù)雜性與實現(xiàn)壁壘在MFP發(fā)展的黃金時期90年代末至21世紀(jì)初計算資源相對有限。MFP的搜索過程計算量不小尤其是當(dāng)變量較多、需要考慮高階FP時。雖然對于單個模型尚可接受但進(jìn)行重抽樣驗證如bootstrap、交叉驗證來評估穩(wěn)定性時計算成本就成倍增加。更重要的是缺乏強(qiáng)大、易用、統(tǒng)一的軟件實現(xiàn)。MFP最初主要在Stata軟件中通過mfp命令實現(xiàn)后來在R中也有mfp包。但這些實現(xiàn)集成度差它們通常是獨立的函數(shù)與主流的建模工作流如caret、tidymodels集成困難?？蓴U(kuò)展性弱難以處理大數(shù)據(jù)集也不支持像隨機(jī)森林、梯度提升機(jī)這樣的現(xiàn)代算法。黑盒感強(qiáng)用戶對內(nèi)部搜索過程控制有限調(diào)試和自定義難度大。相比之下像限制性立方樣條這樣的方法在R語言的rms包由Frank Harrell教授開發(fā)中得到了極其優(yōu)雅和穩(wěn)健的實現(xiàn)。rms包提供了一套完整的建模、驗證、可視化框架樣條只是其中一部分。這種“一站式”的體驗和強(qiáng)大的配套功能如校正曲線、Nomogram圖極大地促進(jìn)了樣條方法的普及。3.3 可解釋性的悖論MFP的支持者常強(qiáng)調(diào)其“參數(shù)化”特性帶來的可解釋性優(yōu)于完全非參數(shù)方法。然而這種可解釋性在實踐中非常脆弱。難以理解的函數(shù)形式如何向臨床醫(yī)生或業(yè)務(wù)方解釋某個風(fēng)險因子是以“體重指數(shù)的-0.5次方加上對數(shù)變換”的形式進(jìn)入模型的這比解釋“體重指數(shù)每增加一個單位風(fēng)險增加X%”線性或“在低值區(qū)間風(fēng)險上升快在高值區(qū)間趨于平緩”樣條或分段線性要困難得多。復(fù)雜的分?jǐn)?shù)冪次組合缺乏直觀的生物學(xué)或業(yè)務(wù)意義。結(jié)果呈現(xiàn)困難基于MFP模型的預(yù)測圖預(yù)測值隨單一變量變化的圖形狀可能非常怪異有多處拐點這有時是過擬合噪聲的表現(xiàn)而非真實規(guī)律。與領(lǐng)域知識結(jié)合難如果先驗知識表明某個關(guān)系可能是對數(shù)關(guān)系MFP可能會“證實”這一點選擇 (p0)。但更多時候它選出的復(fù)雜形式與現(xiàn)有理論不符這會讓領(lǐng)域?qū)＜覍δＰ彤a(chǎn)生懷疑。3.4 現(xiàn)代機(jī)器學(xué)習(xí)范式的沖擊過去二十年數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的范式發(fā)生了根本性轉(zhuǎn)變這對MFP是降維打擊。預(yù)測精度優(yōu)先在互聯(lián)網(wǎng)、金融等領(lǐng)域模型的核心目標(biāo)是極高的預(yù)測精度可解釋性常居次要地位?；跇涞募煞椒S機(jī)森林、梯度提升機(jī)和深度學(xué)習(xí)模型能夠以遠(yuǎn)超MFP的精度捕捉任意復(fù)雜的非線性關(guān)系和交互作用且對連續(xù)變量無需任何預(yù)處理。MFP在預(yù)測性能的競賽中毫無優(yōu)勢。高維數(shù)據(jù)處理MFP是為傳統(tǒng)的“低維”數(shù)據(jù)變量數(shù)n遠(yuǎn)小于樣本數(shù)p設(shè)計的。對于基因數(shù)據(jù)、文本特征等高維數(shù)據(jù)MFP完全無法應(yīng)用。而正則化回歸LASSO, Elastic Net和基于樹的方法則能游刃有余。自動化與工程化現(xiàn)代機(jī)器學(xué)習(xí)強(qiáng)調(diào)端到端的管道Pipeline和超參數(shù)優(yōu)化。MFP那種基于統(tǒng)計檢驗的、與模型擬合過程交織的變量選擇方式難以融入這種自動化框架。工程師更傾向于使用特征工程如多項式特征、樣條基展開加正則化或特征重要性排序的穩(wěn)定組合。穩(wěn)健變量選擇方法的成熟LASSO及其變體提供了一種計算高效、理論性質(zhì)良好、相對穩(wěn)定的變量選擇方法。雖然它也是數(shù)據(jù)驅(qū)動的但其穩(wěn)定性尤其在配合bootstrap或穩(wěn)定性選擇時遠(yuǎn)高于MFP。先通過LASSO篩變量再對入選的連續(xù)變量用樣條進(jìn)行非線性診斷已成為許多領(lǐng)域的標(biāo)準(zhǔn)做法。4. 對比分析為什么限制性立方樣條RCS贏得了市場要更清楚地看到MFP的不足可以將其與同時期競爭對手、也是如今更主流的方法——限制性立方樣條Restricted Cubic Splines, RCS也稱自然樣條進(jìn)行對比。特性多元分?jǐn)?shù)多項式 (MFP)限制性立方樣條 (RCS)核心思想從預(yù)設(shè)的分?jǐn)?shù)冪次集合中為每個變量自動選擇“最優(yōu)”參數(shù)化形式。用一組光滑的分段多項式通常在節(jié)點處連接來靈活擬合曲線。靈活性中等。受限于預(yù)設(shè)的冪次集合無法擬合所有形狀如周期性。高。通過調(diào)整節(jié)點數(shù)量和位置可以逼近非常復(fù)雜的光滑曲線。穩(wěn)定性低。對數(shù)據(jù)波動敏感模型選擇結(jié)果可重復(fù)性差。高。一旦節(jié)點確定擬合結(jié)果相對穩(wěn)定。節(jié)點位置通?；诜治粩?shù)對極端值不敏感?？山忉屝圆?。最終函數(shù)形式復(fù)雜缺乏直觀意義。較好。可以通過系數(shù)和節(jié)點位置描述曲線形狀如線性、凸、凹?？梢暬庇^。計算與實現(xiàn)計算量較大軟件實現(xiàn)孤立且陳舊。計算高效本質(zhì)是線性模型在Rrms,splines、Pythonstatsmodels,patsy中集成良好。與現(xiàn)代工作流整合困難。容易。可視為一種特征工程生成樣條基函數(shù)后可接入任何線性模型或正則化模型。領(lǐng)域接受度低尤其在要求模型穩(wěn)定、可解釋的領(lǐng)域如臨床醫(yī)學(xué)。高已成為許多學(xué)科流行病學(xué)、生物統(tǒng)計處理連續(xù)變量的推薦方法。關(guān)鍵差異點在于“穩(wěn)定性”和“工作流兼容性”。RCS將“非線性擬合”和“變量選擇”兩個問題解耦了。分析師可以先基于領(lǐng)域知識或探索性分析確定對哪些變量使用樣條、放置多少節(jié)點然后將其作為預(yù)設(shè)的特征放入模型。變量選擇可以通過其他穩(wěn)健的方法如LASSO進(jìn)行。這種“分而治之”的思路更符合穩(wěn)健建模的哲學(xué)。而MFP試圖用一個自動化過程同時解決兩個難題最終兩邊都不討好。5. MFP的遺產(chǎn)與當(dāng)今的替代方案盡管MFP本身已非主流但其思想遺產(chǎn)仍然存在并提醒我們在建模時需要注意連續(xù)變量的非線性。當(dāng)今處理連續(xù)變量非線性的穩(wěn)健實踐方案可視化先行永遠(yuǎn)從散點圖或局部回歸平滑曲線如LOESS開始直觀感受變量與結(jié)局的關(guān)系。這是任何自動化方法都無法替代的?；跇訔l的特征工程對于重要的連續(xù)變量使用限制性立方樣條RCS進(jìn)行轉(zhuǎn)換。在R中rms::rcs()函數(shù)是首選在Python中可以使用statsmodels.gam或patsy庫。節(jié)點數(shù)k通常選擇3到5個位置基于分位數(shù)。這是一個需要調(diào)節(jié)的超參數(shù)可以通過交叉驗證選擇但通常對結(jié)果影響不大穩(wěn)定性遠(yuǎn)高于MFP。結(jié)合正則化進(jìn)行變量選擇將原始變量和其樣條基函數(shù)一起放入模型。使用LASSO或Elastic Net進(jìn)行變量選擇。這些方法會對整個樣條基函數(shù)組進(jìn)行收縮或剔除從而實現(xiàn)“是否需要非線性項”以及“變量是否重要”的同步選擇。glmnet包中的group LASSO選項非常適合此場景?；跇淠Ｐ偷奶卣髦匾灾苯邮褂秒S機(jī)森林或梯度提升機(jī)。它們天生能處理非線性。通過分析特征重要性如置換重要性、SHAP值來評估變量的影響并依賴部分依賴圖或個體條件期望圖來可視化非線性關(guān)系。這是目前最強(qiáng)大、最通用的方法。廣義可加模型使用GAM每個連續(xù)變量用一個平滑項樣條、核平滑等擬合。通過檢驗平滑項的自由度是否顯著大于1來判斷是否需要非線性。mgcv包是R中的絕佳工具。關(guān)于MFP的最后一點思考它誕生于一個強(qiáng)調(diào)解釋性、基于P值進(jìn)行假設(shè)檢驗的統(tǒng)計學(xué)時代。那個時代我們希望模型既能“發(fā)現(xiàn)”關(guān)系又能給出一個漂亮的、帶星號的公式。MFP是這種哲學(xué)下的一個勇敢嘗試。然而大數(shù)據(jù)和預(yù)測優(yōu)先的范式證明模型的穩(wěn)定性和泛化能力比自動化地挖掘復(fù)雜形式更重要。今天的我們更傾向于使用更穩(wěn)健的組件樣條、正則化來搭建模型并坦然接受某些部分的“黑箱”特性通過事后解釋工具如SHAP來理解它。MFP的衰落與其說是方法的失敗不如說是統(tǒng)計學(xué)哲學(xué)和工程實踐重心轉(zhuǎn)移的一個縮影。它教會我們在追求模型靈活性的道路上必須時刻警惕過擬合的幽靈并將計算穩(wěn)健性和結(jié)果可重復(fù)性置于核心地位。