據(jù)流到因子庫(kù)：量化因子研究的工程化收官之路)
做量化研究做到一定程度很多人會(huì)陷入一種“因子很多、策略很少”的尷尬回測(cè)里十幾個(gè)因子都有不錯(cuò)的單調(diào)性可真要組合起來(lái)使用不是數(shù)據(jù)對(duì)不齊就是因子邏輯早已忘了當(dāng)初怎么算的更別說(shuō)把它交給團(tuán)隊(duì)其他成員復(fù)現(xiàn)。如果你也卡在這個(gè)階段這篇文章想和你認(rèn)真聊聊因子階段的收官到底收的是什么。我的判斷是因子研究做到收官標(biāo)志不是“又多挖了幾個(gè)有效因子”而是你把從原始數(shù)據(jù)到因子值的整條鏈路理順了并且沉淀成了一個(gè)可查詢、可回溯、可復(fù)用的因子庫(kù)。換句話說(shuō)研究能力要變成工程能力你的因子才算真正長(zhǎng)在了自己的系統(tǒng)里。這篇文章會(huì)圍繞“從數(shù)據(jù)流到因子庫(kù)”這條主線展開(kāi)先講清楚因子研究中的數(shù)據(jù)流到底長(zhǎng)什么樣再走一遍因子計(jì)算、預(yù)處理、有效性檢驗(yàn)的完整流程然后重點(diǎn)討論因子庫(kù)的存儲(chǔ)結(jié)構(gòu)、元數(shù)據(jù)設(shè)計(jì)和查詢語(yǔ)義最后給出工程化的最佳實(shí)踐和常見(jiàn)坑位。全文以 Python 生態(tài)為主涉及 pandas、numpy、statsmodels、scipy 等常用工具適合已經(jīng)有基礎(chǔ)因子研究經(jīng)驗(yàn)、正在搭建自己量化研究框架的讀者。1. 這篇文章真正要解決的問(wèn)題先拋一個(gè)場(chǎng)景。假設(shè)你現(xiàn)在要研究“過(guò)去20個(gè)交易日的收益率動(dòng)量”這個(gè)因子最樸素的做法是寫(xiě)一段腳本把行情數(shù)據(jù)讀進(jìn)來(lái)算一個(gè)收益率序列再按日期合并到標(biāo)的上。腳本跑完你得到一個(gè) DataFrame看一眼 IC、分層收益覺(jué)得還行于是順手存成一個(gè) CSV。問(wèn)題來(lái)了三個(gè)月后你想把動(dòng)量因子和另一個(gè)波動(dòng)率因子放在一起做正交化發(fā)現(xiàn)兩份 CSV 的日期索引不一樣某只停牌股的缺失值處理方式也不一樣甚至動(dòng)量因子當(dāng)時(shí)是用“前復(fù)權(quán)價(jià)格”算的波動(dòng)率因子用的是“不復(fù)權(quán)價(jià)格”。你花了一晚上排查最后崩潰地發(fā)現(xiàn)根本沒(méi)法直接對(duì)比。這個(gè)場(chǎng)景在量化研究里太常見(jiàn)了。它暴露的不是某個(gè)因子的計(jì)算錯(cuò)誤而是整個(gè)研究流程缺少“數(shù)據(jù)流”的約束。所謂“從數(shù)據(jù)流到因子庫(kù)”本質(zhì)上是把因子研究拆成一條可重復(fù)執(zhí)行的流水線原始行情數(shù)據(jù) → 統(tǒng)一清洗與對(duì)齊 → 因子計(jì)算 → 因子預(yù)處理 → 有效性檢驗(yàn) → 因子入庫(kù) → 查詢與使用每一步都有明確的輸入和輸出每一步的中間結(jié)果可以被追溯和復(fù)現(xiàn)。這樣因子研究就不再是一次性腳本而是一個(gè)可積累的資產(chǎn)。這篇文章適合誰(shuí)主要是兩類人。一類是剛把單個(gè)因子研究跑通的個(gè)人研究者需要建立更系統(tǒng)的框架另一類是小團(tuán)隊(duì)里負(fù)責(zé)研究基礎(chǔ)設(shè)施的開(kāi)發(fā)者需要為投研同學(xué)設(shè)計(jì)一套簡(jiǎn)單的因子管理方案。前者可以重點(diǎn)看數(shù)據(jù)流和因子預(yù)處理的思路后者可以重點(diǎn)看因子庫(kù)設(shè)計(jì)和查詢語(yǔ)義的部分。2. 因子、數(shù)據(jù)流、因子庫(kù)的概念邊界在深入實(shí)操之前有幾個(gè)概念需要先對(duì)齊因?yàn)樗鼈兒苋菀妆换煊?。因子在量化研究里通常指一個(gè)可計(jì)算的橫截面特征它試圖用某個(gè)維度的信息來(lái)解釋或預(yù)測(cè)資產(chǎn)未來(lái)收益的差異。動(dòng)量因子、波動(dòng)率因子、估值因子都是典型例子。一個(gè)因子本質(zhì)上是一個(gè)“股票-日期”維度的數(shù)值表每一行代表某只股票在某個(gè)截面上的因子值。數(shù)據(jù)流在因子研究里指的是因子從原始數(shù)據(jù)到最終使用值的流動(dòng)過(guò)程。它不是一條從 A 到 B 的直線而是有多條支路行情數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、另類數(shù)據(jù)各有各的清洗邏輯最后要在統(tǒng)一的時(shí)間截面上對(duì)齊。之所以強(qiáng)調(diào)數(shù)據(jù)流是因?yàn)橐蜃友芯恐?70% 以上的錯(cuò)誤都出在“對(duì)齊”上而不是因子公式本身。因子庫(kù)則是把經(jīng)過(guò)驗(yàn)證的因子以結(jié)構(gòu)化方式存儲(chǔ)、管理、檢索的系統(tǒng)。它可以簡(jiǎn)單到一張規(guī)范設(shè)計(jì)的數(shù)據(jù)庫(kù)表也可以復(fù)雜到一套帶版本管理、權(quán)限控制、自動(dòng)更新任務(wù)的完整服務(wù)。對(duì)于個(gè)人研究者起步階段不需要上重型系統(tǒng)但至少要有一套穩(wěn)定的存儲(chǔ)規(guī)范和查詢接口。這三者的關(guān)系可以這樣理解數(shù)據(jù)流是過(guò)程因子是產(chǎn)物因子庫(kù)是沉淀產(chǎn)物的倉(cāng)庫(kù)。沒(méi)有數(shù)據(jù)流的約束因子就是一次性的臨時(shí)結(jié)果沒(méi)有因子庫(kù)的沉淀數(shù)據(jù)流跑得再順成果也無(wú)法復(fù)用。這里還要提一下“因子圖優(yōu)化”這個(gè)詞。它在很多語(yǔ)境里指圖神經(jīng)網(wǎng)絡(luò)中特征或因子關(guān)系的自動(dòng)優(yōu)化屬于機(jī)器學(xué)習(xí)與圖計(jì)算的交叉方向。但從量化研究的角度看它的核心思想同樣可以借用因子之間不是孤立的它們存在相關(guān)性、冗余性和互補(bǔ)性因子庫(kù)的元數(shù)據(jù)設(shè)計(jì)如果能記錄因子間的關(guān)聯(lián)關(guān)系未來(lái)做因子篩選和組合時(shí)就會(huì)高效很多。這篇文章不會(huì)展開(kāi)講圖優(yōu)化本身但會(huì)在因子庫(kù)設(shè)計(jì)中預(yù)留“因子關(guān)系描述”的字段方便后續(xù)擴(kuò)展。3. 環(huán)境準(zhǔn)備與前置條件這篇文章的示例代碼以 Python 為主建議使用 Python 3.9 以上版本。核心依賴如下pandas數(shù)據(jù)處理與截面操作的主力工具numpy數(shù)值計(jì)算scipy統(tǒng)計(jì)檢驗(yàn)例如單因子方差分析 F 檢驗(yàn)statsmodels回歸分析、中性化殘差提取SQLite/MySQL因子庫(kù)存儲(chǔ)示例使用 SQLite 方便本地驗(yàn)證版本請(qǐng)以實(shí)際項(xiàng)目為準(zhǔn)本文重點(diǎn)演示通用思路。如果你的環(huán)境里已經(jīng)安裝了 Anaconda 或 Miniconda可以直接創(chuàng)建虛擬環(huán)境conda create -n quant_factor python3.10 conda activate quant_factor pip install pandas numpy scipy statsmodels sqlalchemy如果你的機(jī)器是 ARM 架構(gòu)的 Mac或者某些 Python 版本對(duì) statsmodels 的依賴有兼容問(wèn)題可能會(huì)出現(xiàn)安裝失敗。這時(shí)候建議優(yōu)先使用 conda 安裝 statsmodels因?yàn)樗鼤?huì)自動(dòng)處理底層 BLAS 庫(kù)的依賴。還需要說(shuō)明的是本文的數(shù)據(jù)集使用模擬數(shù)據(jù)演示流程。真實(shí)的量化研究通常需要接入日線行情、分鐘行情、財(cái)務(wù)數(shù)據(jù)等數(shù)據(jù)源但“數(shù)據(jù)源長(zhǎng)什么樣”并不是數(shù)據(jù)流的核心難點(diǎn)核心難點(diǎn)在于統(tǒng)一的清洗和對(duì)齊規(guī)范。所以本文的示例代碼會(huì)刻意把數(shù)據(jù)源模擬成統(tǒng)一格式的 DataFrame方便你聚焦在數(shù)據(jù)流設(shè)計(jì)上。4. 從原始數(shù)據(jù)到因子值核心流程拆解因子計(jì)算看起來(lái)是“寫(xiě)個(gè)公式就出結(jié)果”但放進(jìn)數(shù)據(jù)流視角后你會(huì)發(fā)現(xiàn)它至少包含四個(gè)子步驟原始數(shù)據(jù)清洗、因子值計(jì)算、截面對(duì)齊與缺失值處理、因子預(yù)處理。4.1 原始數(shù)據(jù)清洗與標(biāo)準(zhǔn)化無(wú)論因子邏輯多復(fù)雜第一步都是拿到干凈的行情數(shù)據(jù)。常見(jiàn)的問(wèn)題包括停牌導(dǎo)致的缺失行、除權(quán)除息導(dǎo)致的價(jià)格跳變、異常成交量、重復(fù)日期索引。這里的處理原則是清洗邏輯必須統(tǒng)一不能每個(gè)因子各洗各的。比如復(fù)權(quán)方式全庫(kù)應(yīng)該統(tǒng)一使用某一種價(jià)格序列。實(shí)際研究中趨勢(shì)類因子更常用前復(fù)權(quán)價(jià)格估值類因子可能要用到未復(fù)權(quán)價(jià)格和財(cái)務(wù)數(shù)據(jù)配合但入庫(kù)前至少要明確記錄使用的是哪種價(jià)格。下面是一個(gè)基礎(chǔ)清洗示例# 文件路徑data_cleaner.py import pandas as pd def clean_daily_price(df: pd.DataFrame) - pd.DataFrame: 清洗日線行情數(shù)據(jù)。 輸入必須包含列symbol, trade_date, close, volume 輸出按 symbol trade_date 排序、無(wú)重復(fù)索引的 DataFrame df df.copy() df[trade_date] pd.to_datetime(df[trade_date]) # 去重同一標(biāo)的同一交易日只保留一條 df df.drop_duplicates(subset[symbol, trade_date], keeplast) # 排序保證后續(xù)計(jì)算依賴時(shí)間順序 df df.sort_values([symbol, trade_date]).reset_index(dropTrue) # 剔除價(jià)格為空的記錄 df df.dropna(subset[close]) return df這一段代碼看起來(lái)簡(jiǎn)單但它確定了一個(gè)非常重要的約定所有因子計(jì)算腳本接收的都應(yīng)該已經(jīng)是這個(gè)格式的行情數(shù)據(jù)。這樣動(dòng)量因子、波動(dòng)率因子、量?jī)r(jià)因子都從同一個(gè)清洗后的輸入開(kāi)始避免了“各算各的、各錯(cuò)各的”的問(wèn)題。4.2 因子值計(jì)算清洗完成后就可以做因子計(jì)算了。這里的關(guān)鍵設(shè)計(jì)是“因子計(jì)算函數(shù)只做一件事輸入干凈的行情或財(cái)務(wù)數(shù)據(jù)輸出因子值”。以 20 日動(dòng)量因子為例# 文件路徑factor_momentum.py import pandas as pd def calc_momentum(price: pd.Series, window: int 20) - pd.Series: 計(jì)算動(dòng)量因子過(guò)去 window 日的累計(jì)收益率。 return price / price.shift(window) - 1.0 def build_momentum_factor(clean_df: pd.DataFrame, window: int 20) - pd.DataFrame: 基于清洗后的日線數(shù)據(jù)生成 momentum 因子值表。 返回 DataFramecolumns [symbol, trade_date, momentum] records [] for symbol, group in clean_df.groupby(symbol): group group.sort_values(trade_date) group[momentum] calc_momentum(group[close], window) records.append(group[[symbol, trade_date, momentum]]) result pd.concat(records, ignore_indexTrue) return result這段代碼在工程上有一個(gè)明顯的性能問(wèn)題用 groupby 循環(huán)逐只股票計(jì)算在幾百只股票、幾千個(gè)交易日的數(shù)據(jù)量下勉強(qiáng)能跑但數(shù)據(jù)量上去后會(huì)非常慢。實(shí)際項(xiàng)目中更推薦用 pandas 的 groupby transform 或者直接用向量化操作。示例代碼刻意保留循環(huán)是為了讓邏輯更直白真正落地時(shí)你可以把它替換成更高效的實(shí)現(xiàn)。4.3 截面對(duì)齊與缺失值處理因子值算出來(lái)后會(huì)得到一個(gè)長(zhǎng)表每一行是一個(gè)“股票-日期”對(duì)。但研究因子時(shí)我們更經(jīng)常需要的是“寬表”每一行是一個(gè)交易日每一列是一只股票單元格是因子值。為什么要轉(zhuǎn)成寬表因?yàn)楹芏鄼z驗(yàn)方法比如分層回測(cè)、IC 計(jì)算天然要求按截面對(duì)齊。# 文件路徑factor_alignment.py import pandas as pd def pivot_factor(factor_long: pd.DataFrame, factor_name: str factor) - pd.DataFrame: 將因子長(zhǎng)表轉(zhuǎn)成寬表。 輸入symbol, trade_date, factor 三列 輸出index 為 trade_datecolumns 為 symbol wide factor_long.pivot_table( indextrade_date, columnssymbol, valuesfactor_name ) # 按時(shí)間升序排列 wide wide.sort_index() return wide轉(zhuǎn)成寬表后缺失值處理就變成一個(gè)必須正面回答的問(wèn)題。因子值的缺失通常來(lái)自三種情況股票停牌當(dāng)天沒(méi)有交易數(shù)據(jù)。計(jì)算窗口不足比如上市不滿 20 天的股票無(wú)法計(jì)算 20 日動(dòng)量。數(shù)據(jù)源本身缺失。不同情況應(yīng)該有不同的處理方式但在因子研究階段統(tǒng)一的做法是先不去填充而是在檢驗(yàn)時(shí)顯式跳過(guò)缺失值。如果強(qiáng)行填充比如用 0 填充很可能會(huì)引入虛假信息讓檢驗(yàn)結(jié)果失真。這一點(diǎn)在后面的常見(jiàn)問(wèn)題里還會(huì)展開(kāi)。4.4 因子預(yù)處理去極值、中性化、標(biāo)準(zhǔn)化截面因子值直接使用會(huì)帶來(lái)兩個(gè)問(wèn)題極端值主導(dǎo)統(tǒng)計(jì)量、風(fēng)格暴露干擾判斷。所以因子入庫(kù)和檢驗(yàn)前一般會(huì)做三步預(yù)處理。去極值是為了消除異常值影響常用的方法是分位數(shù)截?cái)嗷?MAD絕對(duì)中位差法。下面給出一個(gè)基于百分位數(shù)的去極值實(shí)現(xiàn)# 文件路徑factor_preprocess.py import numpy as np import pandas as pd def winsorize_series(s: pd.Series, lower: float 0.01, upper: float 0.99) - pd.Series: 對(duì)橫截面序列做分位數(shù)去極值。 q_lower s.quantile(lower) q_upper s.quantile(upper) return s.clip(lowerq_lower, upperq_upper)中性化是剔除因子與某些風(fēng)險(xiǎn)因子通常包括市值、行業(yè)有時(shí)也包括風(fēng)格因子之間的線性相關(guān)性。這一步的目的是讓“因子值”更干凈地反映它自身的信息增量。中性化通常用線性回歸取殘差來(lái)實(shí)現(xiàn)# 文件路徑factor_preprocess.py import statsmodels.api as sm def neutralize_factor( factor_wide: pd.DataFrame, market_cap_wide: pd.DataFrame, industry_dummies: pd.DataFrame ) - pd.DataFrame: 對(duì)因子值做橫截面中性化返回殘差作為新因子值。 這里以市值和行業(yè)虛擬變量作為中性化變量。 dates factor_wide.index result pd.DataFrame(indexdates, columnsfactor_wide.columns, dtypefloat) for dt in dates: y factor_wide.loc[dt] x pd.DataFrame(indexy.index) # 市值做對(duì)數(shù)處理更接近正態(tài) x[log_market_cap] np.log(market_cap_wide.loc[dt]) # 行業(yè)虛擬變量這里假設(shè) industry_dummies 是 MultiIndex 寬表 x pd.concat([x, industry_dummies.loc[dt]], axis1) # 去掉 y 或 x 中有缺失的股票 valid y.notna() x.notna().all(axis1) if valid.sum() 10: continue y_valid y[valid].astype(float) x_valid sm.add_constant(x[valid]) model sm.OLS(y_valid, x_valid).fit() result.loc[dt, valid] model.resid return result中性化是一個(gè)經(jīng)常被過(guò)度使用的步驟。如果因子本身就是要暴露市值風(fēng)格那中性化后會(huì)損失原始含義如果因子是純技術(shù)面選股因子中性化反而能提高和其他策略的疊加能力。這個(gè)選擇要取決于研究目標(biāo)而不是無(wú)腦照做。標(biāo)準(zhǔn)化是為了讓不同因子具有可比性。Z-score 是最常見(jiàn)的標(biāo)準(zhǔn)化方式# 文件路徑factor_preprocess.py def zscore_series(s: pd.Series) - pd.Series: 橫截面 Z-score 標(biāo)準(zhǔn)化。 return (s - s.mean()) / s.std()注意這里的均值、標(biāo)準(zhǔn)差都是在同一截面上計(jì)算的而不是滾動(dòng)窗口。因?yàn)橐蜃友芯筷P(guān)心的是“橫截面可比性”不是時(shí)間序列的平穩(wěn)性。5. 因子有效性檢驗(yàn)從 IC 到 F 檢驗(yàn)因子算完、預(yù)處理完之后下一步是回答一個(gè)靈魂問(wèn)題這個(gè)因子到底有沒(méi)有用這是“從數(shù)據(jù)流到因子庫(kù)”流程里最關(guān)鍵的質(zhì)檢關(guān)卡。沒(méi)有通過(guò)質(zhì)檢的因子不應(yīng)該進(jìn)入因子庫(kù)。5.1 分層回測(cè)與單調(diào)性最常用的檢驗(yàn)方法是分層回測(cè)按每個(gè)截面的因子值大小分成 N 層統(tǒng)計(jì)每組在未來(lái)一段時(shí)間的平均收益觀察收益是否隨因子值單調(diào)變化。# 文件路徑factor_evaluate.py import pandas as pd import numpy as np def layer_returns( factor_wide: pd.DataFrame, forward_return: pd.DataFrame, n_layers: int 5 ) - pd.DataFrame: 按因子值分層計(jì)算每組未來(lái)收益均值。 forward_return: 寬表index 為 trade_datecolumns 為 symbol 值為未來(lái)持有期收益需要與 factor_wide 時(shí)間對(duì)齊。 result {} for dt in factor_wide.index: if dt not in forward_return.index: continue f factor_wide.loc[dt].dropna() ret forward_return.loc[dt] ret ret.reindex(f.index) valid f.notna() ret.notna() f f[valid] ret ret[valid] if len(f) n_layers * 2: continue # 按因子值排名分層0 為最小因子值組 ranks f.rank(methodfirst) layer pd.qcut(ranks, n_layers, labelsFalse) grouped ret.groupby(layer).mean() result[dt] grouped layer_table pd.DataFrame(result).T layer_table.columns [fL{i} for i in range(n_layers)] return layer_table如果 L5 組因子值最大的收益顯著高于 L1 組因子值最小并且中間各組大體單調(diào)那說(shuō)明這個(gè)因子對(duì)收益有區(qū)分能力。如果 L1 和 L5 差異很大但中間亂跳則要警惕因子的非線性效應(yīng)或極端值影響。5.2 IC 與 IR分層回測(cè)直觀但需要一個(gè)簡(jiǎn)潔數(shù)值來(lái)衡量整體預(yù)測(cè)能力這時(shí)就要算 IC。IC 有多種定義最常用的是 Rank IC即截面因子值和未來(lái)收益的 Spearman 秩相關(guān)系數(shù)。# 文件路徑factor_evaluate.py from scipy.stats import spearmanr def rank_ic_series(factor_wide: pd.DataFrame, forward_return: pd.DataFrame) - pd.Series: 逐截面計(jì)算 Rank IC。 dates factor_wide.index ic_list {} for dt in dates: if dt not in forward_return.index: continue f factor_wide.loc[dt] ret forward_return.loc[dt] valid f.notna() ret.notna() if valid.sum() 5: continue ic, _ spearmanr(f[valid], ret[valid]) ic_list[dt] ic return pd.Series(ic_list, namerank_ic)有了逐日 IC 序列之后可以進(jìn)一步計(jì)算 IC 的均值、標(biāo)準(zhǔn)差、ICIRIR。IR 的計(jì)算方式是 IC 均值除以 IC 標(biāo)準(zhǔn)差它衡量的是因子預(yù)測(cè)能力的穩(wěn)定性。如果一個(gè)因子 IC 均值為 0.05 但標(biāo)準(zhǔn)差也是 0.05IR 只有 1說(shuō)明預(yù)測(cè)能力波動(dòng)太大如果標(biāo)準(zhǔn)差只有 0.02IR 達(dá)到 2.5則說(shuō)明因子比較穩(wěn)定。5.3 單因子方差分析 F 檢驗(yàn)的應(yīng)用場(chǎng)景在因子檢驗(yàn)里方差分析 F 檢驗(yàn)經(jīng)常被提及但它更適合回答“分層收益之間是否存在顯著差異”這個(gè)問(wèn)題而不是“因子是否有效”的全部答案。具體來(lái)說(shuō)如果把每層的未來(lái)收益看作一組樣本那么可以用單因子方差分析檢驗(yàn)這 N 組收益的均值是否存在顯著差異。零假設(shè)是各組均值相等如果 p 值很小說(shuō)明至少有兩組的收益均值顯著不同因子對(duì)收益有分層效果。# 文件路徑factor_evaluate.py from scipy import stats def f_test_layers(layer_table: pd.DataFrame) - dict: 對(duì)分層收益做單因子方差分析 F 檢驗(yàn)。 輸入 layer_table 為 DataFrame列是 L0..L4行是日期截面。 該函數(shù)檢驗(yàn)各分層收益均值是否顯著不同。 groups [layer_table[col].dropna().values for col in layer_table.columns] # 過(guò)濾樣本過(guò)少的組 groups [g for g in groups if len(g) 3] f_stat, p_value stats.f_oneway(*groups) return { f_statistic: f_stat, p_value: p_value, layer_means: layer_table.mean().to_dict() }需要強(qiáng)調(diào)的是F 檢驗(yàn)的結(jié)果只能說(shuō)明“組間有差異”不能說(shuō)明差異是單調(diào)的。一個(gè)因子可能讓 L1 和 L5 差異巨大但中間層毫無(wú)規(guī)律F 檢驗(yàn)依然顯著。所以 F 檢驗(yàn)應(yīng)該配合分層收益表一起看而不是單獨(dú)作為因子入庫(kù)的依據(jù)。5.4 未來(lái)函數(shù)檢查因子檢驗(yàn)里最危險(xiǎn)的錯(cuò)誤不是統(tǒng)計(jì)方法選錯(cuò)而是引入了未來(lái)函數(shù)。常見(jiàn)的是計(jì)算因子時(shí)誤用了當(dāng)天的收盤(pán)價(jià)而未來(lái)收益也是從當(dāng)天收盤(pán)價(jià)開(kāi)始計(jì)算兩者在時(shí)間點(diǎn)上重疊導(dǎo)致 IC 虛高。解決方法是嚴(yán)格定義時(shí)間軸。假設(shè)因子值使用 T 日及之前的信息計(jì)算那因子值記為factor_t未來(lái)收益應(yīng)該是T1日到TN日的收益而不是從 T 日開(kāi)始。換句話說(shuō)T 日的因子值必須和 T 日的收益錯(cuò)開(kāi)使用。這一條聽(tīng)起來(lái)簡(jiǎn)單但實(shí)際操作中因?yàn)閿?shù)據(jù)索引錯(cuò)位導(dǎo)致的未來(lái)函數(shù)出現(xiàn)頻率極高。6. 因子庫(kù)設(shè)計(jì)與 SQL 實(shí)現(xiàn)當(dāng)因子通過(guò)了檢驗(yàn)它就不再是一個(gè)臨時(shí)計(jì)算結(jié)果而是應(yīng)該進(jìn)入因子庫(kù)成為可復(fù)用的資產(chǎn)。因子庫(kù)設(shè)計(jì)的核心問(wèn)題有三個(gè)存什么表、表結(jié)構(gòu)長(zhǎng)什么樣、如何管理版本和元數(shù)據(jù)。6.1 因子庫(kù)表結(jié)構(gòu)設(shè)計(jì)從最簡(jiǎn)方案出發(fā)一張核心的“因子值表”加上一張“因子元數(shù)據(jù)表”就足夠覆蓋個(gè)人研究者的需求。因子值表存儲(chǔ)每個(gè)因子在每個(gè)標(biāo)的每個(gè)交易日上的因子值采用窄表結(jié)構(gòu)。窄表雖然存儲(chǔ)空間更大但查詢和擴(kuò)展非常靈活新增一個(gè)因子不需要改表結(jié)構(gòu)。-- 文件路徑schema.sql CREATE TABLE IF NOT EXISTS factor_value ( factor_code VARCHAR(32) NOT NULL COMMENT 因子編碼如 momentum_20d, symbol VARCHAR(16) NOT NULL COMMENT 標(biāo)的代碼如 000001.SZ, trade_date DATE NOT NULL COMMENT 交易日, factor_value DOUBLE NULL COMMENT 因子值未標(biāo)準(zhǔn)化原始值, is_preprocessed TINYINT NOT NULL DEFAULT 0 COMMENT 是否已預(yù)處理0原始 1去極值 2中性化 3標(biāo)準(zhǔn)化, updated_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 寫(xiě)入時(shí)間, PRIMARY KEY (factor_code, symbol, trade_date, is_preprocessed) );不要把預(yù)處理后的因子值和原始因子值混在同一行里。原因是每次預(yù)處理都可能依賴不同的截面信息混在一起會(huì)讓“這個(gè)值到底怎么來(lái)的”變得難以追溯。更穩(wěn)妥的做法是把預(yù)處理版本作為一個(gè)獨(dú)立維度。因子元數(shù)據(jù)表記錄因子的基本信息和計(jì)算口徑-- 文件路徑schema.sql CREATE TABLE IF NOT EXISTS factor_meta ( factor_code VARCHAR(32) PRIMARY KEY COMMENT 因子編碼, factor_name VARCHAR(128) NOT NULL COMMENT 因子名稱, category VARCHAR(32) COMMENT 因子分類momentum/volatility/value/quality, formula TEXT COMMENT 因子計(jì)算邏輯描述, data_source VARCHAR(255) COMMENT 數(shù)據(jù)來(lái)源說(shuō)明, rebalance_freq VARCHAR(16) COMMENT 調(diào)倉(cāng)頻率daily/weekly/monthly, author VARCHAR(64) COMMENT 創(chuàng)建人, version VARCHAR(16) COMMENT 版本號(hào), status VARCHAR(16) DEFAULT active COMMENT 狀態(tài)active/draft/deprecated, related_factors VARCHAR(255) COMMENT 關(guān)聯(lián)因子編碼逗號(hào)分隔可描述因子間關(guān)系, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP );這里我用related_factors字段來(lái)記錄因子間的關(guān)系。后續(xù)如果要做因子圖優(yōu)化或相關(guān)性聚類這個(gè)字段可以提供基礎(chǔ)的關(guān)系線索。6.2 從 DataFrame 寫(xiě)入因子庫(kù)使用 SQLAlchemy 可以很方便地把 pandas DataFrame 寫(xiě)入 SQLite# 文件路徑factor_store.py from sqlalchemy import create_engine def save_factor_to_db( factor_long: pd.DataFrame, factor_code: str, db_path: str factor_lib.db, is_preprocessed: int 0, if_exists: str append ) - None: 將因子長(zhǎng)表寫(xiě)入因子庫(kù)。 engine create_engine(fsqlite:///{db_path}) df factor_long.copy() df[factor_code] factor_code df[is_preprocessed] is_preprocessed df[updated_at] pd.Timestamp.now() # 只保留必要列并重命名 df df[[factor_code, symbol, trade_date, factor, is_preprocessed, updated_at]] df df.rename(columns{factor: factor_value}) df.to_sql(namefactor_value, conengine, if_existsif_exists, indexFalse)寫(xiě)入時(shí)需要注意if_exists參數(shù)。如果表里已經(jīng)有舊數(shù)據(jù)直接 append 可能會(huì)導(dǎo)致主鍵沖突。因此在寫(xiě)入前應(yīng)該先判斷是否要覆蓋已有區(qū)間。比較穩(wěn)妥的做法是先刪除目標(biāo)因子在指定時(shí)間范圍內(nèi)的舊記錄再寫(xiě)入新數(shù)據(jù)。這個(gè)過(guò)程可以放在事務(wù)里保證原子性。6.3 因子讀取與查詢語(yǔ)義因子庫(kù)建好后最重要的使用方式是從庫(kù)里按條件取數(shù)-- 查詢 momentum_20d 因子最近 30 個(gè)交易日的數(shù)據(jù) SELECT symbol, trade_date, factor_value FROM factor_value WHERE factor_code momentum_20d AND trade_date DATE(now, -30 day) ORDER BY trade_date, symbol;這里就引出一個(gè)查詢語(yǔ)義問(wèn)題因子庫(kù)里存的應(yīng)該是“T 日因子值”還是“T 日可用因子值”如果按嚴(yán)格的數(shù)據(jù)流應(yīng)該是后者。也就是說(shuō)因子值是 T 日收盤(pán)后計(jì)算出來(lái)的在 T1 日才可用。如果只用自然日期查詢很容易在回測(cè)中用到當(dāng)天收盤(pán)后才知道的因子值來(lái)預(yù)測(cè)當(dāng)天收益。這里的一個(gè)推薦做法是在入庫(kù)時(shí)就把“可用日期”顯式存出來(lái)而不是讓使用者做日期偏移。比如增加一列available_date等于因子值真正可以被使用的日期。這樣回測(cè)引擎只需要按available_date取數(shù)不需要每個(gè)人都記住“因子值要滯后一天”這個(gè)規(guī)則。不過(guò)為了不讓表結(jié)構(gòu)過(guò)度復(fù)雜個(gè)人研究者也可以在查詢時(shí)統(tǒng)一約定取 T 日因子值必須用于預(yù)測(cè) T1 日及之后開(kāi)始的收益禁止用于 T 日當(dāng)天收益。這個(gè)約定的關(guān)鍵是把它寫(xiě)進(jìn)代碼規(guī)范和文檔而不是靠每個(gè)人自覺(jué)。7. 完整示例把流程串起來(lái)為了讓你更直觀地理解“從數(shù)據(jù)流到因子庫(kù)”的完整鏈路這里用一個(gè)模擬數(shù)據(jù)腳本把整個(gè)流程串起來(lái)。假設(shè)我們有 30 只股票、500 個(gè)交易日的模擬行情數(shù)據(jù)。# 文件路徑run_pipeline.py import numpy as np import pandas as pd from data_cleaner import clean_daily_price from factor_momentum import build_momentum_factor from factor_preprocess import winsorize_series, zscore_series from factor_evaluate import rank_ic_series from factor_store import save_factor_to_db # 1. 生成模擬行情數(shù)據(jù) np.random.seed(42) dates pd.bdate_range(2023-01-02, 2024-12-01) symbols [f{i:06d}.SZ for i in range(1, 31)] records [] for sym in symbols: base np.random.randn() * 5 20 for dt in dates: ret np.random.randn() * 0.02 close base * (1 ret) records.append({symbol: sym, trade_date: dt, close: close, volume: np.random.rand() * 1e6}) raw_df pd.DataFrame(records) # 2. 清洗 clean_df clean_daily_price(raw_df) # 3. 計(jì)算因子 factor_long build_momentum_factor(clean_df, window20) factor_long factor_long.rename(columns{momentum: factor}) # 4. 轉(zhuǎn)寬表并做截面預(yù)處理 factor_wide factor_long.pivot_table(indextrade_date, columnssymbol, valuesfactor) factor_wide factor_wide.sort_index() factor_wide_clean factor_wide.apply(winsorize_series, axis1) factor_wide_z factor_wide_clean.apply(zscore_series, axis1) # 5. 計(jì)算未來(lái) 5 日收益模擬 forward return close_wide clean_df.pivot_table(indextrade_date, columnssymbol, valuesclose).sort_index() forward_ret close_wide.shift(-5) / close_wide - 1.0 # 6. 檢驗(yàn) IC ic rank_ic_series(factor_wide_z, forward_ret) print(IC 均值:, ic.mean()) print(IC 標(biāo)準(zhǔn)差:, ic.std()) print(IR:, ic.mean() / ic.std()) print(IC0 比例:, (ic 0).mean()) # 7. 入庫(kù)這里以預(yù)處理后的因子值為例 factor_wide_z.reset_index().melt(id_varstrade_date, var_namesymbol, value_namefactor) save_factor_to_db( factor_long..., factor_codemomentum_20d_zscore, db_pathfactor_lib.db, is_preprocessed3 )注意上面第 7 步里我留了一個(gè)省略號(hào)。實(shí)際使用時(shí)你需要把melt之后的長(zhǎng)表賦給變量再傳給save_factor_to_db。原因是save_factor_to_db期望的是包含factor列的長(zhǎng)表而melt之后默認(rèn)列名是value需要改名。這個(gè)示例跑通后你就擁有了一條最小的“數(shù)據(jù)流 → 因子 → 檢驗(yàn) → 入庫(kù)”鏈路。之后每新增一個(gè)因子只需要按照同樣的模板寫(xiě)計(jì)算函數(shù)和處理邏輯。8. 常見(jiàn)問(wèn)題與排查思路因子研究和因子庫(kù)建設(shè)過(guò)程中有幾個(gè)坑值得單獨(dú)拿出來(lái)講。問(wèn)題現(xiàn)象可能原因排查方式解決方案因子 IC 高得離譜引入了未來(lái)函數(shù)因子值和收益時(shí)間重疊檢查因子計(jì)算最后一個(gè)輸入數(shù)據(jù)日期與收益起始日因子值統(tǒng)一滯后一天使用入庫(kù)時(shí)增加可用日期字段不同因子合并后數(shù)據(jù)對(duì)不齊各因子使用了不同復(fù)權(quán)方式、不同清洗邏輯檢查各因子入庫(kù)的元數(shù)據(jù)記錄統(tǒng)一數(shù)據(jù)清洗層所有因子共用同一份清洗后行情因子值缺失比例過(guò)高上市時(shí)間短、停牌、計(jì)算窗口不足統(tǒng)計(jì)各截面缺失率設(shè)置合理的缺失率閾值檢驗(yàn)時(shí)排除缺失過(guò)多的標(biāo)的同一因子兩次入庫(kù)結(jié)果不同數(shù)據(jù)源更新導(dǎo)致歷史數(shù)據(jù)變化對(duì)比兩次計(jì)算結(jié)果差異區(qū)間建立數(shù)據(jù)版本快照機(jī)制因子計(jì)算鎖定數(shù)據(jù)版本因子入庫(kù)后查詢性能差窄表無(wú)索引或查詢范圍過(guò)大查看執(zhí)行計(jì)劃按 factor_code 和 trade_date 建聯(lián)合索引預(yù)處理前后因子值混用庫(kù)中同一因子存在多套預(yù)處理版本檢查 is_preprocessed 字段強(qiáng)制查詢時(shí)指定預(yù)處理版本或拆分成獨(dú)立表分層收益 F 檢驗(yàn)顯著但多空組合不賺錢分層差異來(lái)自極端組中間層不單調(diào)查看分層收益表每層均值增加單調(diào)性判斷不只依賴 F 檢驗(yàn)這里特別想展開(kāi)說(shuō)一下“數(shù)據(jù)源更新導(dǎo)致因子結(jié)果不同”這個(gè)坑。在真實(shí)量化研究中行情數(shù)據(jù)是會(huì)被修正的。比如某天某只股票發(fā)生了除權(quán)數(shù)據(jù)商可能會(huì)回溯調(diào)整歷史價(jià)格。如果你的因子計(jì)算沒(méi)有鎖定數(shù)據(jù)版本下一次重算時(shí)歷史因子值就會(huì)變化這會(huì)讓因子庫(kù)里的歷史記錄和新的計(jì)算結(jié)果產(chǎn)生沖突。解決思路是要么存儲(chǔ)因子值時(shí)就同時(shí)記錄數(shù)據(jù)源版本號(hào)要么在重新計(jì)算因子后把受影響的歷史區(qū)間整體覆蓋并更新元數(shù)據(jù)里的版本號(hào)。對(duì)于個(gè)人研究者第二條路更簡(jiǎn)單但一定要在建庫(kù)時(shí)把updated_at和version字段留好。9. 從因子庫(kù)到因子平臺(tái)工程化最佳實(shí)踐如果你已經(jīng)把“從數(shù)據(jù)流到因子庫(kù)”的鏈路跑通接下來(lái)就需要考慮工程化的穩(wěn)定性問(wèn)題。這里給出幾條實(shí)踐建議。第一條把因子計(jì)算做成可配置的流水線。每個(gè)因子不僅是“一個(gè)函數(shù)”而應(yīng)該是一個(gè)配置項(xiàng)。配置項(xiàng)里包含因子編碼、依賴的數(shù)據(jù)表、計(jì)算函數(shù)入口、預(yù)處理方式、檢驗(yàn)閾值、入庫(kù)目標(biāo)表。這樣新增一個(gè)因子時(shí)你只需要增加一條配置而不是復(fù)制粘貼一整套腳本。# 文件路徑factors_config.yaml factors: - code: momentum_20d name: 20日動(dòng)量 module: factor_momentum function: build_momentum_factor params: window: 20 preprocess: winsorize: true neutralize: false zscore: true validation: min_ic: 0.03 min_ir: 1.5第二條因子的入庫(kù)過(guò)程要有冪等性。同一份因子數(shù)據(jù)重復(fù)入庫(kù)不應(yīng)該產(chǎn)生重復(fù)記錄或沖突。實(shí)現(xiàn)方式有兩種寫(xiě)入前刪除目標(biāo)區(qū)間的舊數(shù)據(jù)或者使用INSERT OR REPLACE。對(duì)于支持事務(wù)的數(shù)據(jù)庫(kù)推薦用事務(wù)包裹“刪除寫(xiě)入”兩個(gè)步驟。第三條預(yù)處理邏輯要可復(fù)現(xiàn)。去極值用的分位數(shù)、中性化用的市值和行業(yè)數(shù)據(jù)這些都應(yīng)該在元數(shù)據(jù)里記錄。否則三個(gè)月后看到某個(gè)因子的 zscore 值你根本不知道它在哪個(gè)截面上做的標(biāo)準(zhǔn)化。一個(gè)設(shè)計(jì)良好的因子庫(kù)應(yīng)該能回答“這個(gè)值是怎么算出來(lái)的”這個(gè)問(wèn)題。第四條安全邊界和權(quán)限管理。雖然個(gè)人研究者的因子庫(kù)通常只有自己使用但如果你在團(tuán)隊(duì)里搭建因子平臺(tái)就要考慮權(quán)限問(wèn)題。建議至少區(qū)分三個(gè)角色因子計(jì)算者可以寫(xiě)入和修改、策略研究者可以查詢和下載、系統(tǒng)管理員管理元數(shù)據(jù)和清理數(shù)據(jù)。不要讓所有人的代碼都直接連數(shù)據(jù)庫(kù)寫(xiě)數(shù)據(jù)中間應(yīng)該有一層統(tǒng)一的數(shù)據(jù)訪問(wèn)服務(wù)。第五條關(guān)注數(shù)據(jù)質(zhì)量監(jiān)控。因子庫(kù)不能只進(jìn)不出。建議定期跑一遍質(zhì)量監(jiān)控腳本檢查每個(gè)因子近期的缺失率、覆蓋度、均值和標(biāo)準(zhǔn)差是否有異常漂移。如果某一天某個(gè)因子的截面均值突然從 0.1 跳到 0.8很可能是數(shù)據(jù)源或計(jì)算邏輯出了問(wèn)題。第六條為未來(lái)擴(kuò)展留接口。因子的研究對(duì)象不會(huì)永遠(yuǎn)停留在單一資產(chǎn)類別。如果你的因子庫(kù)從股票擴(kuò)展到期貨、轉(zhuǎn)債字段設(shè)計(jì)上需要預(yù)留資產(chǎn)類別標(biāo)識(shí)。另外如果未來(lái)要做機(jī)器學(xué)習(xí)因子挖掘生成的因子往往數(shù)量很多這時(shí)候因子庫(kù)就要支持批量注冊(cè)和批量更新而不是手工編寫(xiě)每一條元數(shù)據(jù)。10. 階段收官該收拾的不只是代碼還有認(rèn)知回到文章最初的問(wèn)題因子階段收官收的是什么從技術(shù)層面看是從數(shù)據(jù)流到因子庫(kù)的整條鏈路跑通。從認(rèn)知層面看是建立了一個(gè)很重要的判斷因子研究的核心資產(chǎn)不是某一個(gè)神奇因子而是把原始數(shù)據(jù)穩(wěn)定地加工成可驗(yàn)證、可復(fù)用、可組合的因子資產(chǎn)的流水線能力。如果你正在做量化的第 90 天、第 200 天或者已經(jīng)有一堆因子腳本散落在各個(gè) notebook 里這篇文章的建議是停下手頭繼續(xù)挖新因子的沖動(dòng)先花一到兩周時(shí)間把已有的因子整理進(jìn)一個(gè)規(guī)范化的因子庫(kù)。這個(gè)動(dòng)作看起來(lái)是在做“后勤工作”但它會(huì)顯著提升你后續(xù)研究的效率。你會(huì)發(fā)現(xiàn)很多以前需要重復(fù)排查的問(wèn)題在因子庫(kù)建好之后自動(dòng)消失了很多以前無(wú)法組合的因子現(xiàn)在只需要一次 JOIN 就能拿到對(duì)齊后的數(shù)據(jù)。接下來(lái)的學(xué)習(xí)方向可以沿著兩條線繼續(xù)深入。一條是因子組合與篩選方向基于因子庫(kù)做相關(guān)性聚類、正交化、因子合成這是“因子圖優(yōu)化”落地的實(shí)際場(chǎng)景另一條是數(shù)據(jù)流自動(dòng)化方向把從數(shù)據(jù)清洗到因子入庫(kù)的過(guò)程做成定時(shí)任務(wù)和監(jiān)控告警讓因子庫(kù)成為真正可以支撐實(shí)盤(pán)研究的基礎(chǔ)設(shè)施。從數(shù)據(jù)流到因子庫(kù)不只是代碼層面的重構(gòu)更是研究思維的工程化升級(jí)。這一步邁過(guò)去量化研究才算真正進(jìn)入下一階段。 從數(shù)據(jù)流到因子庫(kù)：量化因子研究的工程化收官之路
做量化研究做到一定程度很多人會(huì)陷入一種“因子很多、策略很少”的尷尬回測(cè)里十幾個(gè)因子都有不錯(cuò)的單調(diào)性可真要組合起來(lái)使用不是數(shù)據(jù)對(duì)不齊就是因子邏輯早已忘了當(dāng)初怎么算的更別說(shuō)把它交給團(tuán)隊(duì)其他成員復(fù)現(xiàn)。如果你也卡在這個(gè)階段這篇文章想和你認(rèn)真聊聊因子階段的收官到底收的是什么。我的判斷是因子研究做到收官標(biāo)志不是“又多挖了幾個(gè)有效因子”而是你把從原始數(shù)據(jù)到因子值的整條鏈路理順了并且沉淀成了一個(gè)可查詢、可回溯、可復(fù)用的因子庫(kù)。換句話說(shuō)研究能力要變成工程能力你的因子才算真正長(zhǎng)在了自己的系統(tǒng)里。這篇文章會(huì)圍繞“從數(shù)據(jù)流到因子庫(kù)”這條主線展開(kāi)先講清楚因子研究中的數(shù)據(jù)流到底長(zhǎng)什么樣再走一遍因子計(jì)算、預(yù)處理、有效性檢驗(yàn)的完整流程然后重點(diǎn)討論因子庫(kù)的存儲(chǔ)結(jié)構(gòu)、元數(shù)據(jù)設(shè)計(jì)和查詢語(yǔ)義最后給出工程化的最佳實(shí)踐和常見(jiàn)坑位。全文以 Python 生態(tài)為主涉及 pandas、numpy、statsmodels、scipy 等常用工具適合已經(jīng)有基礎(chǔ)因子研究經(jīng)驗(yàn)、正在搭建自己量化研究框架的讀者。1. 這篇文章真正要解決的問(wèn)題先拋一個(gè)場(chǎng)景。假設(shè)你現(xiàn)在要研究“過(guò)去20個(gè)交易日的收益率動(dòng)量”這個(gè)因子最樸素的做法是寫(xiě)一段腳本把行情數(shù)據(jù)讀進(jìn)來(lái)算一個(gè)收益率序列再按日期合并到標(biāo)的上。腳本跑完你得到一個(gè) DataFrame看一眼 IC、分層收益覺(jué)得還行于是順手存成一個(gè) CSV。問(wèn)題來(lái)了三個(gè)月后你想把動(dòng)量因子和另一個(gè)波動(dòng)率因子放在一起做正交化發(fā)現(xiàn)兩份 CSV 的日期索引不一樣某只停牌股的缺失值處理方式也不一樣甚至動(dòng)量因子當(dāng)時(shí)是用“前復(fù)權(quán)價(jià)格”算的波動(dòng)率因子用的是“不復(fù)權(quán)價(jià)格”。你花了一晚上排查最后崩潰地發(fā)現(xiàn)根本沒(méi)法直接對(duì)比。這個(gè)場(chǎng)景在量化研究里太常見(jiàn)了。它暴露的不是某個(gè)因子的計(jì)算錯(cuò)誤而是整個(gè)研究流程缺少“數(shù)據(jù)流”的約束。所謂“從數(shù)據(jù)流到因子庫(kù)”本質(zhì)上是把因子研究拆成一條可重復(fù)執(zhí)行的流水線原始行情數(shù)據(jù) → 統(tǒng)一清洗與對(duì)齊 → 因子計(jì)算 → 因子預(yù)處理 → 有效性檢驗(yàn) → 因子入庫(kù) → 查詢與使用每一步都有明確的輸入和輸出每一步的中間結(jié)果可以被追溯和復(fù)現(xiàn)。這樣因子研究就不再是一次性腳本而是一個(gè)可積累的資產(chǎn)。這篇文章適合誰(shuí)主要是兩類人。一類是剛把單個(gè)因子研究跑通的個(gè)人研究者需要建立更系統(tǒng)的框架另一類是小團(tuán)隊(duì)里負(fù)責(zé)研究基礎(chǔ)設(shè)施的開(kāi)發(fā)者需要為投研同學(xué)設(shè)計(jì)一套簡(jiǎn)單的因子管理方案。前者可以重點(diǎn)看數(shù)據(jù)流和因子預(yù)處理的思路后者可以重點(diǎn)看因子庫(kù)設(shè)計(jì)和查詢語(yǔ)義的部分。2. 因子、數(shù)據(jù)流、因子庫(kù)的概念邊界在深入實(shí)操之前有幾個(gè)概念需要先對(duì)齊因?yàn)樗鼈兒苋菀妆换煊?。因子在量化研究里通常指一個(gè)可計(jì)算的橫截面特征它試圖用某個(gè)維度的信息來(lái)解釋或預(yù)測(cè)資產(chǎn)未來(lái)收益的差異。動(dòng)量因子、波動(dòng)率因子、估值因子都是典型例子。一個(gè)因子本質(zhì)上是一個(gè)“股票-日期”維度的數(shù)值表每一行代表某只股票在某個(gè)截面上的因子值。數(shù)據(jù)流在因子研究里指的是因子從原始數(shù)據(jù)到最終使用值的流動(dòng)過(guò)程。它不是一條從 A 到 B 的直線而是有多條支路行情數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、另類數(shù)據(jù)各有各的清洗邏輯最后要在統(tǒng)一的時(shí)間截面上對(duì)齊。之所以強(qiáng)調(diào)數(shù)據(jù)流是因?yàn)橐蜃友芯恐?70% 以上的錯(cuò)誤都出在“對(duì)齊”上而不是因子公式本身。因子庫(kù)則是把經(jīng)過(guò)驗(yàn)證的因子以結(jié)構(gòu)化方式存儲(chǔ)、管理、檢索的系統(tǒng)。它可以簡(jiǎn)單到一張規(guī)范設(shè)計(jì)的數(shù)據(jù)庫(kù)表也可以復(fù)雜到一套帶版本管理、權(quán)限控制、自動(dòng)更新任務(wù)的完整服務(wù)。對(duì)于個(gè)人研究者起步階段不需要上重型系統(tǒng)但至少要有一套穩(wěn)定的存儲(chǔ)規(guī)范和查詢接口。這三者的關(guān)系可以這樣理解數(shù)據(jù)流是過(guò)程因子是產(chǎn)物因子庫(kù)是沉淀產(chǎn)物的倉(cāng)庫(kù)。沒(méi)有數(shù)據(jù)流的約束因子就是一次性的臨時(shí)結(jié)果沒(méi)有因子庫(kù)的沉淀數(shù)據(jù)流跑得再順成果也無(wú)法復(fù)用。這里還要提一下“因子圖優(yōu)化”這個(gè)詞。它在很多語(yǔ)境里指圖神經(jīng)網(wǎng)絡(luò)中特征或因子關(guān)系的自動(dòng)優(yōu)化屬于機(jī)器學(xué)習(xí)與圖計(jì)算的交叉方向。但從量化研究的角度看它的核心思想同樣可以借用因子之間不是孤立的它們存在相關(guān)性、冗余性和互補(bǔ)性因子庫(kù)的元數(shù)據(jù)設(shè)計(jì)如果能記錄因子間的關(guān)聯(lián)關(guān)系未來(lái)做因子篩選和組合時(shí)就會(huì)高效很多。這篇文章不會(huì)展開(kāi)講圖優(yōu)化本身但會(huì)在因子庫(kù)設(shè)計(jì)中預(yù)留“因子關(guān)系描述”的字段方便后續(xù)擴(kuò)展。3. 環(huán)境準(zhǔn)備與前置條件這篇文章的示例代碼以 Python 為主建議使用 Python 3.9 以上版本。核心依賴如下pandas數(shù)據(jù)處理與截面操作的主力工具numpy數(shù)值計(jì)算scipy統(tǒng)計(jì)檢驗(yàn)例如單因子方差分析 F 檢驗(yàn)statsmodels回歸分析、中性化殘差提取SQLite/MySQL因子庫(kù)存儲(chǔ)示例使用 SQLite 方便本地驗(yàn)證版本請(qǐng)以實(shí)際項(xiàng)目為準(zhǔn)本文重點(diǎn)演示通用思路。如果你的環(huán)境里已經(jīng)安裝了 Anaconda 或 Miniconda可以直接創(chuàng)建虛擬環(huán)境conda create -n quant_factor python3.10 conda activate quant_factor pip install pandas numpy scipy statsmodels sqlalchemy如果你的機(jī)器是 ARM 架構(gòu)的 Mac或者某些 Python 版本對(duì) statsmodels 的依賴有兼容問(wèn)題可能會(huì)出現(xiàn)安裝失敗。這時(shí)候建議優(yōu)先使用 conda 安裝 statsmodels因?yàn)樗鼤?huì)自動(dòng)處理底層 BLAS 庫(kù)的依賴。還需要說(shuō)明的是本文的數(shù)據(jù)集使用模擬數(shù)據(jù)演示流程。真實(shí)的量化研究通常需要接入日線行情、分鐘行情、財(cái)務(wù)數(shù)據(jù)等數(shù)據(jù)源但“數(shù)據(jù)源長(zhǎng)什么樣”并不是數(shù)據(jù)流的核心難點(diǎn)核心難點(diǎn)在于統(tǒng)一的清洗和對(duì)齊規(guī)范。所以本文的示例代碼會(huì)刻意把數(shù)據(jù)源模擬成統(tǒng)一格式的 DataFrame方便你聚焦在數(shù)據(jù)流設(shè)計(jì)上。4. 從原始數(shù)據(jù)到因子值核心流程拆解因子計(jì)算看起來(lái)是“寫(xiě)個(gè)公式就出結(jié)果”但放進(jìn)數(shù)據(jù)流視角后你會(huì)發(fā)現(xiàn)它至少包含四個(gè)子步驟原始數(shù)據(jù)清洗、因子值計(jì)算、截面對(duì)齊與缺失值處理、因子預(yù)處理。4.1 原始數(shù)據(jù)清洗與標(biāo)準(zhǔn)化無(wú)論因子邏輯多復(fù)雜第一步都是拿到干凈的行情數(shù)據(jù)。常見(jiàn)的問(wèn)題包括停牌導(dǎo)致的缺失行、除權(quán)除息導(dǎo)致的價(jià)格跳變、異常成交量、重復(fù)日期索引。這里的處理原則是清洗邏輯必須統(tǒng)一不能每個(gè)因子各洗各的。比如復(fù)權(quán)方式全庫(kù)應(yīng)該統(tǒng)一使用某一種價(jià)格序列。實(shí)際研究中趨勢(shì)類因子更常用前復(fù)權(quán)價(jià)格估值類因子可能要用到未復(fù)權(quán)價(jià)格和財(cái)務(wù)數(shù)據(jù)配合但入庫(kù)前至少要明確記錄使用的是哪種價(jià)格。下面是一個(gè)基礎(chǔ)清洗示例# 文件路徑data_cleaner.py import pandas as pd def clean_daily_price(df: pd.DataFrame) - pd.DataFrame: 清洗日線行情數(shù)據(jù)。 輸入必須包含列symbol, trade_date, close, volume 輸出按 symbol trade_date 排序、無(wú)重復(fù)索引的 DataFrame df df.copy() df[trade_date] pd.to_datetime(df[trade_date]) # 去重同一標(biāo)的同一交易日只保留一條 df df.drop_duplicates(subset[symbol, trade_date], keeplast) # 排序保證后續(xù)計(jì)算依賴時(shí)間順序 df df.sort_values([symbol, trade_date]).reset_index(dropTrue) # 剔除價(jià)格為空的記錄 df df.dropna(subset[close]) return df這一段代碼看起來(lái)簡(jiǎn)單但它確定了一個(gè)非常重要的約定所有因子計(jì)算腳本接收的都應(yīng)該已經(jīng)是這個(gè)格式的行情數(shù)據(jù)。這樣動(dòng)量因子、波動(dòng)率因子、量?jī)r(jià)因子都從同一個(gè)清洗后的輸入開(kāi)始避免了“各算各的、各錯(cuò)各的”的問(wèn)題。4.2 因子值計(jì)算清洗完成后就可以做因子計(jì)算了。這里的關(guān)鍵設(shè)計(jì)是“因子計(jì)算函數(shù)只做一件事輸入干凈的行情或財(cái)務(wù)數(shù)據(jù)輸出因子值”。以 20 日動(dòng)量因子為例# 文件路徑factor_momentum.py import pandas as pd def calc_momentum(price: pd.Series, window: int 20) - pd.Series: 計(jì)算動(dòng)量因子過(guò)去 window 日的累計(jì)收益率。 return price / price.shift(window) - 1.0 def build_momentum_factor(clean_df: pd.DataFrame, window: int 20) - pd.DataFrame: 基于清洗后的日線數(shù)據(jù)生成 momentum 因子值表。 返回 DataFramecolumns [symbol, trade_date, momentum] records [] for symbol, group in clean_df.groupby(symbol): group group.sort_values(trade_date) group[momentum] calc_momentum(group[close], window) records.append(group[[symbol, trade_date, momentum]]) result pd.concat(records, ignore_indexTrue) return result這段代碼在工程上有一個(gè)明顯的性能問(wèn)題用 groupby 循環(huán)逐只股票計(jì)算在幾百只股票、幾千個(gè)交易日的數(shù)據(jù)量下勉強(qiáng)能跑但數(shù)據(jù)量上去后會(huì)非常慢。實(shí)際項(xiàng)目中更推薦用 pandas 的 groupby transform 或者直接用向量化操作。示例代碼刻意保留循環(huán)是為了讓邏輯更直白真正落地時(shí)你可以把它替換成更高效的實(shí)現(xiàn)。4.3 截面對(duì)齊與缺失值處理因子值算出來(lái)后會(huì)得到一個(gè)長(zhǎng)表每一行是一個(gè)“股票-日期”對(duì)。但研究因子時(shí)我們更經(jīng)常需要的是“寬表”每一行是一個(gè)交易日每一列是一只股票單元格是因子值。為什么要轉(zhuǎn)成寬表因?yàn)楹芏鄼z驗(yàn)方法比如分層回測(cè)、IC 計(jì)算天然要求按截面對(duì)齊。# 文件路徑factor_alignment.py import pandas as pd def pivot_factor(factor_long: pd.DataFrame, factor_name: str factor) - pd.DataFrame: 將因子長(zhǎng)表轉(zhuǎn)成寬表。 輸入symbol, trade_date, factor 三列 輸出index 為 trade_datecolumns 為 symbol wide factor_long.pivot_table( indextrade_date, columnssymbol, valuesfactor_name ) # 按時(shí)間升序排列 wide wide.sort_index() return wide轉(zhuǎn)成寬表后缺失值處理就變成一個(gè)必須正面回答的問(wèn)題。因子值的缺失通常來(lái)自三種情況股票停牌當(dāng)天沒(méi)有交易數(shù)據(jù)。計(jì)算窗口不足比如上市不滿 20 天的股票無(wú)法計(jì)算 20 日動(dòng)量。數(shù)據(jù)源本身缺失。不同情況應(yīng)該有不同的處理方式但在因子研究階段統(tǒng)一的做法是先不去填充而是在檢驗(yàn)時(shí)顯式跳過(guò)缺失值。如果強(qiáng)行填充比如用 0 填充很可能會(huì)引入虛假信息讓檢驗(yàn)結(jié)果失真。這一點(diǎn)在后面的常見(jiàn)問(wèn)題里還會(huì)展開(kāi)。4.4 因子預(yù)處理去極值、中性化、標(biāo)準(zhǔn)化截面因子值直接使用會(huì)帶來(lái)兩個(gè)問(wèn)題極端值主導(dǎo)統(tǒng)計(jì)量、風(fēng)格暴露干擾判斷。所以因子入庫(kù)和檢驗(yàn)前一般會(huì)做三步預(yù)處理。去極值是為了消除異常值影響常用的方法是分位數(shù)截?cái)嗷?MAD絕對(duì)中位差法。下面給出一個(gè)基于百分位數(shù)的去極值實(shí)現(xiàn)# 文件路徑factor_preprocess.py import numpy as np import pandas as pd def winsorize_series(s: pd.Series, lower: float 0.01, upper: float 0.99) - pd.Series: 對(duì)橫截面序列做分位數(shù)去極值。 q_lower s.quantile(lower) q_upper s.quantile(upper) return s.clip(lowerq_lower, upperq_upper)中性化是剔除因子與某些風(fēng)險(xiǎn)因子通常包括市值、行業(yè)有時(shí)也包括風(fēng)格因子之間的線性相關(guān)性。這一步的目的是讓“因子值”更干凈地反映它自身的信息增量。中性化通常用線性回歸取殘差來(lái)實(shí)現(xiàn)# 文件路徑factor_preprocess.py import statsmodels.api as sm def neutralize_factor( factor_wide: pd.DataFrame, market_cap_wide: pd.DataFrame, industry_dummies: pd.DataFrame ) - pd.DataFrame: 對(duì)因子值做橫截面中性化返回殘差作為新因子值。 這里以市值和行業(yè)虛擬變量作為中性化變量。 dates factor_wide.index result pd.DataFrame(indexdates, columnsfactor_wide.columns, dtypefloat) for dt in dates: y factor_wide.loc[dt] x pd.DataFrame(indexy.index) # 市值做對(duì)數(shù)處理更接近正態(tài) x[log_market_cap] np.log(market_cap_wide.loc[dt]) # 行業(yè)虛擬變量這里假設(shè) industry_dummies 是 MultiIndex 寬表 x pd.concat([x, industry_dummies.loc[dt]], axis1) # 去掉 y 或 x 中有缺失的股票 valid y.notna() x.notna().all(axis1) if valid.sum() 10: continue y_valid y[valid].astype(float) x_valid sm.add_constant(x[valid]) model sm.OLS(y_valid, x_valid).fit() result.loc[dt, valid] model.resid return result中性化是一個(gè)經(jīng)常被過(guò)度使用的步驟。如果因子本身就是要暴露市值風(fēng)格那中性化后會(huì)損失原始含義如果因子是純技術(shù)面選股因子中性化反而能提高和其他策略的疊加能力。這個(gè)選擇要取決于研究目標(biāo)而不是無(wú)腦照做。標(biāo)準(zhǔn)化是為了讓不同因子具有可比性。Z-score 是最常見(jiàn)的標(biāo)準(zhǔn)化方式# 文件路徑factor_preprocess.py def zscore_series(s: pd.Series) - pd.Series: 橫截面 Z-score 標(biāo)準(zhǔn)化。 return (s - s.mean()) / s.std()注意這里的均值、標(biāo)準(zhǔn)差都是在同一截面上計(jì)算的而不是滾動(dòng)窗口。因?yàn)橐蜃友芯筷P(guān)心的是“橫截面可比性”不是時(shí)間序列的平穩(wěn)性。5. 因子有效性檢驗(yàn)從 IC 到 F 檢驗(yàn)因子算完、預(yù)處理完之后下一步是回答一個(gè)靈魂問(wèn)題這個(gè)因子到底有沒(méi)有用這是“從數(shù)據(jù)流到因子庫(kù)”流程里最關(guān)鍵的質(zhì)檢關(guān)卡。沒(méi)有通過(guò)質(zhì)檢的因子不應(yīng)該進(jìn)入因子庫(kù)。5.1 分層回測(cè)與單調(diào)性最常用的檢驗(yàn)方法是分層回測(cè)按每個(gè)截面的因子值大小分成 N 層統(tǒng)計(jì)每組在未來(lái)一段時(shí)間的平均收益觀察收益是否隨因子值單調(diào)變化。# 文件路徑factor_evaluate.py import pandas as pd import numpy as np def layer_returns( factor_wide: pd.DataFrame, forward_return: pd.DataFrame, n_layers: int 5 ) - pd.DataFrame: 按因子值分層計(jì)算每組未來(lái)收益均值。 forward_return: 寬表index 為 trade_datecolumns 為 symbol 值為未來(lái)持有期收益需要與 factor_wide 時(shí)間對(duì)齊。 result {} for dt in factor_wide.index: if dt not in forward_return.index: continue f factor_wide.loc[dt].dropna() ret forward_return.loc[dt] ret ret.reindex(f.index) valid f.notna() ret.notna() f f[valid] ret ret[valid] if len(f) n_layers * 2: continue # 按因子值排名分層0 為最小因子值組 ranks f.rank(methodfirst) layer pd.qcut(ranks, n_layers, labelsFalse) grouped ret.groupby(layer).mean() result[dt] grouped layer_table pd.DataFrame(result).T layer_table.columns [fL{i} for i in range(n_layers)] return layer_table如果 L5 組因子值最大的收益顯著高于 L1 組因子值最小并且中間各組大體單調(diào)那說(shuō)明這個(gè)因子對(duì)收益有區(qū)分能力。如果 L1 和 L5 差異很大但中間亂跳則要警惕因子的非線性效應(yīng)或極端值影響。5.2 IC 與 IR分層回測(cè)直觀但需要一個(gè)簡(jiǎn)潔數(shù)值來(lái)衡量整體預(yù)測(cè)能力這時(shí)就要算 IC。IC 有多種定義最常用的是 Rank IC即截面因子值和未來(lái)收益的 Spearman 秩相關(guān)系數(shù)。# 文件路徑factor_evaluate.py from scipy.stats import spearmanr def rank_ic_series(factor_wide: pd.DataFrame, forward_return: pd.DataFrame) - pd.Series: 逐截面計(jì)算 Rank IC。 dates factor_wide.index ic_list {} for dt in dates: if dt not in forward_return.index: continue f factor_wide.loc[dt] ret forward_return.loc[dt] valid f.notna() ret.notna() if valid.sum() 5: continue ic, _ spearmanr(f[valid], ret[valid]) ic_list[dt] ic return pd.Series(ic_list, namerank_ic)有了逐日 IC 序列之后可以進(jìn)一步計(jì)算 IC 的均值、標(biāo)準(zhǔn)差、ICIRIR。IR 的計(jì)算方式是 IC 均值除以 IC 標(biāo)準(zhǔn)差它衡量的是因子預(yù)測(cè)能力的穩(wěn)定性。如果一個(gè)因子 IC 均值為 0.05 但標(biāo)準(zhǔn)差也是 0.05IR 只有 1說(shuō)明預(yù)測(cè)能力波動(dòng)太大如果標(biāo)準(zhǔn)差只有 0.02IR 達(dá)到 2.5則說(shuō)明因子比較穩(wěn)定。5.3 單因子方差分析 F 檢驗(yàn)的應(yīng)用場(chǎng)景在因子檢驗(yàn)里方差分析 F 檢驗(yàn)經(jīng)常被提及但它更適合回答“分層收益之間是否存在顯著差異”這個(gè)問(wèn)題而不是“因子是否有效”的全部答案。具體來(lái)說(shuō)如果把每層的未來(lái)收益看作一組樣本那么可以用單因子方差分析檢驗(yàn)這 N 組收益的均值是否存在顯著差異。零假設(shè)是各組均值相等如果 p 值很小說(shuō)明至少有兩組的收益均值顯著不同因子對(duì)收益有分層效果。# 文件路徑factor_evaluate.py from scipy import stats def f_test_layers(layer_table: pd.DataFrame) - dict: 對(duì)分層收益做單因子方差分析 F 檢驗(yàn)。 輸入 layer_table 為 DataFrame列是 L0..L4行是日期截面。 該函數(shù)檢驗(yàn)各分層收益均值是否顯著不同。 groups [layer_table[col].dropna().values for col in layer_table.columns] # 過(guò)濾樣本過(guò)少的組 groups [g for g in groups if len(g) 3] f_stat, p_value stats.f_oneway(*groups) return { f_statistic: f_stat, p_value: p_value, layer_means: layer_table.mean().to_dict() }需要強(qiáng)調(diào)的是F 檢驗(yàn)的結(jié)果只能說(shuō)明“組間有差異”不能說(shuō)明差異是單調(diào)的。一個(gè)因子可能讓 L1 和 L5 差異巨大但中間層毫無(wú)規(guī)律F 檢驗(yàn)依然顯著。所以 F 檢驗(yàn)應(yīng)該配合分層收益表一起看而不是單獨(dú)作為因子入庫(kù)的依據(jù)。5.4 未來(lái)函數(shù)檢查因子檢驗(yàn)里最危險(xiǎn)的錯(cuò)誤不是統(tǒng)計(jì)方法選錯(cuò)而是引入了未來(lái)函數(shù)。常見(jiàn)的是計(jì)算因子時(shí)誤用了當(dāng)天的收盤(pán)價(jià)而未來(lái)收益也是從當(dāng)天收盤(pán)價(jià)開(kāi)始計(jì)算兩者在時(shí)間點(diǎn)上重疊導(dǎo)致 IC 虛高。解決方法是嚴(yán)格定義時(shí)間軸。假設(shè)因子值使用 T 日及之前的信息計(jì)算那因子值記為factor_t未來(lái)收益應(yīng)該是T1日到TN日的收益而不是從 T 日開(kāi)始。換句話說(shuō)T 日的因子值必須和 T 日的收益錯(cuò)開(kāi)使用。這一條聽(tīng)起來(lái)簡(jiǎn)單但實(shí)際操作中因?yàn)閿?shù)據(jù)索引錯(cuò)位導(dǎo)致的未來(lái)函數(shù)出現(xiàn)頻率極高。6. 因子庫(kù)設(shè)計(jì)與 SQL 實(shí)現(xiàn)當(dāng)因子通過(guò)了檢驗(yàn)它就不再是一個(gè)臨時(shí)計(jì)算結(jié)果而是應(yīng)該進(jìn)入因子庫(kù)成為可復(fù)用的資產(chǎn)。因子庫(kù)設(shè)計(jì)的核心問(wèn)題有三個(gè)存什么表、表結(jié)構(gòu)長(zhǎng)什么樣、如何管理版本和元數(shù)據(jù)。6.1 因子庫(kù)表結(jié)構(gòu)設(shè)計(jì)從最簡(jiǎn)方案出發(fā)一張核心的“因子值表”加上一張“因子元數(shù)據(jù)表”就足夠覆蓋個(gè)人研究者的需求。因子值表存儲(chǔ)每個(gè)因子在每個(gè)標(biāo)的每個(gè)交易日上的因子值采用窄表結(jié)構(gòu)。窄表雖然存儲(chǔ)空間更大但查詢和擴(kuò)展非常靈活新增一個(gè)因子不需要改表結(jié)構(gòu)。-- 文件路徑schema.sql CREATE TABLE IF NOT EXISTS factor_value ( factor_code VARCHAR(32) NOT NULL COMMENT 因子編碼如 momentum_20d, symbol VARCHAR(16) NOT NULL COMMENT 標(biāo)的代碼如 000001.SZ, trade_date DATE NOT NULL COMMENT 交易日, factor_value DOUBLE NULL COMMENT 因子值未標(biāo)準(zhǔn)化原始值, is_preprocessed TINYINT NOT NULL DEFAULT 0 COMMENT 是否已預(yù)處理0原始 1去極值 2中性化 3標(biāo)準(zhǔn)化, updated_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT 寫(xiě)入時(shí)間, PRIMARY KEY (factor_code, symbol, trade_date, is_preprocessed) );不要把預(yù)處理后的因子值和原始因子值混在同一行里。原因是每次預(yù)處理都可能依賴不同的截面信息混在一起會(huì)讓“這個(gè)值到底怎么來(lái)的”變得難以追溯。更穩(wěn)妥的做法是把預(yù)處理版本作為一個(gè)獨(dú)立維度。因子元數(shù)據(jù)表記錄因子的基本信息和計(jì)算口徑-- 文件路徑schema.sql CREATE TABLE IF NOT EXISTS factor_meta ( factor_code VARCHAR(32) PRIMARY KEY COMMENT 因子編碼, factor_name VARCHAR(128) NOT NULL COMMENT 因子名稱, category VARCHAR(32) COMMENT 因子分類momentum/volatility/value/quality, formula TEXT COMMENT 因子計(jì)算邏輯描述, data_source VARCHAR(255) COMMENT 數(shù)據(jù)來(lái)源說(shuō)明, rebalance_freq VARCHAR(16) COMMENT 調(diào)倉(cāng)頻率daily/weekly/monthly, author VARCHAR(64) COMMENT 創(chuàng)建人, version VARCHAR(16) COMMENT 版本號(hào), status VARCHAR(16) DEFAULT active COMMENT 狀態(tài)active/draft/deprecated, related_factors VARCHAR(255) COMMENT 關(guān)聯(lián)因子編碼逗號(hào)分隔可描述因子間關(guān)系, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP );這里我用related_factors字段來(lái)記錄因子間的關(guān)系。后續(xù)如果要做因子圖優(yōu)化或相關(guān)性聚類這個(gè)字段可以提供基礎(chǔ)的關(guān)系線索。6.2 從 DataFrame 寫(xiě)入因子庫(kù)使用 SQLAlchemy 可以很方便地把 pandas DataFrame 寫(xiě)入 SQLite# 文件路徑factor_store.py from sqlalchemy import create_engine def save_factor_to_db( factor_long: pd.DataFrame, factor_code: str, db_path: str factor_lib.db, is_preprocessed: int 0, if_exists: str append ) - None: 將因子長(zhǎng)表寫(xiě)入因子庫(kù)。 engine create_engine(fsqlite:///{db_path}) df factor_long.copy() df[factor_code] factor_code df[is_preprocessed] is_preprocessed df[updated_at] pd.Timestamp.now() # 只保留必要列并重命名 df df[[factor_code, symbol, trade_date, factor, is_preprocessed, updated_at]] df df.rename(columns{factor: factor_value}) df.to_sql(namefactor_value, conengine, if_existsif_exists, indexFalse)寫(xiě)入時(shí)需要注意if_exists參數(shù)。如果表里已經(jīng)有舊數(shù)據(jù)直接 append 可能會(huì)導(dǎo)致主鍵沖突。因此在寫(xiě)入前應(yīng)該先判斷是否要覆蓋已有區(qū)間。比較穩(wěn)妥的做法是先刪除目標(biāo)因子在指定時(shí)間范圍內(nèi)的舊記錄再寫(xiě)入新數(shù)據(jù)。這個(gè)過(guò)程可以放在事務(wù)里保證原子性。6.3 因子讀取與查詢語(yǔ)義因子庫(kù)建好后最重要的使用方式是從庫(kù)里按條件取數(shù)-- 查詢 momentum_20d 因子最近 30 個(gè)交易日的數(shù)據(jù) SELECT symbol, trade_date, factor_value FROM factor_value WHERE factor_code momentum_20d AND trade_date DATE(now, -30 day) ORDER BY trade_date, symbol;這里就引出一個(gè)查詢語(yǔ)義問(wèn)題因子庫(kù)里存的應(yīng)該是“T 日因子值”還是“T 日可用因子值”如果按嚴(yán)格的數(shù)據(jù)流應(yīng)該是后者。也就是說(shuō)因子值是 T 日收盤(pán)后計(jì)算出來(lái)的在 T1 日才可用。如果只用自然日期查詢很容易在回測(cè)中用到當(dāng)天收盤(pán)后才知道的因子值來(lái)預(yù)測(cè)當(dāng)天收益。這里的一個(gè)推薦做法是在入庫(kù)時(shí)就把“可用日期”顯式存出來(lái)而不是讓使用者做日期偏移。比如增加一列available_date等于因子值真正可以被使用的日期。這樣回測(cè)引擎只需要按available_date取數(shù)不需要每個(gè)人都記住“因子值要滯后一天”這個(gè)規(guī)則。不過(guò)為了不讓表結(jié)構(gòu)過(guò)度復(fù)雜個(gè)人研究者也可以在查詢時(shí)統(tǒng)一約定取 T 日因子值必須用于預(yù)測(cè) T1 日及之后開(kāi)始的收益禁止用于 T 日當(dāng)天收益。這個(gè)約定的關(guān)鍵是把它寫(xiě)進(jìn)代碼規(guī)范和文檔而不是靠每個(gè)人自覺(jué)。7. 完整示例把流程串起來(lái)為了讓你更直觀地理解“從數(shù)據(jù)流到因子庫(kù)”的完整鏈路這里用一個(gè)模擬數(shù)據(jù)腳本把整個(gè)流程串起來(lái)。假設(shè)我們有 30 只股票、500 個(gè)交易日的模擬行情數(shù)據(jù)。# 文件路徑run_pipeline.py import numpy as np import pandas as pd from data_cleaner import clean_daily_price from factor_momentum import build_momentum_factor from factor_preprocess import winsorize_series, zscore_series from factor_evaluate import rank_ic_series from factor_store import save_factor_to_db # 1. 生成模擬行情數(shù)據(jù) np.random.seed(42) dates pd.bdate_range(2023-01-02, 2024-12-01) symbols [f{i:06d}.SZ for i in range(1, 31)] records [] for sym in symbols: base np.random.randn() * 5 20 for dt in dates: ret np.random.randn() * 0.02 close base * (1 ret) records.append({symbol: sym, trade_date: dt, close: close, volume: np.random.rand() * 1e6}) raw_df pd.DataFrame(records) # 2. 清洗 clean_df clean_daily_price(raw_df) # 3. 計(jì)算因子 factor_long build_momentum_factor(clean_df, window20) factor_long factor_long.rename(columns{momentum: factor}) # 4. 轉(zhuǎn)寬表并做截面預(yù)處理 factor_wide factor_long.pivot_table(indextrade_date, columnssymbol, valuesfactor) factor_wide factor_wide.sort_index() factor_wide_clean factor_wide.apply(winsorize_series, axis1) factor_wide_z factor_wide_clean.apply(zscore_series, axis1) # 5. 計(jì)算未來(lái) 5 日收益模擬 forward return close_wide clean_df.pivot_table(indextrade_date, columnssymbol, valuesclose).sort_index() forward_ret close_wide.shift(-5) / close_wide - 1.0 # 6. 檢驗(yàn) IC ic rank_ic_series(factor_wide_z, forward_ret) print(IC 均值:, ic.mean()) print(IC 標(biāo)準(zhǔn)差:, ic.std()) print(IR:, ic.mean() / ic.std()) print(IC0 比例:, (ic 0).mean()) # 7. 入庫(kù)這里以預(yù)處理后的因子值為例 factor_wide_z.reset_index().melt(id_varstrade_date, var_namesymbol, value_namefactor) save_factor_to_db( factor_long..., factor_codemomentum_20d_zscore, db_pathfactor_lib.db, is_preprocessed3 )注意上面第 7 步里我留了一個(gè)省略號(hào)。實(shí)際使用時(shí)你需要把melt之后的長(zhǎng)表賦給變量再傳給save_factor_to_db。原因是save_factor_to_db期望的是包含factor列的長(zhǎng)表而melt之后默認(rèn)列名是value需要改名。這個(gè)示例跑通后你就擁有了一條最小的“數(shù)據(jù)流 → 因子 → 檢驗(yàn) → 入庫(kù)”鏈路。之后每新增一個(gè)因子只需要按照同樣的模板寫(xiě)計(jì)算函數(shù)和處理邏輯。8. 常見(jiàn)問(wèn)題與排查思路因子研究和因子庫(kù)建設(shè)過(guò)程中有幾個(gè)坑值得單獨(dú)拿出來(lái)講。問(wèn)題現(xiàn)象可能原因排查方式解決方案因子 IC 高得離譜引入了未來(lái)函數(shù)因子值和收益時(shí)間重疊檢查因子計(jì)算最后一個(gè)輸入數(shù)據(jù)日期與收益起始日因子值統(tǒng)一滯后一天使用入庫(kù)時(shí)增加可用日期字段不同因子合并后數(shù)據(jù)對(duì)不齊各因子使用了不同復(fù)權(quán)方式、不同清洗邏輯檢查各因子入庫(kù)的元數(shù)據(jù)記錄統(tǒng)一數(shù)據(jù)清洗層所有因子共用同一份清洗后行情因子值缺失比例過(guò)高上市時(shí)間短、停牌、計(jì)算窗口不足統(tǒng)計(jì)各截面缺失率設(shè)置合理的缺失率閾值檢驗(yàn)時(shí)排除缺失過(guò)多的標(biāo)的同一因子兩次入庫(kù)結(jié)果不同數(shù)據(jù)源更新導(dǎo)致歷史數(shù)據(jù)變化對(duì)比兩次計(jì)算結(jié)果差異區(qū)間建立數(shù)據(jù)版本快照機(jī)制因子計(jì)算鎖定數(shù)據(jù)版本因子入庫(kù)后查詢性能差窄表無(wú)索引或查詢范圍過(guò)大查看執(zhí)行計(jì)劃按 factor_code 和 trade_date 建聯(lián)合索引預(yù)處理前后因子值混用庫(kù)中同一因子存在多套預(yù)處理版本檢查 is_preprocessed 字段強(qiáng)制查詢時(shí)指定預(yù)處理版本或拆分成獨(dú)立表分層收益 F 檢驗(yàn)顯著但多空組合不賺錢分層差異來(lái)自極端組中間層不單調(diào)查看分層收益表每層均值增加單調(diào)性判斷不只依賴 F 檢驗(yàn)這里特別想展開(kāi)說(shuō)一下“數(shù)據(jù)源更新導(dǎo)致因子結(jié)果不同”這個(gè)坑。在真實(shí)量化研究中行情數(shù)據(jù)是會(huì)被修正的。比如某天某只股票發(fā)生了除權(quán)數(shù)據(jù)商可能會(huì)回溯調(diào)整歷史價(jià)格。如果你的因子計(jì)算沒(méi)有鎖定數(shù)據(jù)版本下一次重算時(shí)歷史因子值就會(huì)變化這會(huì)讓因子庫(kù)里的歷史記錄和新的計(jì)算結(jié)果產(chǎn)生沖突。解決思路是要么存儲(chǔ)因子值時(shí)就同時(shí)記錄數(shù)據(jù)源版本號(hào)要么在重新計(jì)算因子后把受影響的歷史區(qū)間整體覆蓋并更新元數(shù)據(jù)里的版本號(hào)。對(duì)于個(gè)人研究者第二條路更簡(jiǎn)單但一定要在建庫(kù)時(shí)把updated_at和version字段留好。9. 從因子庫(kù)到因子平臺(tái)工程化最佳實(shí)踐如果你已經(jīng)把“從數(shù)據(jù)流到因子庫(kù)”的鏈路跑通接下來(lái)就需要考慮工程化的穩(wěn)定性問(wèn)題。這里給出幾條實(shí)踐建議。第一條把因子計(jì)算做成可配置的流水線。每個(gè)因子不僅是“一個(gè)函數(shù)”而應(yīng)該是一個(gè)配置項(xiàng)。配置項(xiàng)里包含因子編碼、依賴的數(shù)據(jù)表、計(jì)算函數(shù)入口、預(yù)處理方式、檢驗(yàn)閾值、入庫(kù)目標(biāo)表。這樣新增一個(gè)因子時(shí)你只需要增加一條配置而不是復(fù)制粘貼一整套腳本。# 文件路徑factors_config.yaml factors: - code: momentum_20d name: 20日動(dòng)量 module: factor_momentum function: build_momentum_factor params: window: 20 preprocess: winsorize: true neutralize: false zscore: true validation: min_ic: 0.03 min_ir: 1.5第二條因子的入庫(kù)過(guò)程要有冪等性。同一份因子數(shù)據(jù)重復(fù)入庫(kù)不應(yīng)該產(chǎn)生重復(fù)記錄或沖突。實(shí)現(xiàn)方式有兩種寫(xiě)入前刪除目標(biāo)區(qū)間的舊數(shù)據(jù)或者使用INSERT OR REPLACE。對(duì)于支持事務(wù)的數(shù)據(jù)庫(kù)推薦用事務(wù)包裹“刪除寫(xiě)入”兩個(gè)步驟。第三條預(yù)處理邏輯要可復(fù)現(xiàn)。去極值用的分位數(shù)、中性化用的市值和行業(yè)數(shù)據(jù)這些都應(yīng)該在元數(shù)據(jù)里記錄。否則三個(gè)月后看到某個(gè)因子的 zscore 值你根本不知道它在哪個(gè)截面上做的標(biāo)準(zhǔn)化。一個(gè)設(shè)計(jì)良好的因子庫(kù)應(yīng)該能回答“這個(gè)值是怎么算出來(lái)的”這個(gè)問(wèn)題。第四條安全邊界和權(quán)限管理。雖然個(gè)人研究者的因子庫(kù)通常只有自己使用但如果你在團(tuán)隊(duì)里搭建因子平臺(tái)就要考慮權(quán)限問(wèn)題。建議至少區(qū)分三個(gè)角色因子計(jì)算者可以寫(xiě)入和修改、策略研究者可以查詢和下載、系統(tǒng)管理員管理元數(shù)據(jù)和清理數(shù)據(jù)。不要讓所有人的代碼都直接連數(shù)據(jù)庫(kù)寫(xiě)數(shù)據(jù)中間應(yīng)該有一層統(tǒng)一的數(shù)據(jù)訪問(wèn)服務(wù)。第五條關(guān)注數(shù)據(jù)質(zhì)量監(jiān)控。因子庫(kù)不能只進(jìn)不出。建議定期跑一遍質(zhì)量監(jiān)控腳本檢查每個(gè)因子近期的缺失率、覆蓋度、均值和標(biāo)準(zhǔn)差是否有異常漂移。如果某一天某個(gè)因子的截面均值突然從 0.1 跳到 0.8很可能是數(shù)據(jù)源或計(jì)算邏輯出了問(wèn)題。第六條為未來(lái)擴(kuò)展留接口。因子的研究對(duì)象不會(huì)永遠(yuǎn)停留在單一資產(chǎn)類別。如果你的因子庫(kù)從股票擴(kuò)展到期貨、轉(zhuǎn)債字段設(shè)計(jì)上需要預(yù)留資產(chǎn)類別標(biāo)識(shí)。另外如果未來(lái)要做機(jī)器學(xué)習(xí)因子挖掘生成的因子往往數(shù)量很多這時(shí)候因子庫(kù)就要支持批量注冊(cè)和批量更新而不是手工編寫(xiě)每一條元數(shù)據(jù)。10. 階段收官該收拾的不只是代碼還有認(rèn)知回到文章最初的問(wèn)題因子階段收官收的是什么從技術(shù)層面看是從數(shù)據(jù)流到因子庫(kù)的整條鏈路跑通。從認(rèn)知層面看是建立了一個(gè)很重要的判斷因子研究的核心資產(chǎn)不是某一個(gè)神奇因子而是把原始數(shù)據(jù)穩(wěn)定地加工成可驗(yàn)證、可復(fù)用、可組合的因子資產(chǎn)的流水線能力。如果你正在做量化的第 90 天、第 200 天或者已經(jīng)有一堆因子腳本散落在各個(gè) notebook 里這篇文章的建議是停下手頭繼續(xù)挖新因子的沖動(dòng)先花一到兩周時(shí)間把已有的因子整理進(jìn)一個(gè)規(guī)范化的因子庫(kù)。這個(gè)動(dòng)作看起來(lái)是在做“后勤工作”但它會(huì)顯著提升你后續(xù)研究的效率。你會(huì)發(fā)現(xiàn)很多以前需要重復(fù)排查的問(wèn)題在因子庫(kù)建好之后自動(dòng)消失了很多以前無(wú)法組合的因子現(xiàn)在只需要一次 JOIN 就能拿到對(duì)齊后的數(shù)據(jù)。接下來(lái)的學(xué)習(xí)方向可以沿著兩條線繼續(xù)深入。一條是因子組合與篩選方向基于因子庫(kù)做相關(guān)性聚類、正交化、因子合成這是“因子圖優(yōu)化”落地的實(shí)際場(chǎng)景另一條是數(shù)據(jù)流自動(dòng)化方向把從數(shù)據(jù)清洗到因子入庫(kù)的過(guò)程做成定時(shí)任務(wù)和監(jiān)控告警讓因子庫(kù)成為真正可以支撐實(shí)盤(pán)研究的基礎(chǔ)設(shè)施。從數(shù)據(jù)流到因子庫(kù)不只是代碼層面的重構(gòu)更是研究思維的工程化升級(jí)。這一步邁過(guò)去量化研究才算真正進(jìn)入下一階段。