根據(jù) Anthropic 官方博客 How Anthropic enables self-service data analytics with Claude 提煉而成。用法按從上到下的順序一項(xiàng)項(xiàng)打勾。節(jié)奏參考階段 0 半天階段 1 約 1–2 周階段 2 持續(xù) 3–4 周不要跳步階段 3 也別提前動(dòng)手術(shù)語約定canonical核心概念一個(gè)指標(biāo)唯一、說死的定義。比如收入到底取哪個(gè)表、什么口徑得先定下來。eval測(cè)試題一道問題 正確答案的題專門用來檢驗(yàn) AI 算得對(duì)不對(duì)。skill技能文檔一份說明告訴 AI 該按什么步驟去查數(shù)據(jù)。agent幫你跑分析的 AI 助手。前置開工前的五問決定投入多少[ ] Q1 今天 vs 未來哪個(gè)更重要為什么AI 模型更新很快。如果你是為了補(bǔ)當(dāng)前模型的短板才去搭基礎(chǔ)設(shè)施等模型一升級(jí)這些設(shè)施很可能就白費(fèi)了。先想清楚你要的是現(xiàn)在夠用就行還是長(zhǎng)期穩(wěn)得住這決定了你到底要建多少東西。怎么算完成能說清楚自己選哪條路是賭模型會(huì)變好、先湊合著用還是先搭一套能盡量兜底的系統(tǒng)。[ ] Q2 業(yè)務(wù)復(fù)雜度未來會(huì)怎么變?yōu)槭裁慈绻麛?shù)據(jù)量不大、看數(shù)據(jù)的人不多、業(yè)務(wù)也不算復(fù)雜那大廠那套流程對(duì)你來說多半是多余的。怎么算完成能大致判斷未來一年數(shù)據(jù)量和問題復(fù)雜度會(huì)不會(huì)明顯往上走。[ ] Q3 看數(shù)據(jù)的人懂不懂?dāng)?shù)據(jù)為什么看結(jié)果的人如果自己能看出錯(cuò)比如分析師本人用那出錯(cuò)率高些也能接受驗(yàn)證可以省一點(diǎn)。反過來如果看結(jié)果的人根本不懂?dāng)?shù)據(jù)驗(yàn)證就必須做扎實(shí)不然錯(cuò)了他也發(fā)現(xiàn)不了。怎么算完成能說清誰會(huì)看這些結(jié)果以及他能不能自己發(fā)現(xiàn)錯(cuò)。[ ] Q4 愿意為準(zhǔn)確率花多少錢、忍受多少延遲為什么有些提高準(zhǔn)確率的手段是要額外花錢、花時(shí)間的。比如 Anthropic 試過的對(duì)抗性審查準(zhǔn)確率只漲了 6%但 token 多耗 32%、響應(yīng)慢了 72%。怎么算完成心里大致有個(gè)數(shù)愿意花多少錢、能接受多長(zhǎng)的響應(yīng)時(shí)間。[ ] Q5 數(shù)據(jù)隱私邊界在哪為什么給 AI 的上下文越全它答得越準(zhǔn)。但數(shù)據(jù)開放范圍越大就越容易踩到公司的管控紅線。這直接決定你是做一個(gè)能看全部數(shù)據(jù)的通用助手還是按權(quán)限拆成幾個(gè)分開的助手。怎么算完成能劃清一條線哪些數(shù)據(jù)可以給 AI 用哪些絕對(duì)不能碰。階段 0盤點(diǎn)[ ] 0.1 寫下你最常被問的 5–10 個(gè)數(shù)據(jù)問題為什么起步得從問題出發(fā)不是從數(shù)據(jù)出發(fā)。你最常被問到的這些問題就是整套體系的起點(diǎn)階段 1 定哪些核心概念、階段 2 出哪些測(cè)試題都得從這里往回推。Anthropic 自己也是先把日常最常被問的問題固化下來再搭后面的東西。怎么算完成清單上寫的都是具體問題比如上個(gè)月收入多少、哪個(gè)產(chǎn)品賣得最好、某客戶為什么流失而不是做個(gè)數(shù)據(jù)分析這種空話。[ ] 0.2 為每個(gè)問題標(biāo)注答案來源為什么先摸清楚底每個(gè)問題的答案到底出自哪張表、什么口徑、誰在管。這一步常常會(huì)暴露一個(gè)問題同一個(gè)問題往往有三四種算法而這正是后面要解決的概念說不清的根源。怎么算完成每個(gè)問題都能寫出至少一個(gè)答案來源。寫不出來的就是階段 1 要優(yōu)先處理的。[ ] 0.3 標(biāo)出你最痛的 3 類分析為什么先挑最痛的下手用它來決定階段 1 先定哪個(gè)核心概念。是反復(fù)返工最痛是口徑對(duì)不上老吵架最痛還是答完才發(fā)現(xiàn)用錯(cuò)表最痛哪類最痛就先把它定成核心概念。怎么算完成能說出哪類分析最費(fèi)時(shí)間、最常出錯(cuò)、最不敢拍板。階段 1最小三件套核心別貪多Anthropic 原話a handful of canonical datasets, a few dozen offline evals, and a thin knowledge skill will capture most of the upside.幾個(gè)核心數(shù)據(jù)集、幾十條測(cè)試題、一份薄的技能文檔就能拿到大部分收益。后面所有東西都是這三件建好之后才往上加的。[ ] 1.1 定義 5–10 個(gè)核心概念canonical每個(gè)綁定唯一源為什么這一步是在解決最容易出錯(cuò)的根源也就是概念說不清。公司里收入常常有三四種算法不定死AI 和人就一直在猜。Anthropic 的做法是核心定義要少、要準(zhǔn)、而且要管嚴(yán)你搜一個(gè)概念應(yīng)該只得到一個(gè)權(quán)威答案。怎么算完成每個(gè)概念寫一頁紙用哪張表、哪一列、含不含稅、什么口徑、時(shí)間窗口怎么算。要落筆寫下來不能只存在腦子里。[ ] 1.2 寫一份薄的技能文檔knowledge skill為什么這一步把先查核心概念的權(quán)威定義查不到再去翻原始數(shù)據(jù)表這個(gè)順序固定下來免得 AI 在幾百萬個(gè)字段里瞎找它應(yīng)對(duì)的就是檢索失敗。Anthropic 自己測(cè)過沒有 skill 時(shí)準(zhǔn)確率不到 21%加上之后穩(wěn)定到 95% 以上。怎么算完成一份文檔能說清這個(gè)問題先看哪份定義查不到再看哪張?jiān)急?。不用一上來就拆成好幾個(gè)文件先一份就夠。[ ] 1.3 建 20–30 條測(cè)試題eval每條釘死一個(gè)快照日期為什么起步階段能做的驗(yàn)證基本就是備好問題 正確答案的對(duì)照題。答案必須釘在一個(gè)固定的快照日期上因?yàn)槿绻阌玫氖菚?huì)變的實(shí)時(shí)數(shù)字?jǐn)?shù)據(jù)一更新正確答案也跟著變題就廢了。Anthropic 管這叫標(biāo)準(zhǔn)答案不能漂移。怎么算完成每條題都寫全問題 快照日期 正確答案數(shù)字和口徑都寫。比如2026 年 6 月收入 1,234,567 元含稅口徑6 月 30 日快照。[ ] 1.4 核心概念文檔和測(cè)試題放同一目錄改動(dòng)一起提交為什么這是 Anthropic 的共置原則改數(shù)據(jù)的同時(shí)文檔必須一起改。不然幾周下來文檔就和實(shí)際對(duì)不上了。他們實(shí)測(cè)過不維護(hù)的話離線準(zhǔn)確率一個(gè)月就能從 95% 掉到 65%原因就是沒人把維護(hù)當(dāng)回事。怎么算完成有一個(gè)統(tǒng)一目錄只要口徑或表結(jié)構(gòu)一改就同步更新對(duì)應(yīng)的核心概念頁和受影響的測(cè)試題。公司如果沒有自動(dòng)化檢查就靠這條手動(dòng)規(guī)矩兜著。階段 2驗(yàn)證閉環(huán)持續(xù)[ ] 2.1 每次回答后對(duì)照測(cè)試題檢查對(duì)錯(cuò)為什么驗(yàn)證是唯一能讓你知道哪個(gè)環(huán)節(jié)還在出錯(cuò)的辦法。不驗(yàn)證哪怕全套環(huán)境都搭好了你也說不清到底好不好用Anthropic 說這是很多團(tuán)隊(duì)都有的毛病。怎么算完成有一份AI 回答 vs 標(biāo)準(zhǔn)答案的對(duì)照記錄能說出最近的通過率。[ ] 2.2 答錯(cuò)的題收成新測(cè)試題為什么每一次糾正都是一道現(xiàn)成的新測(cè)試題而且不要錢。題庫跑得越多越準(zhǔn)慢慢就積成了你的資產(chǎn)。Anthropic 在線驗(yàn)證里持續(xù)收集糾正用的也是這個(gè)思路。怎么算完成題庫數(shù)量每周在增加而不是一直停在原來的地方。[ ] 2.3 每份報(bào)告加來源腳注為什么這是防靜默失敗最劃算的辦法。靜默失敗指的是答案其實(shí)錯(cuò)了但看著挺合理別人也沒多想就直接用了。腳注里寫清三件事數(shù)據(jù)來自哪一層核心定義 ? 參考文檔 ? 原始表、數(shù)據(jù)新到哪天、歸誰管?？吹皆急怼⑿迈r度未知這種腳注轉(zhuǎn)發(fā)之前你得先自己核一遍。怎么算完成每份輸出都帶來源層級(jí) 新鮮度 歸屬這三樣。[ ] 2.4 每周復(fù)盤通過率形成時(shí)間序列為什么用來抓那種一點(diǎn)點(diǎn)變差的問題單次檢查看不出來得連著看幾周的趨勢(shì)。Anthropic 會(huì)把每次測(cè)試的結(jié)果都存下來版本、模型、通過率、token 用量都記這樣那個(gè)改動(dòng)到底有沒有用就變成了一條能查的數(shù)據(jù)。怎么算完成有一份按周記錄的通過率曲線能看出走向而不是只盯某一次的數(shù)字。階段 3疊加增值基礎(chǔ)打穩(wěn)之后 · 可選[ ] 3.1 僅當(dāng)通過率卡住、且錯(cuò)誤集中在某一類時(shí)才疊加為什么別為了好看而過度設(shè)計(jì)。如果老在內(nèi)部術(shù)語理解上出錯(cuò)就補(bǔ)業(yè)務(wù)上下文層。如果老在復(fù)雜查詢邏輯上出錯(cuò)就上對(duì)抗性審查準(zhǔn)確率 6%代價(jià)是多花 32% 的 token、響應(yīng)慢 72%。如果手動(dòng)收集糾正太累就上自動(dòng)收集。怎么算完成能說清自己卡在哪類錯(cuò)誤上所以要補(bǔ)這一層。自檢全部勾選后你應(yīng)該能看到一份寫下來的高頻問題清單5–10 個(gè) 每個(gè)問題的答案來源。一份核心概念頁5–10 個(gè)概念每個(gè)綁唯一源和口徑。一份能指路的技能文檔。20–30 條釘死日期的測(cè)試題 每周通過率記錄。每份輸出都帶來源腳注。明確知道下一步該補(bǔ)哪一層或明確知道現(xiàn)在還不需要。歧義讓答案不唯一陳舊讓答案過期檢索失敗讓答案找不到。起步三件套正好對(duì)著這三個(gè)毛病。核心概念治歧義維護(hù)紀(jì)律治陳舊技能文檔治檢索失敗。