Medical Interpretability and Knowledge Maps of Large Language ModelsICLR 2026 24661 動機LLM 在醫(yī)學(xué)任務(wù)上越來越常用但我們并不清楚模型內(nèi)部到底如何表示醫(yī)學(xué)知識比如患者年齡、癥狀、疾病、疾病進展、藥物、劑量等信息分別在哪些層被處理如果一個模型在醫(yī)學(xué)場景里存在偏差例如對年齡、疾病階段、藥物類別的理解有問題僅看最終回答很難定位問題來源所以作者想做一件事不是只問“模型答得對不對”而是問“模型內(nèi)部在哪些層表示了哪些醫(yī)學(xué)概念”。這對于后續(xù)醫(yī)學(xué) LLM 的 fine-tuning、unlearning、de-biasing、causal intervention 都有指導(dǎo)價值比如如果年齡偏差主要在某幾層出現(xiàn)就沒必要全模型微調(diào)可以只干預(yù)相關(guān)層2 現(xiàn)有方法的不足現(xiàn)有醫(yī)學(xué)可解釋性工作主要有幾個問題。第一很多工作只是讓模型解釋自己的診斷過程也就是 self-explanation這種解釋不一定忠實于模型真實內(nèi)部機制容易變成“事后合理化”。第二已有 mechanistic interpretability 工作大多研究通用知識、語法、事實召回、attention head、induction head 等很少系統(tǒng)研究醫(yī)學(xué)領(lǐng)域知識。第三少數(shù)醫(yī)學(xué)解釋性工作通常只用一種技術(shù)比如只看 t-SNE/UMAP或者只看 sparse dictionary或者只看某個模型單一方法很容易有解釋偏差因為不同解釋方法有不同假設(shè)。UMAP 全稱是Uniform Manifold Approximation and Projection把高維 embedding 壓到低維同時盡量保留原來空間里的鄰近關(guān)系第四醫(yī)學(xué)知識不是一種單一概念年齡是連續(xù)變量癥狀和疾病是類別變量疾病進展是階段性/軌跡性變量藥物既可以按作用機制分類也可以按醫(yī)學(xué)?？品诸悇┝窟€涉及安全/危險邊界。因此只用一個統(tǒng)一指標很難覆蓋這些結(jié)構(gòu)3 論文的研究假設(shè)或直覺核心直覺是LLM 內(nèi)部并不是在所有層均勻處理醫(yī)學(xué)知識而是不同醫(yī)學(xué)概念會在不同層形成可檢測的表示結(jié)構(gòu)如果多種解釋性方法都指向相似層區(qū)間那么這些層很可能就是該類醫(yī)學(xué)知識的關(guān)鍵處理區(qū)域。4 論文novelty4.1 Novelty 1醫(yī)學(xué)知識地圖 LLM Map【創(chuàng)新點解決的問題是什么】以往很難知道醫(yī)學(xué)知識在 LLM 的哪些層被表示且單一解釋方法不可靠如果多個機制解釋方法在不同假設(shè)下都指向相似層那么這些層更可能是真正負責該概念的層——作者把 UMAP 表示聚類、gradient-based weight saliency、layer lesioning、activation patching 四種方法統(tǒng)一起來對 age、symptoms、diseases、drugs、dosage 分別提取高響應(yīng)層區(qū)間最終畫成 LLM Medical Map顯示每類醫(yī)學(xué)知識在模型深度上的分布4.2 Novelty 2把醫(yī)學(xué)概念分成不同幾何類型來解釋【創(chuàng)新點解決的問題是什么】醫(yī)學(xué)知識不是普通分類標簽?zāi)挲g、疾病進展、藥物分類、劑量風險的結(jié)構(gòu)完全不同用同一種解釋指標會過于粗糙同知識類型應(yīng)該對應(yīng)不同 representation geometry年齡應(yīng)接近一維連續(xù)流形癥狀/疾病/藥物應(yīng)有類別聚類疾病進展應(yīng)有階段軌跡——對年齡使用 local anisotropy 和線性回歸 R2——對癥狀、疾病、藥物使用 Silhouette Score——對疾病進展設(shè)計 closest-stage-to-first 和 closest-stage-to-last 之類的 circularity proxy——對劑量使用 activation patching effect4.3 Novelty 3發(fā)現(xiàn)年齡表示存在非線性和 18 歲斷點【創(chuàng)新點解決的問題是什么】年齡看似是簡單連續(xù)變量但模型可能并沒有把年齡表示成平滑、可編輯、可去偏的線性方向——作者用不同年齡 prompt 提取中間層 activation然后用 UMAP 可視化和 age discontinuity heatmap 分析年齡流形發(fā)現(xiàn) Llama3.3-70B 在部分中間層存在明顯非線性并在 17/18 歲附近出現(xiàn)表示斷點4.4 Novelty 4發(fā)現(xiàn)疾病進展表示可能是 circular / non-monotonic醫(yī)學(xué)上的疾病進展通常被認為從健康到嚴重階段逐步變化但 LLM 內(nèi)部是否這樣表示并不清楚。如果模型真的理解 disease progression那么健康、早期、中期、晚期、死亡階段在表示空間里應(yīng)具有某種單調(diào)軌跡——作者構(gòu)造 Alzheimer’s、Parkinson’s、COVID-19、COPD 的 9 階段 progression prompts分析每層 UMAP 空間中不同階段的相對距離發(fā)現(xiàn)晚期階段有時反而靠近早期階段因此表示呈現(xiàn)環(huán)形或非單調(diào)結(jié)構(gòu)4.5 Novelty 5發(fā)現(xiàn)藥物更按醫(yī)學(xué)專科而不是作用機制聚類藥物知識可以按藥理機制組織也可以按臨床使用場景組織不知道 LLM 內(nèi)部偏向哪一種——作者分別按 mechanism of action 和 medical specialty 給藥物上色比較 UMAP 聚類和 Silhouette Score發(fā)現(xiàn)尤其在 Llama3.3-70B 中藥物按醫(yī)學(xué)?？凭垲愅ǔ１劝醋饔脵C制更明顯4.6 Novelty 6發(fā)現(xiàn) Gemma/MedGemma 中間層 activation collapse模型中間層可能存在表示坍縮但這類現(xiàn)象在醫(yī)學(xué)知識表示中很少被系統(tǒng)觀察如果 UMAP 投影中大量不同醫(yī)學(xué)概念在某些層坍縮成少數(shù) blob說明這些層可能暫時丟失了區(qū)分性表示——作者對 Gemma3-27B 和 MedGemma-27B 的中間層 activation 做 UMAP發(fā)現(xiàn)部分中間層表示會坍縮但在后續(xù)層又恢復(fù)提示這些層可能存在 representational inefficiency5 方法5.1 整體pipeline第一步構(gòu)造醫(yī)學(xué) prompt 集合作者圍繞五類醫(yī)學(xué)知識構(gòu)造 prompt年齡、癥狀、疾病、藥物、藥物劑量每類 prompt 又服務(wù)于不同解釋方法第二步對每個模型跑 forward保存每一層 activation模型輸入一個醫(yī)學(xué) prompt 后每層 transformer block 都會產(chǎn)生 hidden state把每層中間表示拿出來分析。這樣可以回答“某個醫(yī)學(xué)概念在哪些層逐漸形成”第三步跑 UMAP 表示分析對于年齡、癥狀、疾病、藥物等 prompt作者把每層 activation 降維到低維空間可視化時用 2D UMAP定量計算 Silhouette Score 時用 30D UMAP以保留更多信息對于類別型概念Silhouette Score 衡量同類樣本是否更靠近、異類樣本是否更分開Silhouette Score 的意義很簡單如果同一類點彼此很近不同類點彼此很遠那么分數(shù)高對于年齡這種連續(xù)變量作者不用 Silhouette而是用 local anisotropy 衡量年齡點是否接近一維流形并用線性回歸 R2 衡量年齡是否線性可讀Local anisotropy 衡量的是一堆點是否像一條線UMAP 模塊回答的是“這些醫(yī)學(xué)概念在 hidden space 里有沒有形成結(jié)構(gòu)可視化能力強但不一定證明因果作用。第四步跑 gradient-based weight saliency作者對目標答案的 loss 關(guān)于模型權(quán)重求梯度即看某層權(quán)重對醫(yī)學(xué)答案的敏感程度如果某層權(quán)重梯度大說明模型回答該醫(yī)學(xué)問題時更依賴這一層作者把 attention heads 和 MLP 的權(quán)重 saliency 按層平均再跨多個 prompt 平均得到每一層的 saliency 曲線。Saliency 模塊回答的是“哪些層的參數(shù)對醫(yī)學(xué)答案的 loss 更敏感”它能定位權(quán)重層面的重要性但梯度大不一定代表真實因果。第五步跑 layer lesioning。Layer lesioning 的做法是把某一層 transformer block 替換成 identity function相當于讓這一層“不工作”然后觀察模型回答退化多少退化程度由 GPT-4o 作為 judge 打分1/10 表示幾乎沒退化10/10 表示嚴重退化某層被移除后如果醫(yī)學(xué)回答明顯變差說明該層對該類醫(yī)學(xué)知識重要Lesioning 模塊回答的是“去掉某層后模型醫(yī)學(xué)能力會不會明顯下降它比 UMAP 更接近功能性分析但層之間可能有冗余因此某層不退化不代表沒用第六步跑 activation patchingActivation patching 是最接近因果干預(yù)的方法最基本的設(shè)定是三次 forward passclean run、corrupted run、patched runpatching effect 怎么衡量通常不是只看最終生成文本因為文本生成有隨機性也不好比較。更常用的是看目標答案 token 的 logitpatching effect (patched 的 logit 差值 - corrupted 的 logit 差值)/(clean 的 logit 差值 - corrupted 的 logit 差值)最后一步匯總成 LLM Medical Map5.2 使用的數(shù)據(jù)第一年齡 prompt。年齡從 1 到 100模板包括 “He is X years old.”、“She is X years old.”、“Someone is X years old.” 等用來分析年齡表示是否連續(xù)、線性、有無斷點。第二癥狀 prompt癥狀被分為 pain、neurological、respiratory、digestive、cardiovascular、dermatological、musculoskeletal、psychological、genitourinary、ENT/ocular 等組別用于分析癥狀類別聚類第三疾病 prompt疾病按醫(yī)學(xué)?？品诸惏?cardiology、orthopedics、oncology、neurology、obstetrics gynecology、dermatology、gastroenterology、pulmonology、urology 等第四疾病進展 prompt作者為 Alzheimer’s disease、COVID-19、COPD、Parkinson’s disease 各構(gòu)造 9 個階段從健康、輕微癥狀、中重度癥狀到最終嚴重結(jié)局用來分析 progression geometry第五藥物 prompt第六藥物劑量 prompt作者構(gòu)造不同劑量場景例如安全劑量和高風險劑量用 activation patching 或 saliency 分析模型如何處理 dosage 信息6 主要結(jié)論Llama3.3-70B 中年齡主要在 0–5 層附近被處理癥狀在 0–9 層以及 15–40 層有信號疾病在 0–5 或 27–37 層藥物主要在 15–45 層藥物劑量大致在前半部分層但結(jié)論更不穩(wěn)定不同年齡 prompt 在 Llama3.3-70B 不同層的 UMAP 分布年齡不是一條簡單直線而是在中間層形成彎曲、轉(zhuǎn)向甚至斷裂尤其在 17/18 歲附近出現(xiàn)明顯 discontinuity說明模型可能把未成年人和成年人分成兩個表示區(qū)域用 Alzheimer’s、Parkinson’s、COVID-19、COPD 的 9 階段 prompt 做 UMAP理想情況下疾病應(yīng)從健康到嚴重階段逐步遠離健康狀態(tài)但圖中顯示某些晚期階段反而靠近早期階段形成 circular / non-monotonic pattern。也就是說模型內(nèi)部對疾病進展的表示不一定符合醫(yī)學(xué)上的單調(diào)惡化邏輯Gemma3-27B 某些中間層的 UMAP 點坍縮成少數(shù)幾個 blob但后面層又恢復(fù)分散。作者認為這可能表示中間層出現(xiàn)了表示能力浪費或者模型內(nèi)部有某種壓縮-恢復(fù)過程。學(xué)AI大模型的正確順序千萬不要搞錯了2026年AI風口已來各行各業(yè)的AI滲透肉眼可見超多公司要么轉(zhuǎn)型做AI相關(guān)產(chǎn)品要么高薪挖AI技術(shù)人才機遇直接擺在眼前有往AI方向發(fā)展或者本身有后端編程基礎(chǔ)的朋友直接沖AI大模型應(yīng)用開發(fā)轉(zhuǎn)崗超合適就算暫時不打算轉(zhuǎn)崗了解大模型、RAG、Prompt、Agent這些熱門概念能上手做簡單項目也絕對是求職加分王給大家整理了超全最新的AI大模型應(yīng)用開發(fā)學(xué)習清單和資料手把手幫你快速入門學(xué)習路線:?大模型基礎(chǔ)認知—大模型核心原理、發(fā)展歷程、主流模型GPT、文心一言等特點解析?核心技術(shù)模塊—RAG檢索增強生成、Prompt工程實戰(zhàn)、Agent智能體開發(fā)邏輯?開發(fā)基礎(chǔ)能力—Python進階、API接口調(diào)用、大模型開發(fā)框架LangChain等實操?應(yīng)用場景開發(fā)—智能問答系統(tǒng)、企業(yè)知識庫、AIGC內(nèi)容生成工具、行業(yè)定制化大模型應(yīng)用?項目落地流程—需求拆解、技術(shù)選型、模型調(diào)優(yōu)、測試上線、運維迭代?面試求職沖刺—崗位JD解析、簡歷AI項目包裝、高頻面試題匯總、模擬面經(jīng)以上6大模塊看似清晰好上手實則每個部分都有扎實的核心內(nèi)容需要吃透我把大模型的學(xué)習全流程已經(jīng)整理好了抓住AI時代風口輕松解鎖職業(yè)新可能希望大家都能把握機遇實現(xiàn)薪資/職業(yè)躍遷這份完整版的大模型 AI 學(xué)習資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領(lǐng)取【保證100%免費】