先說一個可能讓很多人意外的事實CLIP之所以能在2021年之后深刻改變整個AI視覺領域靠的不是“更深的網(wǎng)絡”或“更強的算力”而是一個聽起來特別樸素的思路——讓模型同時看圖和看字然后自己悟出“圖”和“字”之間的對應關系。這個思路放到今天看幾乎成了多模態(tài)模型的“標準答案”但在當時OpenAI團隊是頂著“用4億張圖訓練一個分類器”的巨大質疑干出來的。作為一名從ResNet時代一路折騰過來的算法工程師我第一次讀完CLIP論文時腦子里只有一個想法這玩意兒把“視覺任務”的定義徹底改寫了原來“教AI看懂世界”這件事根本不需要人工標注的固定標簽集合而是可以讓模型從自然語言里自己學會“世界長什么樣”。這篇文章想系統(tǒng)地講透三件事一是ViT在CLIP里扮演了什么角色為什么OpenAI偏偏選了它二是對比學習到底怎么“騙”模型學到通用特征包括溫度系數(shù)、batch size這些魔鬼細節(jié)三是Prompt工程為什么在CLIP時代變得如此重要以及我在實際項目中踩過的那些和CLIP相關的坑。如果你打算在自己的業(yè)務里用CLIP做圖文檢索、零樣本分類或特征抽取這篇文章應該能幫你少走不少彎路。1. CLIP整體設計思路拆解從“固定標簽”到“自由文本”的范式轉移1.1 傳統(tǒng)視覺模型的核心困境在CLIP出現(xiàn)之前做圖像分類的標準流程是這樣的先確定一個任務比如ImageNet的1000類然后找標注好的數(shù)據(jù)集訓練一個ResNet或EfficientNet最后把輸出層的維度設為1000每個維度對應一個類別。這套流程的問題不用我說你也清楚——每換一個任務就得重新標數(shù)據(jù)、重新訓練模型標一個類別幾十萬張圖是家常便飯。更麻煩的是模型學到的特征是被“鎖死”在這1000個類別里的你問它“這張圖里有沒有貓”它只能通過“有沒有貓這個類別的概率高于閾值”來間接回答而不是真正理解“貓”是什么。我當年做安防項目時客戶要求識別“翻越圍墻”這個動作光標注就花了三周模型效果還不穩(wěn)定因為“翻越”這個語義邊界本身就是模糊的不同標注員的理解都可能打架。這種痛苦經(jīng)歷讓我后來第一次看到CLIP時特別震撼——原來可以把“標簽”從離散的編號變成一個自然語言句子讓模型直接學習“圖像內容”和“語言描述”之間的匹配關系這樣一來模型不再認識“第538類”而是認識“a photo of a person climbing over a fence”這句話。1.2 雙塔結構為什么圖像和文本各走一條分支CLIP的整體結構可以簡單概括為“雙塔”圖像塔負責把圖片編碼成一個向量文本塔負責把文字編碼成一個同維度的向量然后通過對比學習讓匹配的圖文對在向量空間里靠近不匹配的遠離。這個設計和當時流行的“單塔跨模態(tài)模型”比如把圖文拼接后一起過Transformer最大的區(qū)別在于雙塔結構允許圖像和文本各自獨立編碼在線推理時可以預先算好所有文本的向量存起來來一張圖只需要算一次圖像向量然后做一次向量檢索就行。當時我做圖文檢索需求時對比過單塔和雙塔方案單塔模型精度確實略高但線上延遲完全扛不住——每來一個query都得重新算一遍“圖片文字”的聯(lián)合編碼。CLIP這種雙塔結構在工程上明顯更友好。當然這種解耦也付出了代價圖像塔和文本塔之間沒有深層交互對需要細粒度對齊的任務比如“圖里這只貓的左耳朵是黑色的”這種指代理解天然弱勢這為后來BLIP、Flamingo等模型用交叉注意力彌補圖文交互埋下了伏筆。1.3 數(shù)據(jù)策略4億張圖文對是從哪來的以及為什么靠譜CLIP的訓練數(shù)據(jù)是4億張“圖像-文本”對OpenAI在論文里說這些數(shù)據(jù)是從互聯(lián)網(wǎng)上收集的但沒公開具體細節(jié)。從后續(xù)的各種分析和復現(xiàn)嘗試來看這批數(shù)據(jù)涵蓋了大量網(wǎng)頁里的圖片配文、新聞圖說、社交媒體描述等本質上就是互聯(lián)網(wǎng)上海量“有人用自然語言描述過一張圖”的現(xiàn)成數(shù)據(jù)。這里啟發(fā)很大與其依賴人工標注的結構化標簽不如利用互聯(lián)網(wǎng)上天然的“弱標注”數(shù)據(jù)。數(shù)據(jù)質量決定了模型能力的上限4億這個量級在當時是碾壓性的OpenAI團隊后來在論文里做過消融實驗指出數(shù)據(jù)規(guī)模比模型規(guī)模更關鍵——在同樣模型結構下把訓練數(shù)據(jù)從4000萬擴展到4億零樣本分類效果提升非常明顯。我自己做業(yè)務時也驗證過這一點給CLIP做領域微調時搞到幾萬張高質量圖文對的效果往往比把模型結構改得花里胡哨更有效。2. ViT在CLIP中的關鍵作用為什么OpenAI選擇拋棄卷積2.1 從ResNet到ViT視覺特征提取的“工業(yè)化”改造CLIP論文里有個容易被忽略的細節(jié)OpenAI最初試過用ResNet作為圖像塔甚至做了一個叫ResNetD的改進版本把stem改成3x3卷積、增加深度縮放等訓練效果也不錯。但最終他們發(fā)現(xiàn)ViTVision Transformer在同樣的計算預算下能拿到更好的效果于是干脆全面轉向了ViT架構。ViT的核心操作不復雜把一張224x224的圖片切成16x16的patch每個patch線性映射成一個token embedding然后加上位置編碼輸入Transformer encoder。這個做法和NLP里把句子切成詞token幾乎一模一樣所以它的好處很直接——視覺模型和文本模型的結構終于統(tǒng)一了都是Transformer跨模態(tài)的特征對齊更加自然。還有一個容易被忽略的好處ViT在大規(guī)模數(shù)據(jù)下的“吃數(shù)據(jù)”能力遠超卷積網(wǎng)絡這也是CLIP對數(shù)據(jù)量要求極高的情況下ViT能勝出的原因。2.2 ViT訓練視覺模型的幾個反直覺細節(jié)我在實際用ViT做圖像塔時發(fā)現(xiàn)ViT的訓練對超參數(shù)和優(yōu)化器特別敏感。比如warmup step如果太短訓練很容易崩Adam的權重衰減設置不當會導致patch embedding層學到一堆噪聲。CLIP論文里提到他們用了很大的batch size32768配合LAMB優(yōu)化器這個組合在當時是“大力出奇跡”的典型代表——大batch size能提供更穩(wěn)定的梯度估計讓對比學習中的負樣本更加豐富這一點后面講對比學習時會重點展開。另外需要注意ViT的position embedding用的是可學習的絕對位置編碼。CLIP訓練時的分辨率是224x224如果你要微調模型處理336x336的輸入位置編碼需要做插值這種插值會影響模型性能。OpenAI后來在CLIP的第二個版本里直接把訓練分辨率提高到336同時用了一種“額外繼續(xù)預訓練”的方式而不是簡單插值這算是一個很實用的經(jīng)驗。如果你要在自己的場景里換分辨率建議也不要用樸素的雙線性插值而是在目標分辨率上做短時間的繼續(xù)預訓練來“熱啟動”。2.3 ViT的歸納偏置缺失問題ViT不像卷積網(wǎng)絡那樣天然具有局部性和平移等變性它需要從數(shù)據(jù)里自己學出“相鄰patch通常有關聯(lián)”這件事。在小數(shù)據(jù)集上ViT會明顯輸給ResNet因為數(shù)據(jù)量不夠支撐它自己學出這些視覺先驗。CLIP之所以能用ViT且效果好根本原因就是4億數(shù)據(jù)的規(guī)模效應壓過了歸納偏置缺失的問題。這對從業(yè)者是個重要提示如果你手里只有幾萬張圖直接上ViT往往不是最優(yōu)解反而用ResNet或EfficientNet更穩(wěn)。我在一個只有5萬張工業(yè)質檢圖片的項目里試過用ViT做圖像塔收斂慢、效果差換回ResNet之后指標立刻上去了。等后來數(shù)據(jù)積累到50萬張ViT的優(yōu)勢才逐漸體現(xiàn)出來。所以ViT和CNN的選擇本質上不是“誰更強”的問題而是“你的數(shù)據(jù)量養(yǎng)不養(yǎng)得起誰”的問題。3. 對比學習原理拆解如何讓4億張圖“教會”模型語義3.1 核心目標構造正樣本與負樣本對比學習這個概念本身不難理解你有一對已經(jīng)配好的圖文比如一張柯基的照片和一段“一只柯基在草地上奔跑”的文字這就是一個正樣本對同一batch里的其他圖文對都算負樣本。訓練目標就是讓模型學會“把正樣本對的圖像向量和文本向量拉近把負樣本對推開”。這個思路很像“讓你在一千人里找出你的朋友”你不需要知道每個人的名字只需要知道哪些人和你的朋友長得像、哪些不像。訓練數(shù)據(jù)越多負樣本越多樣“看世界”的角度就越全面。CLIP的訓練有效性和負樣本的質量、數(shù)量直接相關這就是為什么CLIP要把batch size拉到32768這么大的主要原因——batch越大每個圖像樣本能看到的負樣本就越多對比學習的效果就越好。3.2 CLIP損失函數(shù)的數(shù)學細節(jié)CLIP的損失函數(shù)實際上就是InfoNCENoise Contrastive Estimation的一個變體或者更準確地說是一個對稱的交叉熵損失。它的流程是先算batch內所有圖像向量和文本向量之間的相似度矩陣然后按行按列分別做softmax再求交叉熵。具體計算過程如下假設batch size為N圖像塔得到N個圖像向量I1到IN文本塔得到N個文本向量T1到TN每個向量的維度為d。先做L2歸一化然后計算相似度矩陣S其中S[i][j]表示第i張圖和第j條文本的余弦相似度。訓練目標就是讓S的對角線元素盡量大非對角線元素盡量小。損失由兩部分組成——第一部分按行做softmax讓第i張圖正確匹配到第i條文本第二部分按列做softmax讓第i條文本正確匹配到第i張圖。這里的溫度系數(shù)τ非常關鍵。τ太大會導致所有相似度被“壓平”softmax輸出接近均勻分布梯度變小模型學不動τ太小則會讓模型過于“自信”對負樣本區(qū)分過猛訓練不穩(wěn)定。CLIP論文里提到他們直接把τ設成了一個可學習參數(shù)初始值設為0.07左右訓練過程中讓模型自己調整。我在復現(xiàn)時踩過坑如果把τ固定為1損失下降極慢模型幾乎學不到東西調成0.07之后收斂速度快了不止一個量級。建議你如果自己寫對比學習代碼一定把這個參數(shù)單獨拎出來做實驗。3.3 為什么CLIP能“看懂”世界模態(tài)對齊的本質很多人問CLIP是真的“理解”了圖像內容還是只是學會了表面關聯(lián)我個人的看法是CLIP學到的是“圖像內容與語言描述之間的一致性映射”這種理解本質上是統(tǒng)計性的不是人類意義上的推理理解。比如你有兩張圖一張是“草地上有一只柯基”另一張是“草地上有一只柴犬”CLIP經(jīng)過大量訓練后確實能把這兩個文本描述和對應的圖像正確對齊但它并不知道柯基和柴犬的生物分類關系也不理解“如果柯基被剃了毛它看起來像什么”這種深層推理。但這恰恰是CLIP強大的地方——它把“理解”這個抽象概念變成了一個“向量空間中距離關系”的問題。下游任務只需要在這個語義空間里做簡單的檢索或相似度計算就能完成很多以往需要專門訓練模型的視覺任務。這種能力在實際業(yè)務里非常管用比如商品推薦場景下用戶輸入“適合去海邊度假穿的碎花連衣裙”普通分類模型完全不知道怎么處理這個query但CLIP能直接算出這個文本和幾千張商品圖之間的相似度排序輸出匹配的商品。3.4 對比學習vs生成式預訓練兩條路線的差異對比學習和生成式預訓練比如讓模型根據(jù)文本生成圖像或根據(jù)圖像生成文本是兩種截然不同的訓練目標。GPT類模型做的是自回歸目標是預測下一個tokenCLIP做的是判別式對比目標是區(qū)分匹配和不匹配的圖文對。CLIP的訓練效率更高因為它不需要逐token生成只需要對比向量但代價是CLIP在生成任務上完全無能只能做特征提取和匹配。后來很多工作嘗試把這兩種思路合到一起比如CoCaContrastive Captioner同時用對比損失和生成損失訓練在一個模型里兼顧對齊和理解能力。如果你在業(yè)務里既要做圖文檢索又要做圖像描述生成CoCa這類模型會更合適而純CLIP只能覆蓋檢索和分類類需求。這個選型問題在實際項目里經(jīng)常被忽略值得提前想清楚。4. Prompt工程在CLIP中的應用一句話如何決定模型上限4.1 為什么CLIP對Prompt這么敏感CLIP的文本塔是在自然語言上訓練的但它見過的文本表達方式是有限的。訓練數(shù)據(jù)里的文本大多是比較完整的描述句比如“a photo of a dog”“a cat sitting on a sofa”所以到推理階段你輸入的文本形式和訓練分布越接近效果越好。最經(jīng)典的例子是零樣本分類你要做CIFAR-100的100類分類直接輸入“airplane”“automobile”這類單詞效果通常很差但改成“a photo of a {class}”這個模板后準確率立刻提升不少。原因就在于“a photo of”這類前綴在CLIP的訓練數(shù)據(jù)里極其常見模型對緊跟在這個前綴后面的內容有更好的激活響應。后續(xù)的研究進一步發(fā)現(xiàn)更豐富的上下文描述比如“a satellite photo of a {class}”在你處理特定領域圖像時能帶來更大的提升比如遙感場景下的分類精度用領域相關性強的prompt模板可以比通用模板高出好幾個點。4.2 Prompt工程的常用模板策略我做CLIP零樣本分類時總結了一套模板選擇方法先看測試圖像的領域風格然后仿照訓練數(shù)據(jù)里常見的描述方式去寫prompt。通用場景用“a photo of a {class}”或“a photo of the {class}”這兩種基本不會出錯。醫(yī)學圖像用“a medical image of {class}”其效果峰值往往更明顯。遙感圖像用“a satellite image of {class}”真的有明顯增益。如果目標類別是動作或事件可以把prompt改成“a photo of a person doing {action}”之類更具體的結構。對于類別名本身也值得做一輪文本處理。像“Basenji”一種犬種這種罕見詞模型可能沒見過但不妨礙直接作為文本輸入——因為文本編碼器能通過子詞切分把詞拆成“base”和“nji”之類的token來處理不過如果有已知的別名或更常見的表達換掉之后效果會更穩(wěn)定。還有一個小技巧把類別名用多個prompt模板做集成即一個類別寫多個句子分別編碼后取平均這個做法在CLIP官方代碼里叫prompt ensembling我實測在ImageNet上能提升約1到2個百分點在細粒度分類數(shù)據(jù)上提升更明顯。4.3 選擇文本編碼器CLIP中text encoder的特殊性CLIP的text encoder用的是Transformer結構但它和GPT不太一樣。CLIP文本塔是雙向編碼能同時看到句子前后的所有tokenGPT是單向的只能從左往右看。之所以CLIP選擇雙向是因為對比學習需要的是對整個句子的整體語義表示而不是生成下一個token的條件概率。這一區(qū)別會影響你對CLIP的微調方式——不能像微調GPT那樣直接做語言建模損失而是應該繼續(xù)做對比學習或者改成和下游任務匹配的損失函數(shù)。文本塔的最大長度是77個token這個限制在實際使用中經(jīng)常被忽略。我在做電商場景時商品標題往往很長超過77個token后被粗暴截斷尾部信息直接消失導致檢索效果變差。后來我做了個簡單的處理先把標題按關鍵信息重排把核心描述詞前移保證在77個token內覆蓋有效的語義信息效果提升明顯。另外文本塔輸出默認是取整個序列的最終隱藏狀態(tài)而不是像BERT那樣取[CLS] token所以如果你要改造CLIP的文本編碼器這個細節(jié)需要注意。4.4 Prompt工程的邊界手工調優(yōu)vs可學習Prompt手工設計prompt模板雖然有效但畢竟依賴人的經(jīng)驗。后來研究者提出了CoOpContext Optimization這類方法把prompt的前綴token當成可學習的參數(shù)直接在目標任務數(shù)據(jù)上做反向傳播優(yōu)化。這種做法本質上是在“自動搜索prompt”擺脫了人工設計模板的主觀性在多個視覺數(shù)據(jù)集上效果顯著。我在自己的一個商品分類項目里試過CoOp基線的CLIP零樣本只有78%的準確率手工模板能到81%CoOp微調后到84%效果還是可觀的。但CoOp有個潛在問題如果訓練數(shù)據(jù)很少比如只有幾百張圖可學習的prompt很容易過擬合導致在測試集上反而比手工模板差。這種情況下一個更穩(wěn)妥的方案是用手工模板作為初始化或者加上一定的正則約束。說到底Prompt工程目前還是“領域經(jīng)驗數(shù)據(jù)驗證”的結合體純靠調字符串的樸素hack時代已經(jīng)過去了。5. 實操過程用CLIP構建一個完整的圖文檢索與零樣本分類流程5.1 環(huán)境準備與模型加載如果你只是想快速體驗CLIP的效果不建議自己去復現(xiàn)訓練直接用OpenAI官方開源的CLIP權重就夠了。Python環(huán)境需要torch、torchvision以及openai官方提供的clip包或者用HuggingFace的transformers庫里的CLIPModel。我習慣用transformers因為它和下游生態(tài)銜接更方便加載模型只需要一行代碼建議這里給一段代碼 python from transformers import CLIPProcessor, CLIPModelmodel CLIPModel.from_pretrained(openai/clip-vit-base-patch32) processor CLIPProcessor.from_pretrained(openai/clip-vit-base-patch32)這個openai/clip-vit-base-patch32表示圖像塔是ViT-B/32patch size為32輸入分辨率224x224。如果你要更強的效果可以直接換用openai/clip-vit-large-patch14。加載模型時要留意顯存需求base版本大概需要1GB顯存large版本需要接近3GB如果機器緊張就選base。 ### 5.2 寫一個零樣本圖像分類的完整代碼 零樣本分類的實現(xiàn)思路是先把候選類別的prompt文本都編碼成向量存起來然后來一張測試圖編碼成圖像向量最后計算圖像向量和每個文本向量的余弦相似度取相似度最高的那個類別作為預測結果。這個流程可以封裝成下面這個函數(shù)方便直接拿去做灰度測試。 python import torch from PIL import Image def zero_shot_classify(image_path, class_names, templatesNone): image Image.open(image_path).convert(RGB) if templates is None: templates [a photo of a {}] texts [t.format(name) for name in class_names for t in templates] inputs processor(texttexts, images[image] * len(texts), return_tensorspt, paddingTrue) with torch.no_grad(): outputs model(**inputs) logits_per_image outputs.logits_per_image # 圖像與所有文本的相似度矩陣 probs logits_per_image.softmax(dim-1).squeeze(0) best_idx probs.argmax().item() return class_names[best_idx // len(templates)], probs[best_idx].item()實際使用中我一般會把所有文本向量在建索引時就預先計算好而不是每次推理都重算一遍文本。這樣在線推理時只需要算一次圖像向量然后和預先存好的文本向量做矩陣乘法單張圖片的延遲可以控制在幾毫秒級別完全能滿足線上的實時性要求。5.3 圖文檢索系統(tǒng)的索引構建與查詢如果要構建一個圖文雙向檢索系統(tǒng)文本向量和圖像向量都應該預先構建索引。我用過兩種方案數(shù)據(jù)量在百萬級別以內時直接用numpy或faiss的IndexFlatIP做暴力檢索簡單可靠數(shù)據(jù)量上千萬甚至上億時再用faiss的IndexIVFFlat或HNSW做近似最近鄰檢索。CLIP的向量是經(jīng)過L2歸一化的所以內積檢索等價于余弦相似度檢索直接用IndexFlatIP就行。構建索引時有個細節(jié)CLIP的向量是1024維large模型是768維維度不高但量大的時候內存占用還是很可觀的。100萬張圖的向量float32存儲大概需要4GB內存如果機器內存吃緊可以考慮用product quantization或者把向量轉成float16。我在一個爬蟲項目里用HNSW把檢索延遲從60毫秒壓到了10毫秒以內效果還是不錯的。5.4 對CLIP做領域微調LoRA是一種低成本方案CLIP的預訓練數(shù)據(jù)雖然覆蓋了大量自然圖像但在特定領域比如醫(yī)學影像、工業(yè)質檢、電商商品通常還有提升空間。如果你有幾千到幾萬張標注的圖文對或分類數(shù)據(jù)可以對CLIP做微調。比較推薦的做法是用LoRALow-Rank Adaptation在凍結原模型參數(shù)的情況下只訓練低秩分解矩陣這樣可以大幅減少可訓練參數(shù)量同時防止災難性遺忘。我在一個工業(yè)質檢項目里用LoRA只訓練了CLIP文本塔和圖像塔的attention層里的低秩矩陣大約只占全部參數(shù)的0.5%在標注了8000張缺陷樣本后缺陷分類準確率從82%提升到了94%而且訓練只需要一張消費級顯卡就能跑完。這個方案如果不用LoRA而是全量微調效果當然可能更好但成本和風險都更高——尤其當你的數(shù)據(jù)集和CLIP預訓練分布差異較大時全量微調很容易過擬合。LoRA在這種場景下是一個性價比很高的選擇。5.5 評估CLIP效果的注意事項CLIP的實際效果需要根據(jù)任務類型來評估。零樣本分類場景要注意和隨機初始化分類頭的模型做對比而不是和完整微調后的模型對比否則會得出“CLIP不行”的錯誤結論。圖文檢索場景要同時看Recall1、Recall5、Recall10等指標因為檢索任務對排序質量敏感只看Recall1容易片面對待。一個常見的誤區(qū)是拿CLIP當通用特征提取器對所有下游任務都直接套用。實際上CLIP提取的特征在細粒度識別比如區(qū)分不同品種的鳥上明顯弱于專門訓練的模型因為CLIP的訓練目標是“圖像和文本的對齊”而不是“區(qū)分相近視覺類別”。所以如果你要做細粒度識別最穩(wěn)妥的做法是把CLIP作為一種初始特征再疊加一個小型分類頭做微調而不是指望零樣本就能解決。6. 常見問題與排查技巧實錄6.1 損失不下降或收斂極慢如果你在復現(xiàn)對比學習訓練、發(fā)現(xiàn)損失不降或者下降速度慢到令人發(fā)指大概率是以下幾個原因。溫度系數(shù)設置不合理是最常見的坑——τ固定為1往往會導致梯度消失建議直接設成0.07或者初始化為可學習參數(shù)。第二個常見問題是相似度矩陣沒有做L2歸一化導致余弦相似度的取值范圍不對softmax輸出分布異常。還有一個是batch size太小負樣本數(shù)量不夠模型學不到有意義的區(qū)分信息這種情況下即使損失在降低下游任務指標也會很差。訓練穩(wěn)定性方面優(yōu)化器選擇也很關鍵。CLIP原論文用的是AdamW或LAMBlr設置要特別小心過大會導致訓練初期就發(fā)散過小則收斂極慢。我的經(jīng)驗是用AdamW配合線性warmup前10%的step做warmup峰值lr設置在1e-4到3e-4之間整體比較穩(wěn)。6.2 零樣本分類準確率偏低很多人第一次跑CLIP零樣本分類時感覺效果沒有論文里說的那么驚艷這時需要檢查幾件事。第一prompt模板是不是和訓練分布匹配直接輸一個裸單詞的實驗效果通常很慘改成“a photo of a {class}”再試。第二類別名和圖像內容的語義間距比如你的類別名是“轎車”但訓練數(shù)據(jù)里圖文對用的都是“car”或“sedan”這時候換用英文標簽效果可能更好。第三圖像預處理是否和CLIP的要求一致CLIP的processor默認會做Resize和CenterCrop如果你用自定義預處理手段圖像內容可能被過度裁剪導致關鍵語義丟失——尤其在目標物體偏小或偏邊緣時CenterCrop會直接把目標切掉。6.3 圖像向量和文本向量的維度不一致怎么辦這個問題的根源通常是模型加載了兩個不同配置的編碼器比如圖像塔是ViT-L/14文本塔是ViT-B/32。兩邊輸出的維度不同相似度矩陣直接計算會報錯。解決方案是檢查加載模型時是否使用了同一個CLIPModel實例不要自己單獨加載兩個不同的clip模型來拼接。如果你有特殊需求確實要換文本塔或視覺塔那得確保兩邊的輸出投影維度一致通?？梢栽贑LIPModel的配置里設置projection_dim來統(tǒng)一。6.4 Prompt長度超過77個token被截斷CLIP文本塔的最大序列長度是77超過這個長度會被截斷。如果你要處理的文本特別長比如長商品標題、長評論建議先做文本預處理?？梢园凑Z義重要性排序或重構文本把關鍵信息放到前77個token內也可以用分句加權池化的方法把長文本切成多個片段分別編碼再按權重平均得到整個文本的向量。后者效果更好但工程上復雜度更高我一般只有在長文本占比超過30%時才會啟用這個方案。6.5 顯存不足或推理速度慢CLIP模型本身的體量并不大base版本大約150M參數(shù)large版本大約430M參數(shù)。但如果你的輸入是大量圖片且一次性喂給模型顯存很容易爆掉。解決方法是控制batch size分批編碼后再把向量拼接起來。另外如果你用的是ViT-L/14這類大模型又不需要微調記得開啟torch.no_grad()和torch.inference_mode()甚至可以轉成half精度來節(jié)省顯存和加速推理。實測half精度在檢索任務里對精度影響很小速度卻能提升60%以上。7. 從CLIP到多模態(tài)大模型這套思路的延伸與邊界7.1 CLIP之后的多模態(tài)模型演進CLIP證明了對比學習做圖文對齊的可行性后續(xù)的工作基本沿著幾個方向繼續(xù)演進。一個方向是引入更細粒度的圖文交互比如BLIP加入交叉注意力模塊讓圖像特征和文本特征不再“各自為政”而是互相融合ALBEF引入動量蒸餾和跨模態(tài)注意力在圖文檢索的細粒度理解上比CLIP好很多。另一個方向是引入生成式訓練目標比如CoCa同時用對比損失和生成損失讓模型既會匹配又會生成Flamingo則在凍結的視覺塔和語言模型之間加了一層訓練好的cross-attention讓CLIP的視覺特征可以直接“注入”大語言模型從而支持圖文對話。如果你在業(yè)務里需要做多模態(tài)問答或者圖像生成純粹的CLIP是不夠的但CLIP底層的雙塔對齊思想依然是這些復雜模型的基石。理解CLIP之后再看BLIP、Flamingo的結構會輕松很多。7.2 CLIP在真實業(yè)務里的局限性我必須強調一點CLIP的“零樣本”能力強不等于“無限樣本”能力強。當你的目標類別非常細粒度比如區(qū)分幾十種工業(yè)零件型號或者標簽分布和自然語言描述差異較大時零樣本效果會大打折扣。還有一個問題是魯棒性CLIP對圖像擾動比較敏感比如對圖像做輕微旋轉、添加噪聲檢索排名可能發(fā)生明顯變化這在安防、醫(yī)療等對穩(wěn)定性要求很高的場景里是硬傷。補一個例子我之前做一個農業(yè)項目需要分類不同品種的玉米葉片病害。CLIP零樣本的準確率只有60%左右后來用領域數(shù)據(jù)做LoRA微調之后提到了87%。這說明CLIP的能力邊界是可以通過下游適配來擴展的但零樣本不是萬能的。如果你的需求正好在CLIP的弱區(qū)別硬扛直接做微調才是務實的選擇。7.3 未來趨勢能進化的CLIP還有多少空間CLIP之后出現(xiàn)的一批工作是讓它“持續(xù)學習”——比如在增量數(shù)據(jù)上不斷更新圖文對齊能力而不是每次從頭訓練。這類研究的難點在于避免災難性遺忘同時保持已有模態(tài)對齊的穩(wěn)定性。另一個趨勢是把CLIP從靜態(tài)特征抽取器發(fā)展成可交互的“感知底座”比如接入大語言模型后模型可以通過對話來引導視覺注意力做指代理解、視覺問答甚至具身智能決策。這也是目前業(yè)內討論最多的方向。我個人的感覺是CLIP作為一篇2021年的論文它的思想價值已經(jīng)遠遠超過了模型本身。對比學習雙塔結構自由文本標簽這三板斧構成了現(xiàn)代多模態(tài)智能的重要基石。不管你是做計算機視覺、自然語言處理還是多模態(tài)方向理解這套范式的來龍去脈都會對看問題和做項目有實質性的幫助。從ViT到CLIP這條路我從個人實操中得到的最大體會是模型結構固然重要但決定能力上限的往往是你怎么設計訓練目標和組織數(shù)據(jù)。CLIP用4億張圖告訴我們一個足夠好的對齊目標真的能讓人工智能在“看圖說話”這件事上脫胎換骨。如果你正打算在業(yè)務里引入多模態(tài)能力不妨從CLIP開始先跑通零樣本再做領域微調這條路既穩(wěn)妥又高效。