中文提示詞在文生圖工具里的表現(xiàn)這兩年變化非常快。2023年那會(huì)兒我拿“一只戴著斗笠的橘貓蹲在青瓦屋檐上背景是煙雨朦朧的江南水鄉(xiāng)”去測(cè)幾個(gè)主流工具能準(zhǔn)確還原“斗笠”“青瓦”“煙雨”這幾個(gè)元素的屈指可數(shù)大部分會(huì)把“斗笠”畫(huà)成草帽把“青瓦”理解成普通灰磚。到了2024年下半年再測(cè)情況明顯好轉(zhuǎn)但不同工具之間的差距依然存在而且差距不在“能不能畫(huà)”而在“理解得準(zhǔn)不準(zhǔn)、細(xì)節(jié)丟不丟、風(fēng)格穩(wěn)不穩(wěn)”。這篇內(nèi)容就是圍繞這個(gè)痛點(diǎn)展開(kāi)的。我會(huì)拿同一組中文提示詞在6款常見(jiàn)的文生圖工具上做橫向?qū)Ρ戎攸c(diǎn)看它們對(duì)中文語(yǔ)義的解析能力而不是單純比畫(huà)質(zhì)。適合正在選工具的內(nèi)容創(chuàng)作者、電商美工、自媒體運(yùn)營(yíng)也適合已經(jīng)用了一段時(shí)間但總覺(jué)得“中文提示詞不好使”的老用戶?？赐昴阒辽倌芨闱宄男┕ぞ咧档糜弥形闹苯訉?xiě)提示詞哪些工具必須中英混寫(xiě)以及中文提示詞到底該怎么寫(xiě)才能讓模型聽(tīng)懂。1. 為什么中文提示詞在文生圖里一直是個(gè)老大難1.1 訓(xùn)練數(shù)據(jù)里中文標(biāo)注的密度遠(yuǎn)低于英文文生圖模型的核心能力來(lái)自圖文配對(duì)數(shù)據(jù)。早期主流模型比如Stable Diffusion 1.5、SDXL的訓(xùn)練集里英文標(biāo)注占絕對(duì)主導(dǎo)中文標(biāo)注要么是機(jī)器翻譯的產(chǎn)物要么干脆缺失。這就導(dǎo)致模型對(duì)中文詞匯的“視覺(jué)錨點(diǎn)”很弱。舉個(gè)具體的例子“琉璃瓦”這個(gè)詞英文里沒(méi)有完全對(duì)應(yīng)的單詞模型在訓(xùn)練時(shí)見(jiàn)到的多是“glazed tile”這種翻譯標(biāo)注而“glazed”在英文語(yǔ)境里更多指向陶瓷釉面于是畫(huà)出來(lái)的瓦片往往帶著一層不自然的反光跟中式建筑里那種啞光青琉璃完全是兩回事。這不是模型“笨”而是它在學(xué)習(xí)階段就沒(méi)見(jiàn)過(guò)足夠多的“琉璃瓦”配圖。中文里大量帶有文化特定含義的詞——比如“水墨”“工筆”“敦煌色”“賽博朋克混搭漢服”——在英文標(biāo)注體系里要么被簡(jiǎn)化要么被錯(cuò)誤歸類。所以早期用中文提示詞本質(zhì)上是在用一套模型不熟悉的語(yǔ)言去描述一個(gè)它可能見(jiàn)過(guò)的畫(huà)面中間隔了一層翻譯損耗。1.2 中文分詞和語(yǔ)義顆粒度帶來(lái)的額外損耗中文沒(méi)有空格分詞模型在處理中文提示詞時(shí)需要先做分詞再理解。不同工具用的分詞器不一樣有的基于BERT類中文模型有的直接用多語(yǔ)言CLIP的tokenizer。分詞一旦出錯(cuò)語(yǔ)義就偏了。比如“紅色小汽車(chē)”如果被切成“紅色/小/汽車(chē)”模型可能理解成“紅色的、小的汽車(chē)”但如果被切成“紅/色小/汽車(chē)”那就完全亂了。英文里“red sports car”這種結(jié)構(gòu)天然有空格分隔模型處理起來(lái)穩(wěn)定得多。更麻煩的是中文的修飾關(guān)系。中文里“青花瓷風(fēng)格的茶杯”和“茶杯的青花瓷風(fēng)格”語(yǔ)義接近但模型解析時(shí)可能給出完全不同的權(quán)重分配。我實(shí)測(cè)過(guò)同一句話換個(gè)語(yǔ)序有的工具出圖差異能達(dá)到30%以上。這就是為什么很多人覺(jué)得中文提示詞“玄學(xué)”——不是玄學(xué)是分詞和注意力機(jī)制在中文上的表現(xiàn)還不夠穩(wěn)定。1.3 2024年之后中文理解力的實(shí)際提升來(lái)自哪里轉(zhuǎn)折點(diǎn)出現(xiàn)在多語(yǔ)言CLIP和中文原生文生圖模型的出現(xiàn)。一類是像可靈、即夢(mèng)這類國(guó)內(nèi)團(tuán)隊(duì)做的工具訓(xùn)練數(shù)據(jù)里中文標(biāo)注比例大幅提升甚至專門(mén)針對(duì)中文文化元素做了數(shù)據(jù)增強(qiáng)另一類是國(guó)際工具比如Midjourney v6、DALL·E 3開(kāi)始接入更強(qiáng)的多語(yǔ)言編碼器對(duì)中文的支持從“能識(shí)別”進(jìn)化到“能理解”。但這里有個(gè)誤區(qū)不是所有標(biāo)榜“支持中文”的工具都真的理解中文。有的只是把中文提示詞后臺(tái)翻譯成英文再走英文流程這種“偽支持”在簡(jiǎn)單場(chǎng)景下看不出問(wèn)題一旦涉及文化特定詞匯或復(fù)雜修飾關(guān)系立刻露餡。所以橫評(píng)的意義不在于看誰(shuí)“支持中文”而在于看誰(shuí)“理解中文”。2. 六款工具的中文理解力實(shí)測(cè)設(shè)計(jì)2.1 參評(píng)工具的選擇邏輯我選了6款在中文用戶里討論度比較高的工具M(jìn)idjourney v6、DALL·E 3、Stable Diffusion配合SDXL中文微調(diào)模型、可靈、即夢(mèng)、通義萬(wàn)相。選擇標(biāo)準(zhǔn)有三個(gè)一是中文用戶基數(shù)大二是官方或社區(qū)明確提到過(guò)中文支持三是能通過(guò)常規(guī)方式訪問(wèn)和使用。沒(méi)有選那些需要復(fù)雜本地部署或小眾到幾乎沒(méi)有中文社區(qū)討論的工具因?yàn)閷?duì)大多數(shù)讀者來(lái)說(shuō)參考價(jià)值有限。需要說(shuō)明的是Stable Diffusion本身是開(kāi)源模型中文理解力取決于你用的具體微調(diào)模型。我這次用的是社區(qū)里中文標(biāo)注數(shù)據(jù)較多的一個(gè)SDXL微調(diào)版本配合中文CLIP文本編碼器。如果你用的是原版SDXL中文表現(xiàn)會(huì)差不少這個(gè)后面會(huì)細(xì)說(shuō)。2.2 測(cè)試提示詞的設(shè)計(jì)從簡(jiǎn)單到復(fù)雜分四檔為了把“理解力”拆開(kāi)看我設(shè)計(jì)了四檔提示詞每檔測(cè)不同的能力維度檔位測(cè)試重點(diǎn)示例提示詞第一檔基礎(chǔ)名詞識(shí)別一只橘貓坐在窗臺(tái)上第二檔文化特定詞匯青花瓷茶壺放在竹編茶席上背景是水墨山水第三檔復(fù)雜修飾與空間關(guān)系穿漢服的少女站在石橋上左手撐著油紙傘身后是煙雨中的江南古鎮(zhèn)遠(yuǎn)處有烏篷船第四檔風(fēng)格與氛圍混合賽博朋克風(fēng)格的重慶洪崖洞夜景霓虹燈與吊腳樓結(jié)合潮濕的街道反射著藍(lán)紫色光每一檔我都用完全一致的中文提示詞不附加英文不調(diào)整參數(shù)除非工具默認(rèn)參數(shù)差異過(guò)大每款工具每檔生成4張圖取其中最好的一張做對(duì)比。評(píng)判標(biāo)準(zhǔn)不是“好不好看”而是“元素是否齊全、關(guān)系是否正確、風(fēng)格是否貼合”。2.3 評(píng)判維度元素還原、關(guān)系正確、風(fēng)格貼合、穩(wěn)定性元素還原看的是提示詞里提到的名詞有沒(méi)有出現(xiàn)比如“油紙傘”有沒(méi)有變成普通雨傘“烏篷船”有沒(méi)有變成游艇。關(guān)系正確看的是空間和修飾關(guān)系比如“左手撐著”有沒(méi)有變成右手或雙手“身后是”有沒(méi)有變成身前。風(fēng)格貼合看的是整體調(diào)性比如“水墨山水”有沒(méi)有變成寫(xiě)實(shí)風(fēng)景照。穩(wěn)定性看的是同一提示詞多次生成的結(jié)果一致性這一項(xiàng)對(duì)實(shí)際使用影響很大——如果每次出圖都像開(kāi)盲盒那中文提示詞就沒(méi)法作為穩(wěn)定生產(chǎn)力。3. 第一檔到第四檔的逐檔實(shí)測(cè)結(jié)果3.1 第一檔基礎(chǔ)名詞六款工具都能畫(huà)對(duì)但細(xì)節(jié)有差異“一只橘貓坐在窗臺(tái)上”這句話六款工具都畫(huà)出了橘貓和窗臺(tái)沒(méi)有出現(xiàn)把貓畫(huà)成狗或者把窗臺(tái)畫(huà)成地板的情況。差異在細(xì)節(jié)Midjourney v6和DALL·E 3的橘貓毛發(fā)質(zhì)感更細(xì)膩窗臺(tái)的光影更自然可靈和即夢(mèng)的橘貓偏卡通化窗臺(tái)結(jié)構(gòu)簡(jiǎn)單通義萬(wàn)相的橘貓?bào)w型偏胖窗臺(tái)變成了飄窗Stable Diffusion微調(diào)版表現(xiàn)中規(guī)中矩但四張圖里有一張貓的姿勢(shì)變成了趴著。這一檔說(shuō)明基礎(chǔ)名詞識(shí)別已經(jīng)不是問(wèn)題中文提示詞在簡(jiǎn)單場(chǎng)景下完全可用。但如果你對(duì)畫(huà)面質(zhì)感有要求國(guó)際工具在光影和材質(zhì)上依然有優(yōu)勢(shì)。3.2 第二檔文化特定詞匯差距開(kāi)始拉開(kāi)“青花瓷茶壺放在竹編茶席上背景是水墨山水”這一檔差距非常明顯。Midjourney v6畫(huà)出了青花瓷茶壺但茶席的竹編紋理變成了類似藤編的粗紋理背景的水墨山水更像是淡彩風(fēng)景墨韻不足。DALL·E 3的青花瓷紋樣偏現(xiàn)代印花茶席直接變成了一塊素色布水墨山水變成了寫(xiě)實(shí)遠(yuǎn)山?？伸`的茶壺和茶席還原度最高竹編紋理清晰水墨背景有暈染效果但茶壺的器型偏現(xiàn)代。即夢(mèng)的表現(xiàn)接近可靈但水墨背景的層次感稍弱。通義萬(wàn)相的青花瓷紋樣最接近傳統(tǒng)樣式但茶席的竹編變成了草編水墨山水偏工筆。Stable Diffusion微調(diào)版在這一檔出現(xiàn)了明顯的“翻譯感”——茶壺畫(huà)對(duì)了但茶席和水墨背景像是兩個(gè)獨(dú)立元素拼在一起缺乏整體氛圍。這一檔暴露的核心問(wèn)題是文化特定詞匯需要模型在訓(xùn)練時(shí)見(jiàn)過(guò)足夠多的對(duì)應(yīng)圖像并且這些圖像的中文標(biāo)注要準(zhǔn)確。可靈和通義萬(wàn)相在這方面明顯做了針對(duì)性優(yōu)化Midjourney和DALL·E 3雖然畫(huà)得好看但文化細(xì)節(jié)的準(zhǔn)確性不如國(guó)內(nèi)工具。3.3 第三檔復(fù)雜修飾與空間關(guān)系空間關(guān)系成為分水嶺“穿漢服的少女站在石橋上左手撐著油紙傘身后是煙雨中的江南古鎮(zhèn)遠(yuǎn)處有烏篷船”這一檔空間關(guān)系成了最大的分水嶺。Midjourney v6畫(huà)出了漢服少女和石橋但油紙傘變成了普通雨傘烏篷船變成了普通小船煙雨氛圍靠后期霧氣模擬整體更像日式庭院。DALL·E 3的漢服形制不對(duì)油紙傘的傘骨結(jié)構(gòu)錯(cuò)誤江南古鎮(zhèn)變成了泛亞洲風(fēng)格建筑群?？伸`在這一檔表現(xiàn)最好漢服形制基本正確油紙傘的傘骨和傘面結(jié)構(gòu)清晰左手撐傘的動(dòng)作準(zhǔn)確背景有江南古鎮(zhèn)的屋檐層次遠(yuǎn)處烏篷船可辨。即夢(mèng)的漢服和油紙傘都不錯(cuò)但“身后”關(guān)系變成了側(cè)后方烏篷船偏小。通義萬(wàn)相的漢服形制準(zhǔn)確但油紙傘變成了紙傘江南古鎮(zhèn)的層次感不足。Stable Diffusion微調(diào)版在這一檔出現(xiàn)了元素丟失——四張圖里有兩張沒(méi)有烏篷船一張油紙傘變成了折扇。這一檔說(shuō)明當(dāng)提示詞包含多個(gè)元素和復(fù)雜空間關(guān)系時(shí)模型不僅要識(shí)別每個(gè)元素還要理解它們之間的位置和動(dòng)作關(guān)系。國(guó)內(nèi)工具在中文空間語(yǔ)義的解析上明顯更穩(wěn)這可能跟訓(xùn)練數(shù)據(jù)里中文標(biāo)注的空間描述更豐富有關(guān)。3.4 第四檔風(fēng)格與氛圍混合風(fēng)格理解各有偏好“賽博朋克風(fēng)格的重慶洪崖洞夜景霓虹燈與吊腳樓結(jié)合潮濕的街道反射著藍(lán)紫色光”這一檔六款工具都畫(huà)出了賽博朋克感但風(fēng)格偏好差異很大。Midjourney v6的畫(huà)面最“電影感”霓虹燈和吊腳樓的結(jié)合很自然但洪崖洞的地標(biāo)特征被弱化了更像泛賽博朋克城市。DALL·E 3的色彩最鮮艷但吊腳樓變成了普通高樓潮濕街道的反射效果偏夸張。可靈的洪崖洞特征最明顯吊腳樓結(jié)構(gòu)清晰霓虹燈與建筑的結(jié)合有層次但藍(lán)紫色光偏暗。即夢(mèng)的色彩最接近“藍(lán)紫色光”的描述但吊腳樓細(xì)節(jié)偏少。通義萬(wàn)相的洪崖洞特征準(zhǔn)確但賽博朋克感偏弱更像夜景照片加了霓虹濾鏡。Stable Diffusion微調(diào)版的風(fēng)格最強(qiáng)烈但洪崖洞變成了完全虛構(gòu)的建筑地標(biāo)特征丟失。這一檔沒(méi)有絕對(duì)的贏家取決于你更看重地標(biāo)準(zhǔn)確性還是風(fēng)格強(qiáng)度。如果你要的是“重慶洪崖洞的賽博朋克化”可靈和通義萬(wàn)相更合適如果你要的是“賽博朋克氛圍下的中式建筑”Midjourney和Stable Diffusion微調(diào)版更有味道。4. 中文提示詞的實(shí)戰(zhàn)寫(xiě)法從實(shí)測(cè)反推技巧4.1 文化詞匯要“錨定”不要“翻譯”實(shí)測(cè)下來(lái)國(guó)內(nèi)工具對(duì)文化詞匯的理解明顯更好但前提是你得用對(duì)詞。比如“油紙傘”比“雨傘”好“烏篷船”比“小船”好“青花瓷”比“藍(lán)白瓷器”好。這些詞在中文訓(xùn)練數(shù)據(jù)里有明確的視覺(jué)錨點(diǎn)模型能直接對(duì)應(yīng)到具體圖像。如果你用“那種古代人用的傘”這種描述模型反而會(huì)懵。另一個(gè)技巧是給文化詞匯加“材質(zhì)工藝”的限定。比如“竹編茶席”比“茶席”好“手工竹編茶席”更好。材質(zhì)和工藝詞能幫模型縮小搜索范圍減少歧義。我實(shí)測(cè)過(guò)“竹編茶席”在可靈上的還原度比“茶席”高出不少竹編紋理的清晰度明顯提升。4.2 空間關(guān)系用“主句從句”結(jié)構(gòu)最穩(wěn)中文提示詞里空間關(guān)系最容易出問(wèn)題。我的經(jīng)驗(yàn)是把主體放在主句把空間關(guān)系放在從句用“身后是”“遠(yuǎn)處有”“左手撐著”這種結(jié)構(gòu)。比如“穿漢服的少女站在石橋上左手撐著油紙傘身后是煙雨中的江南古鎮(zhèn)遠(yuǎn)處有烏篷船”這種結(jié)構(gòu)在可靈和即夢(mèng)上的還原度最高。反過(guò)來(lái)如果你把空間關(guān)系揉在一句話里比如“一個(gè)左手撐油紙傘穿漢服的少女站在有烏篷船的煙雨江南古鎮(zhèn)的石橋上”模型很容易漏掉元素或者搞錯(cuò)關(guān)系。中文的從句結(jié)構(gòu)天然適合描述空間層次用好了比英文的介詞短語(yǔ)更清晰。4.3 風(fēng)格詞要放在提示詞末尾風(fēng)格詞比如“水墨風(fēng)格”“賽博朋克”“工筆畫(huà)”放在提示詞末尾模型會(huì)給它更高的權(quán)重整體調(diào)性更統(tǒng)一。如果放在開(kāi)頭模型可能把它當(dāng)成主體的一部分導(dǎo)致風(fēng)格和內(nèi)容打架。我實(shí)測(cè)過(guò)“水墨山水背景的青花瓷茶壺”和“青花瓷茶壺背景是水墨山水”后者在可靈上的水墨氛圍明顯更濃。另外風(fēng)格詞不要堆太多。有人喜歡寫(xiě)“水墨風(fēng)格工筆風(fēng)格寫(xiě)意風(fēng)格”模型會(huì)困惑到底要哪種。選一個(gè)最準(zhǔn)確的最多加一個(gè)輔助風(fēng)格詞比如“水墨風(fēng)格略帶寫(xiě)意”。4.4 負(fù)面提示詞在中文工具里的實(shí)際效果負(fù)面提示詞比如“不要出現(xiàn)文字”“不要多手多腳”在Stable Diffusion里很常用但在國(guó)內(nèi)工具里效果參差不齊?？伸`和即夢(mèng)對(duì)中文負(fù)面提示詞的支持較好“不要出現(xiàn)文字”能有效減少畫(huà)面里的亂碼文字。Midjourney v6對(duì)中文負(fù)面提示詞的支持一般建議用英文或者用“--no”參數(shù)。DALL·E 3基本不支持負(fù)面提示詞只能靠正向描述規(guī)避。我的建議是如果你用的工具支持中文負(fù)面提示詞優(yōu)先用中文因?yàn)橹形呢?fù)面詞在中文語(yǔ)義空間里更準(zhǔn)確。如果不支持就別硬寫(xiě)把精力放在正向描述上。5. 不同場(chǎng)景下的工具選擇建議5.1 自媒體配圖優(yōu)先考慮出圖速度和中文穩(wěn)定性自媒體配圖的特點(diǎn)是量大、風(fēng)格統(tǒng)一、對(duì)細(xì)節(jié)要求不高。這種情況下可靈和即夢(mèng)的中文穩(wěn)定性最好同一提示詞多次生成的結(jié)果一致性高不容易出現(xiàn)“這次有烏篷船下次沒(méi)有”的情況。Midjourney v6出圖質(zhì)量最高但中文穩(wěn)定性一般適合對(duì)單張質(zhì)量要求極高的封面圖。通義萬(wàn)相適合需要傳統(tǒng)文化元素的配圖比如節(jié)日海報(bào)、國(guó)風(fēng)內(nèi)容。5.2 電商產(chǎn)品圖文化元素準(zhǔn)確性優(yōu)先電商產(chǎn)品圖如果涉及傳統(tǒng)文化元素比如茶具、漢服、文房四寶可靈和通義萬(wàn)相的文化元素還原度最高。我實(shí)測(cè)過(guò)茶具類提示詞可靈對(duì)器型、紋樣、材質(zhì)的還原明顯好于Midjourney。如果產(chǎn)品是現(xiàn)代風(fēng)格Midjourney和DALL·E 3的質(zhì)感更好。Stable Diffusion微調(diào)版適合有技術(shù)能力的團(tuán)隊(duì)可以通過(guò)LoRA進(jìn)一步優(yōu)化特定產(chǎn)品的還原度。5.3 概念設(shè)計(jì)風(fēng)格強(qiáng)度優(yōu)先概念設(shè)計(jì)階段對(duì)地標(biāo)準(zhǔn)確性和文化細(xì)節(jié)要求不高更看重風(fēng)格強(qiáng)度和氛圍。這種情況下Midjourney v6和Stable Diffusion微調(diào)版的優(yōu)勢(shì)明顯風(fēng)格表現(xiàn)力更強(qiáng)。可靈和即夢(mèng)適合需要快速出多個(gè)方案比稿的場(chǎng)景出圖速度快中文提示詞調(diào)整方便。5.4 中文提示詞的通用避坑清單不要用過(guò)于口語(yǔ)化的描述比如“那種很酷的”“有點(diǎn)復(fù)古的”模型無(wú)法解析這種模糊修飾。不要在一句話里塞超過(guò)5個(gè)元素模型會(huì)丟元素。分句寫(xiě)每句2-3個(gè)元素。文化詞匯優(yōu)先用專有名詞不要用解釋性描述。風(fēng)格詞放末尾只選一個(gè)主風(fēng)格?？臻g關(guān)系用從句不要揉在主句里。如果工具支持中文負(fù)面提示詞用中文不支持就別硬寫(xiě)。同一提示詞至少生成4張選最好的一張不要指望一次成功。6. 中文提示詞的未來(lái)走向和個(gè)人使用體會(huì)從這次橫評(píng)來(lái)看中文提示詞在文生圖工具里的可用性已經(jīng)比一年前好了太多。國(guó)內(nèi)工具在文化特定詞匯和空間關(guān)系上的優(yōu)勢(shì)明顯國(guó)際工具在風(fēng)格強(qiáng)度和畫(huà)面質(zhì)感上依然領(lǐng)先。這個(gè)格局短期內(nèi)不會(huì)大變因?yàn)閲?guó)內(nèi)工具的訓(xùn)練數(shù)據(jù)里中文標(biāo)注比例高而國(guó)際工具的多語(yǔ)言能力提升需要時(shí)間。我個(gè)人的使用習(xí)慣是日常配圖和需要文化元素的場(chǎng)景直接用可靈或即夢(mèng)中文提示詞寫(xiě)起來(lái)順手出圖穩(wěn)定需要高質(zhì)感封面或概念設(shè)計(jì)用Midjourney v6但提示詞會(huì)中英混寫(xiě)把文化詞匯用中文、風(fēng)格和質(zhì)感詞用英文需要批量生成特定風(fēng)格用Stable Diffusion微調(diào)版配合LoRA中文提示詞作為基礎(chǔ)LoRA負(fù)責(zé)風(fēng)格鎖定。還有一個(gè)體會(huì)是中文提示詞的質(zhì)量比工具選擇更重要。我見(jiàn)過(guò)很多人抱怨中文提示詞不好用但一看他們的提示詞要么是“一只好看的貓”這種模糊描述要么是把所有元素揉成一大段。把提示詞寫(xiě)清楚、寫(xiě)具體、分好層次在任何工具上的表現(xiàn)都會(huì)提升一個(gè)檔次。工具在進(jìn)步但寫(xiě)提示詞的基本功永遠(yuǎn)不會(huì)過(guò)時(shí)。