這兩天有個(gè)朋友半夜發(fā)消息問(wèn)我說(shuō)手上收到一篇稿子讀著很順但總覺(jué)得哪里不對(duì)勁問(wèn)我有沒(méi)有辦法確認(rèn)它是不是AI寫的。這個(gè)問(wèn)題最近被問(wèn)到的頻率越來(lái)越高不管是編輯收稿、老師查作業(yè)、HR篩文案還是普通人在網(wǎng)上刷到一篇長(zhǎng)文想判斷來(lái)源大家的訴求其實(shí)都一樣想知道這段文字背后到底是不是一個(gè)真人在說(shuō)話。我可以直接回答有辦法識(shí)別而且不止一種但沒(méi)有任何一種方法是百分之百可靠的。這篇就系統(tǒng)聊聊我實(shí)測(cè)過(guò)的一些判斷手段、工具原理、誤判場(chǎng)景和實(shí)操經(jīng)驗(yàn)。先說(shuō)清楚一個(gè)前提AI檢測(cè)這件事本質(zhì)上是在做概率判斷不是在抓指紋。它不像查重那樣有個(gè)絕對(duì)的標(biāo)準(zhǔn)答案。所以正確的使用姿勢(shì)是把各種信號(hào)綜合起來(lái)看而不是單看某一個(gè)分?jǐn)?shù)就下結(jié)論。1. 先搞清楚這些檢測(cè)工具到底在檢測(cè)什么1.1 為什么讀起來(lái)順?lè)炊闪丝梢尚盘?hào)最早讓我對(duì)AI文章產(chǎn)生敏感度的是一次投稿。那篇文章從第一句到最后一句都太過(guò)順了——沒(méi)有卡頓、沒(méi)有跑題、沒(méi)有多余的廢話連接詞用得分毫不差每個(gè)觀點(diǎn)后面都跟著一個(gè)恰到好處的解釋。真人寫東西不是這樣的真人會(huì)啰嗦會(huì)在某個(gè)地方突然展開一段無(wú)關(guān)緊要的回憶會(huì)用口語(yǔ)化的詞甚至?xí)霈F(xiàn)語(yǔ)法上的小瑕疵。AI生成內(nèi)容的底層邏輯是按概率預(yù)測(cè)下一個(gè)詞。大語(yǔ)言模型會(huì)根據(jù)前面的文字從海量訓(xùn)練數(shù)據(jù)中計(jì)算出一個(gè)最合理的續(xù)寫方向。所以它天然傾向于選擇各種可能性中概率較高的那些詞和句式。這就導(dǎo)致一個(gè)結(jié)果AI生成的句子在統(tǒng)計(jì)學(xué)上太標(biāo)準(zhǔn)了每個(gè)詞出現(xiàn)的概率都比較高讀起來(lái)極其順滑但缺少人類寫作中那種意料之外的跳躍感。1.2 檢測(cè)平臺(tái)的原理困惑度、爆發(fā)度和分類器市面上主流AI檢測(cè)工具無(wú)論是國(guó)內(nèi)的還是國(guó)外的底層邏輯基本就三類。第一類是困惑度檢測(cè)。困惑度英文叫perplexity衡量的是模型對(duì)一段文本的驚訝程度。方法就是拿一個(gè)語(yǔ)言模型去跑這篇文字看模型對(duì)每個(gè)詞出現(xiàn)的概率預(yù)測(cè)得準(zhǔn)不準(zhǔn)。如果每個(gè)詞都在模型意料之中那困惑度就低這段文字就很可能是AI生成的。反過(guò)來(lái)如果一段文字里有一些人類特有的意外表達(dá)模型被驚到的次數(shù)多困惑度就會(huì)偏高更傾向于是人寫的。第二類是突發(fā)性檢測(cè)英文叫burstiness。人類寫作有一個(gè)特點(diǎn)句子長(zhǎng)度波動(dòng)很大一會(huì)兒寫一個(gè)長(zhǎng)長(zhǎng)的復(fù)合句一會(huì)兒蹦出一個(gè)只有兩三個(gè)詞的短句段落之間的信息密度也起伏不定。AI生成的文字在這一點(diǎn)上非常平均句子長(zhǎng)度分布集中段落節(jié)奏像被壓路機(jī)碾過(guò)一樣平整。檢測(cè)工具會(huì)統(tǒng)計(jì)句子長(zhǎng)度變化率、詞匯豐富度的動(dòng)態(tài)波動(dòng)把它量化成一個(gè)數(shù)值。第三類是基于分類器的檢測(cè)。這就像訓(xùn)練一個(gè)專門分辨AI和人類文本的分類模型。先用大量已知的AI生成文本和人類文本去訓(xùn)練模型讓它自己總結(jié)出兩類文本的特征差異然后拿新文本給它分類。像GPTZero、Originality.ai這類工具核心邏輯都是這個(gè)思路。有意思的是很多工具會(huì)把多個(gè)維度的信號(hào)綜合起來(lái)算一個(gè)百分比的AI概率分。我之前在Originality.ai上測(cè)過(guò)自己寫的老文章AI概率一般在5%到15%之間而拿ChatGPT生成的說(shuō)明文去測(cè)常常是95%以上。這個(gè)差值在多數(shù)情況下是有區(qū)分度的但不是絕對(duì)的。2. 別急著上工具一雙人眼就是第一道過(guò)濾器2.1 三個(gè)我?guī)缀趺科紩?huì)檢查的AI指紋工具只是輔助真正高效的判斷從人工閱讀就開始了。我用AI寫作工具寫東西也有一年多了回頭去看那些生成內(nèi)容發(fā)現(xiàn)幾個(gè)特別明顯的指紋。第一個(gè)指紋是排比和連接詞的密度過(guò)高。真人寫文章也會(huì)用首先、其次、最后但不會(huì)在每一段都有更不會(huì)在同一篇文章里連續(xù)出現(xiàn)三次以上的值得一提的是總的來(lái)說(shuō)綜上所述。AI特別偏愛(ài)這些承上啟下的連接詞因?yàn)樗鼈兡苡行У鼐S持邏輯順暢感。第二個(gè)指紋是抽象名詞扎堆但缺少可驗(yàn)證的細(xì)節(jié)。比如一段文字說(shuō)通過(guò)技術(shù)創(chuàng)新推動(dòng)了產(chǎn)業(yè)升級(jí)實(shí)現(xiàn)了效率提升與成本優(yōu)化句子本身沒(méi)毛病但你要它舉一個(gè)具體的例子、一個(gè)具體的數(shù)字、一個(gè)真實(shí)發(fā)生過(guò)的場(chǎng)景它往往給不出來(lái)。人類作者的稿件里通常會(huì)有那天下著雨我們?cè)嚵巳尾懦晒Τ杀緩脑瓉?lái)的37%降到了12%這種能經(jīng)得起追問(wèn)的具體信息。第三個(gè)指紋是情緒和立場(chǎng)的均值化。AI在表達(dá)觀點(diǎn)時(shí)會(huì)下意識(shí)地追求中立、全面、面面俱到。即使它被要求寫一篇立場(chǎng)鮮明的文章也會(huì)在某個(gè)位置補(bǔ)充一句當(dāng)然這個(gè)問(wèn)題也有另一面。真人作者在自己的領(lǐng)域里往往是有傾向性的會(huì)明顯地站一邊甚至愿意為了觀點(diǎn)犧牲一點(diǎn)點(diǎn)公允。2.2 拿雨夜這個(gè)場(chǎng)景做個(gè)現(xiàn)場(chǎng)演示為了直觀一點(diǎn)我現(xiàn)場(chǎng)寫兩段風(fēng)格接近的文字你們感受一下差異。假設(shè)題目是雨夜。AI生成的版本可能是這樣的雨夜總是帶給人一種特殊的氛圍寧?kù)o之中又夾雜著些許惆悵。雨滴敲擊著窗欞發(fā)出清脆而有節(jié)奏的聲響仿佛大自然奏響的樂(lè)曲。在這樣的夜晚人們往往會(huì)放下白日的喧囂轉(zhuǎn)而思考人生的意義與方向。雨既是一種自然現(xiàn)象也是一種情緒的載體。這段文字有沒(méi)有問(wèn)題沒(méi)有。通順、工整、有修辭、有升華。但我讀的時(shí)候就是感覺(jué)不到一個(gè)具體的人在里面。窗欞是個(gè)什么材質(zhì)的窗雨打在上面是什么聲音這個(gè)我在哪在干嘛心里在想什么具體的事全都沒(méi)有。一個(gè)真人寫手寫雨夜會(huì)怎么寫可能是這樣凌晨?jī)牲c(diǎn)被雨聲吵醒才發(fā)現(xiàn)陽(yáng)臺(tái)窗戶沒(méi)關(guān)嚴(yán)。起身去關(guān)涼風(fēng)裹著水汽撲了一臉樓下路燈下積了一灘水雨點(diǎn)砸上去濺起細(xì)碎的亮花。我突然想起小時(shí)候在農(nóng)村一到這種雨夜屋頂鐵皮棚就會(huì)響得跟放鞭炮似的根本睡不著。第二段明顯更有人味因?yàn)樗錆M了個(gè)人化的空間信息、身體感受和童年記憶這些細(xì)節(jié)是AI極難憑空編造的。就算AI能模仿這種風(fēng)格去寫它也需要你提供這些具體的素材。所以我在判斷一篇文章是不是AI寫的時(shí)候第一輪人工篩看的就三件事有沒(méi)有具體細(xì)節(jié)有沒(méi)有個(gè)人視角有沒(méi)有情緒起伏。三者皆無(wú)就進(jìn)入工具檢測(cè)環(huán)節(jié)。3. 檢測(cè)平臺(tái)實(shí)操?gòu)纳蟼魑谋镜阶x懂報(bào)告3.1 常用工具和它們各自的脾氣目前市面上能用來(lái)檢測(cè)AI文章的工具我大概把它們分成三組。第一組是國(guó)際主流檢測(cè)工具代表是GPTZero和Originality.ai。GPTZero有免費(fèi)額度適合零散檢測(cè)它會(huì)把文本按句子級(jí)分析標(biāo)出哪些句子疑似AI生成同時(shí)給出困惑度和突發(fā)性兩個(gè)維度的指標(biāo)。Originality.ai面向內(nèi)容營(yíng)銷團(tuán)隊(duì)收費(fèi)但對(duì)英文檢測(cè)的能力確實(shí)強(qiáng)適合做英文內(nèi)容時(shí)的輔助驗(yàn)證。第二組是國(guó)內(nèi)平臺(tái)比如一些論文查重網(wǎng)站推出的AIGC檢測(cè)功能像知網(wǎng)、維普、PaperPass都增加了AI生成內(nèi)容識(shí)別的服務(wù)。這組工具的特色是更適配中文語(yǔ)境對(duì)學(xué)術(shù)文本有專門的優(yōu)化缺點(diǎn)是價(jià)格偏高且只適合檢測(cè)高價(jià)值文本不適合日常泛用。第三組是通用AI應(yīng)用里附帶的功能比如某些大模型平臺(tái)上自帶的AI生成內(nèi)容識(shí)別入口。這類工具的好處是方便但對(duì)長(zhǎng)文的檢測(cè)效果普遍一般我更多把這類當(dāng)入門體驗(yàn)用。實(shí)際使用中最理想的方式是交叉驗(yàn)證同一個(gè)文本同時(shí)扔到三個(gè)不同原理的工具里跑一遍如果得出的結(jié)論高度一致那可信度就高很多。如果三個(gè)工具給出完全相反的結(jié)論那基本上可以認(rèn)為這個(gè)文本處于灰色地帶需要結(jié)合人工判斷。3.2 指標(biāo)數(shù)值怎么讀才不容易被帶偏拿到一份檢測(cè)報(bào)告很多人只看那個(gè)唯一的AI概率百分比比如78%就覺(jué)得是AI寫的15%就覺(jué)得是人寫的。這么做過(guò)于簡(jiǎn)單化了。我更建議分三步去看。第一步看整體概率和突發(fā)性分?jǐn)?shù)。GPTZero的報(bào)告中Perplexity偏低比如低于20、Burstiness也偏低比如低于5AI嫌疑就很大。因?yàn)檫@兩個(gè)指標(biāo)都在指向文本過(guò)于平穩(wěn)、可預(yù)測(cè)。我自己用一段AI生成的說(shuō)明文測(cè)過(guò)Perplexity大概9-15Burstiness在3左右而一段人類寫作的博客文章Perplexity能到50以上Burstiness能到10以上。第二步看句子級(jí)高亮。很多工具會(huì)把疑似AI句子的部分逐句標(biāo)出來(lái)注意看這些高亮句的位置分布。如果高亮集中在全文各處均勻分布那疑似度更高。如果高亮只集中在某幾個(gè)段落可能是作者使用了AI潤(rùn)色或翻譯工具并非全文生成。這一點(diǎn)在應(yīng)用中其實(shí)是很多場(chǎng)景的關(guān)鍵因?yàn)锳I輔助和AI生成大家對(duì)這兩個(gè)的容忍度完全不同而句子級(jí)高亮恰恰能提供這種差異的線索。第三步看檢測(cè)結(jié)果和文本類型的匹配度。如果是一篇法律文書、專利說(shuō)明書或者格式嚴(yán)格的論文摘要即使它真的是人寫的檢測(cè)工具也很容易給出偏AI的結(jié)論因?yàn)檫@類文體本身要求的就是標(biāo)準(zhǔn)化、無(wú)感情、句式整齊。反過(guò)來(lái)如果要檢測(cè)的是個(gè)人博客、朋友圈長(zhǎng)文、情感類隨筆這類高度個(gè)人化的文字工具給出的AI概率就更有參考意義。順便說(shuō)一句檢測(cè)報(bào)告里如果出現(xiàn)AI概率在40%-60%的中間區(qū)間說(shuō)實(shí)話這個(gè)區(qū)間沒(méi)有太多參考價(jià)值。我遇到過(guò)很多次把人類寫的新聞報(bào)道丟進(jìn)去測(cè)結(jié)果是50%左右因?yàn)樾侣剤?bào)道這種文體本身就介于標(biāo)準(zhǔn)化和自然語(yǔ)言之間。遇到中間區(qū)間直接放棄依賴工具回到人工判斷。4. 扎心的事實(shí)這些檢測(cè)手段逃不過(guò)的誤判時(shí)刻4.1 三類高發(fā)誤判場(chǎng)景我認(rèn)真用了這么久檢測(cè)工具最深的體會(huì)是工具能幫我們縮小懷疑范圍但真要一錘定音很難。最常見(jiàn)的誤判場(chǎng)景是非母語(yǔ)寫作者。如果一個(gè)不以中文為母語(yǔ)的人寫中文文章他使用的句式往往更簡(jiǎn)單、更規(guī)范、更像教材因?yàn)樗麑W(xué)的就是標(biāo)準(zhǔn)表達(dá)法反而容易被誤判成AI。這個(gè)場(chǎng)景我實(shí)際遇到過(guò)有一次我把一位外國(guó)朋友的翻譯稿拿去檢測(cè)結(jié)果顯示68%疑似AI。但從頭到尾都是人類翻譯的。原因就在于翻譯稿受原文制約句式選擇空間小且外語(yǔ)習(xí)慣和中文AI生成模式的概率分布高度重疊。另一個(gè)常見(jiàn)的誤判場(chǎng)景是官方文案和模板化內(nèi)容。產(chǎn)品說(shuō)明書、政府公告、公司簡(jiǎn)介、活動(dòng)通稿這些話術(shù)是被社會(huì)反復(fù)錘煉過(guò)無(wú)數(shù)遍的固定模板人類寫作者在里面能發(fā)揮的意外性本來(lái)就很少。把這類文本拿去測(cè)AI率普遍會(huì)偏高。反過(guò)來(lái)如果把一段AI生成的意識(shí)流散文拿去測(cè)AI率反而可能不高因?yàn)锳I特意模仿人類天馬行空式的語(yǔ)言時(shí)也能制造出很高的突發(fā)性。還有一個(gè)繞不開的誤判場(chǎng)景是AI輔助寫作與AI全文生成的邊界?，F(xiàn)在的寫作流程早就不是要么人寫、要么AI寫那么純粹了很多稿件是真人搭框架、AI填血肉、真人再潤(rùn)色或者是AI生成初稿、真人大量修改。這種混合文本檢測(cè)工具給出的結(jié)果完全取決于AI痕跡被覆蓋掉了多少跟內(nèi)容本身的真實(shí)性關(guān)系不大。4.2 被誤判之后怎么排查當(dāng)你收到一份文本檢測(cè)工具告訴你AI濃度很高先不要急著下結(jié)論說(shuō)是AI寫的花幾分鐘排查一下幾個(gè)關(guān)鍵點(diǎn)。第一看文本是不是有明顯的個(gè)人化經(jīng)歷痕跡。比如文中有具體的時(shí)間地點(diǎn)、人物對(duì)話、情緒反應(yīng)、細(xì)節(jié)動(dòng)作這些東西是很難被誤判的強(qiáng)人證。哪怕工具給了80%的AI率只要文中有大量這樣的真實(shí)細(xì)節(jié)我都會(huì)傾向于認(rèn)為這是AI輔助而非全文生成。第二嘗試提取關(guān)鍵信息去搜索引擎驗(yàn)證。AI生成的內(nèi)容經(jīng)常會(huì)出現(xiàn)信息錯(cuò)誤或編造來(lái)源的情況如果你能從文本中提取出具體的數(shù)字、人名、事件名一個(gè)個(gè)去搜索能查到相應(yīng)出處說(shuō)明作者認(rèn)真做過(guò)功課查不到或者明顯對(duì)不上那AI生成的可能性就指數(shù)級(jí)上升。第三看文本是否存在深度。AI的長(zhǎng)文很容易出現(xiàn)鋪得廣但挖得淺的問(wèn)題每段都在點(diǎn)一個(gè)方向但沒(méi)有一段是把一個(gè)問(wèn)題說(shuō)深說(shuō)透的。你可以選文中的核心段落問(wèn)自己一個(gè)問(wèn)題如果這真是這個(gè)領(lǐng)域的從業(yè)者寫的他會(huì)不會(huì)在這個(gè)關(guān)鍵細(xì)節(jié)上寫得這么泛泛如果答不上來(lái)那很大概率是AI寫的。這招對(duì)技術(shù)類、醫(yī)學(xué)類、行業(yè)分析類文章尤其好用因?yàn)閷I(yè)領(lǐng)域的深度是AI當(dāng)前極難真正偽裝出來(lái)的部分。5. 我自己的最終立場(chǎng)檢測(cè)是手段不是判決用到現(xiàn)在我的態(tài)度是AI檢測(cè)工具適合當(dāng)一個(gè)前置過(guò)濾器不適合當(dāng)裁決者。尤其是在編輯審稿、老師查作業(yè)、甲方驗(yàn)收內(nèi)容這些場(chǎng)景里工具的作用是幫你縮小需要仔細(xì)核驗(yàn)的范圍而不是替你直接得結(jié)論。我認(rèn)識(shí)的做得好的編輯基本都是工具檢測(cè)加人工精讀并行用工具篩出可疑對(duì)象再逐段驗(yàn)證細(xì)節(jié)真實(shí)性和邏輯深度。有個(gè)使用心得可以分享把你自己的老文章拿去測(cè)一下你會(huì)發(fā)現(xiàn)不低的比例被判為部分疑似AI。這個(gè)動(dòng)作能幫你校準(zhǔn)對(duì)檢測(cè)報(bào)告的信任閾值。你只有知道自己風(fēng)格的文章在工具里長(zhǎng)什么樣才能在面對(duì)一份報(bào)告時(shí)快速判斷出究竟是文章確實(shí)AI還是工具對(duì)某種風(fēng)格天然敏感。還有一個(gè)更實(shí)際的建議如果你擔(dān)心自己寫的內(nèi)容被檢測(cè)工具誤判可以反著用一下這些工具。寫完之后自己先測(cè)一遍看看哪些段落被高亮了針對(duì)高亮段落補(bǔ)充一些更個(gè)人化、更具體的細(xì)節(jié)和表達(dá)把突發(fā)性拉上去。這其實(shí)也是現(xiàn)在很多人說(shuō)的降A(chǔ)I率的正確操作邏輯——不是靠無(wú)腦改寫句子順序而是靠注入真正屬于人類的真實(shí)信息。最后再回到朋友那個(gè)問(wèn)題現(xiàn)在的檢測(cè)技術(shù)遠(yuǎn)沒(méi)到完美的程度但它夠用了。只要你綜合使用人工細(xì)節(jié)審視多工具交叉檢測(cè)信息源核驗(yàn)這三板斧絕大多數(shù)常規(guī)場(chǎng)景下的判斷是能站得住的。而且隨著AI本身能力的提升檢測(cè)技術(shù)也在快速迭代說(shuō)不定再過(guò)一兩年咱們聊的就是另一套方法論了。至少在今天識(shí)別AI文章這件事沒(méi)有完美答案但絕對(duì)有可行路徑。