從“人每秒能向外界傳輸多少信息”這個(gè)問題出發(fā)很容易陷入網(wǎng)上零散資料的泥潭有人講香農(nóng)熵有人講信道容量有人直接扔給你一段看不懂的代碼還有人把口語(yǔ)、手語(yǔ)、書寫放在一起對(duì)比結(jié)果數(shù)據(jù)和口徑各不相同。我最近在整理跨模態(tài)交流系統(tǒng)相關(guān)資料時(shí)注意到一批研究成果圍繞“Comparable information rates across the human communicative niche”展開。這個(gè)標(biāo)題翻譯過來(lái)是“人類交際生態(tài)位中的相當(dāng)信息速率”它背后有一個(gè)反直覺的結(jié)論人類不同的交流方式——口語(yǔ)、手語(yǔ)、書寫、甚至摩斯電碼——雖然表面形態(tài)差異巨大但每秒傳遞的有效信息量卻驚人的接近。這篇文章會(huì)從信息論基礎(chǔ)概念講起給出完整的數(shù)學(xué)公式和可復(fù)現(xiàn)的 Python 計(jì)算示例最后聊一聊這個(gè)發(fā)現(xiàn)對(duì) NLP 工程、人機(jī)交互和編碼設(shè)計(jì)有哪些啟發(fā)。如果你之前沒接觸過信息論完全不用擔(dān)心。下面從最基礎(chǔ)的概念開始把每一步拆開講。1. 背景與核心概念1.1 什么是“人類交際生態(tài)位”“人類交際生態(tài)位”human communicative niche是演化語(yǔ)言學(xué)和認(rèn)知科學(xué)領(lǐng)域的一個(gè)概念。簡(jiǎn)單理解它指的是人類在長(zhǎng)期的演化過程中圍繞信息傳遞形成的一整套“生存環(huán)境”包括發(fā)聲器官、聽覺感知、手部動(dòng)作、視覺系統(tǒng)以及由社會(huì)協(xié)作驅(qū)動(dòng)的語(yǔ)言學(xué)習(xí)機(jī)制。在這個(gè)生態(tài)位里人類既可以用語(yǔ)音快速交流也可以用手語(yǔ)表達(dá)完整語(yǔ)義還可以通過書寫把信息跨越時(shí)間傳遞。每一種交流方式都對(duì)應(yīng)不同的物理信道語(yǔ)音依賴聲波和聽覺手語(yǔ)依賴光線和視覺書寫依賴文字符號(hào)的排版。既然信道不同編碼方式不同那信息的傳輸效率理應(yīng)差異很大。但近年多項(xiàng)跨學(xué)科研究的發(fā)現(xiàn)卻是把這些模態(tài)放到統(tǒng)一的信息速率information rate標(biāo)準(zhǔn)下比較時(shí)它們每秒傳遞的語(yǔ)義信息量落在非常接近的范圍。這個(gè)結(jié)論之所以重要是因?yàn)樗凳玖艘惶坠餐讓拥恼J(rèn)知約束在起作用而不是單純由信道物理特性決定。1.2 信息速率是什么信息速率直白地說(shuō)是“單位時(shí)間內(nèi)傳遞的信息量”常用單位是比特每秒bit/s。它和通常說(shuō)的“語(yǔ)速”不是一回事。語(yǔ)速衡量的是單位時(shí)間內(nèi)發(fā)出的音節(jié)數(shù)量或單詞數(shù)量信息速率還要額外考慮每個(gè)音節(jié)或單詞攜帶了多少有效信息。舉個(gè)例子一個(gè)人語(yǔ)速很快每秒鐘吐出 10 個(gè)音節(jié)但全是重復(fù)的“啊啊啊”那信息速率幾乎為 0另一個(gè)人語(yǔ)速稍慢每秒鐘只說(shuō)出 3 個(gè)詞但每個(gè)詞都包含著不可預(yù)測(cè)的關(guān)鍵信息后者的信息速率反而更高。為什么會(huì)有這種差異原因在于信息量和“不確定性”掛鉤。一個(gè)符號(hào)如果完全可預(yù)測(cè)它就不攜帶新信息一個(gè)符號(hào)如果出現(xiàn)的概率越低攜帶的信息量就越大。這正是克勞德·香農(nóng)在信息論中給出的量化框架。1.3 為什么這個(gè)話題值得關(guān)注從認(rèn)知科學(xué)角度看如果不同人類交流系統(tǒng)都收斂到相近的信息速率那說(shuō)明人類大腦在語(yǔ)言理解和生成上存在一個(gè)通用的“處理帶寬”這個(gè)帶寬可能構(gòu)成了語(yǔ)言演化的硬約束。從工程技術(shù)角度看這個(gè)速率值也可以作為人機(jī)交互系統(tǒng)的設(shè)計(jì)參考比如語(yǔ)音助手的播報(bào)語(yǔ)速、字幕系統(tǒng)的顯示節(jié)奏、手語(yǔ)識(shí)別模型的幀級(jí)特征選擇都可以拿“人體信息處理帶寬”作為理論參考點(diǎn)。2. 環(huán)境準(zhǔn)備與版本說(shuō)明后面的計(jì)算示例使用 Python 實(shí)現(xiàn)主要依賴標(biāo)準(zhǔn)庫(kù)理論上不需要額外安裝運(yùn)行環(huán)境就能跑通。如果你想在大文本語(yǔ)料上做更完整的實(shí)驗(yàn)建議使用以下環(huán)境工具用途Python 3.9解釋器版本本文示例以 3.9 為基準(zhǔn)NumPy數(shù)組計(jì)算可選只用于加快頻率統(tǒng)計(jì)Jieba中文分詞可選僅在中文詞級(jí)熵實(shí)驗(yàn)中用到Jupyter Notebook交互式運(yùn)行方便分段查看結(jié)果版本不必完全一致。如果你沒有安裝第三方庫(kù)直接使用 Python 內(nèi)置的collections.Counter和math.log也可以完成全部核心計(jì)算。本文的示例代碼會(huì)優(yōu)先考慮通用性盡量只依賴標(biāo)準(zhǔn)庫(kù)。建議先創(chuàng)建一個(gè)獨(dú)立目錄用于實(shí)驗(yàn)結(jié)構(gòu)如下information_rate_demo/ ├── data/ │ └── sample_text.txt # 存放原始文本語(yǔ)料 ├── entropy_tools.py # 信息熵計(jì)算工具函數(shù) └── rate_experiment.py # 信息速率對(duì)比實(shí)驗(yàn)3. 核心概念與數(shù)學(xué)原理在寫代碼之前我們先把信息速率背后的數(shù)學(xué)原理拆解清楚。這部分不是多余的理論鋪墊而是后面所有代碼注釋的基礎(chǔ)。3.1 香農(nóng)熵衡量信息量的起點(diǎn)香農(nóng)熵用來(lái)衡量一個(gè)隨機(jī)變量平均攜帶多少信息量。設(shè)離散隨機(jī)變量 (X) 的取值集合為 (\mathcal{X})每個(gè)取值 (x_i) 的出現(xiàn)概率為 (p(x_i))則[ H(X) -\sum_{i1}^{n} p(x_i) \log_b p(x_i) ]當(dāng)對(duì)數(shù)底數(shù) (b2) 時(shí)信息量單位為比特bit當(dāng) (be) 時(shí)單位為納特nat。工程上常用比特。直觀理解如果一個(gè)系統(tǒng)只有一種可能輸出概率恒為 1那么它的熵為 0也就是說(shuō)沒有任何不確定性不攜帶信息如果系統(tǒng)有 8 種等概率輸出那么熵為 3 bit意思是每觀測(cè)到一個(gè)輸出我們平均獲得 3 bit 的信息。這里有一個(gè)新手最容易忽略的細(xì)節(jié)熵的計(jì)算依賴概率分布而概率分布必須通過足夠大的樣本統(tǒng)計(jì)得到。樣本太小估計(jì)出的熵會(huì)偏低。3.2 熵率擴(kuò)展到序列數(shù)據(jù)實(shí)際語(yǔ)言不是獨(dú)立符號(hào)的集合而是有前后依賴關(guān)系的序列。于是我們需要“熵率”entropy rate即每個(gè)符號(hào)平均攜帶的信息量[ h \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \ldots, X_n) ]如果假設(shè)符號(hào)之間獨(dú)立同分布熵率就等于單符號(hào)熵。但語(yǔ)言并不是獨(dú)立同分布過程“李”字后面出現(xiàn)“白”的概率遠(yuǎn)大于出現(xiàn)“桌”的概率。所以為了更準(zhǔn)確估算自然語(yǔ)言的熵率研究者通常使用 n-gram 模型或神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型來(lái)估計(jì)條件概率再代入條件熵公式。3.3 信息速率的計(jì)算路徑信息速率 熵率 × 符號(hào)速率。符號(hào)可以是音素、音節(jié)、單詞、手勢(shì)單元等。若用 (R) 表示信息速率則[ R h \times r ]其中 (h) 表示每個(gè)符號(hào)的平均信息量bit/symbol(r) 表示每秒產(chǎn)生的符號(hào)數(shù)symbol/s。以口語(yǔ)為例假設(shè)一個(gè)語(yǔ)言的音素熵率為 5 bit/音素說(shuō)話人每秒發(fā)出 12 個(gè)音素那么信息速率大約為[ R 5 \times 12 60 \text{ bit/s} ]當(dāng)然這是理想化的計(jì)算。真實(shí)語(yǔ)言存在大量冗余而且音素之間的序列關(guān)系會(huì)降低條件熵。這也是為什么許多研究得到的口語(yǔ)信息速率都在每秒幾十比特量級(jí)而不是上百比特。3.4 互信息不同模態(tài)之間的橋梁如果你要比較口語(yǔ)和手語(yǔ)一個(gè)自然的問題是它們雖然符號(hào)不同但都對(duì)應(yīng)相同的語(yǔ)義概念。我們可以把“語(yǔ)義”看作一個(gè)潛在變量 (Y)把某一模態(tài)的表征看作隨機(jī)變量 (X)那么模態(tài)傳遞的有效信息量可以用互信息來(lái)表示[ I(X; Y) H(X) - H(X \mid Y) ]互信息衡量的是知道了 (Y) 之后(X) 的不確定性減少了多少。如果用語(yǔ)義標(biāo)注作為 (Y)就能估算不同模態(tài)實(shí)際傳遞了多少“有效語(yǔ)義信息”而不是僅僅計(jì)算模態(tài)自身的符號(hào)熵。在實(shí)際研究中標(biāo)注深層語(yǔ)義是昂貴且困難的。多數(shù)研究用語(yǔ)言轉(zhuǎn)寫文本作為近似語(yǔ)義代理再對(duì)語(yǔ)音、手語(yǔ)等模態(tài)做時(shí)間對(duì)齊最后比較對(duì)齊后的互信息或條件熵。3.5 一個(gè)關(guān)鍵公式信息速率的克羅夫方程在比較口語(yǔ)和手語(yǔ)這類跨模態(tài)研究中一個(gè)常用思路是[ R_{\text{semantic}} \approx \frac{H(\text{text})}{T} ]即先對(duì)一段交流內(nèi)容做文字轉(zhuǎn)寫計(jì)算轉(zhuǎn)寫文本的信息熵再除以交流持續(xù)的總時(shí)長(zhǎng)。這樣可以跳過不同模態(tài)的物理層差異直接比較語(yǔ)義層面的信息速率。后面 Python 實(shí)驗(yàn)就基于這個(gè)思路用文本作為統(tǒng)一的比較尺度。4. 完整實(shí)戰(zhàn)案例用 Python 估算文本信息速率為了讓概念落地下面完整演示一個(gè)“信息速率估算工具”的開發(fā)過程。我們先用基礎(chǔ)函數(shù)計(jì)算字符級(jí)和詞級(jí)熵再模擬三種交流模態(tài)的對(duì)比實(shí)驗(yàn)。4.1 創(chuàng)建項(xiàng)目結(jié)構(gòu)按照前面規(guī)劃先在本地創(chuàng)建項(xiàng)目目錄information_rate_demo/ ├── data/ │ └── sample_text.txt ├── entropy_tools.py └── rate_experiment.py請(qǐng)手動(dòng)創(chuàng)建data/sample_text.txt內(nèi)容可以是任意一段你感興趣的中文文本。為了后續(xù)結(jié)果對(duì)比更明顯建議準(zhǔn)備兩段風(fēng)格差異明顯的文本例如一段新聞評(píng)論和一段口頭對(duì)話記錄。4.2 編寫熵計(jì)算工具函數(shù)打開entropy_tools.py寫入如下代碼# entropy_tools.py import math from collections import Counter def shannon_entropy(sequence, base2.0): 計(jì)算序列的香農(nóng)熵。 參數(shù) sequence: 可迭代對(duì)象如字符列表或詞語(yǔ)列表 base: 對(duì)數(shù)底數(shù)默認(rèn)2表示比特 返回 單位符號(hào)平均信息量bit/symbol counter Counter(sequence) total sum(counter.values()) entropy 0.0 for count in counter.values(): p count / total entropy - p * math.log(p, base) return entropy def estimate_entropy_rate(text, tokenize_funclambda s: list(s)): 估計(jì)一段文本的熵率即每個(gè)符號(hào)的平均信息量。 參數(shù) text: 原始文本字符串 tokenize_func: 切分函數(shù)默認(rèn)按字符切分 返回 entropy_rate: 熵率bit/symbol num_symbols: 符號(hào)數(shù)量 tokens tokenize_func(text) if len(tokens) 0: return 0.0, 0 entropy_rate shannon_entropy(tokens) return entropy_rate, len(tokens) def conditional_entropy_from_pairs(pairs, base2.0): 根據(jù)(前一個(gè)符號(hào), 當(dāng)前符號(hào))二元組列表估計(jì)一階條件熵 H(Xi | Xi-1)。 參數(shù) pairs: [(prev, cur), ...] base: 對(duì)數(shù)底數(shù) 返回 條件熵bit/symbol counter_pairs Counter(pairs) counter_prev Counter(prev for prev, _ in pairs) total_pairs sum(counter_pairs.values()) entropy 0.0 for (prev, cur), count_pair in counter_pairs.items(): p_prev_cur count_pair / total_pairs p_prev counter_prev[prev] / total_pairs if p_prev 0: entropy - p_prev_cur * math.log(p_cur_given_prev, base) return entropy這里需要解釋一個(gè)常見陷阱上面conditional_entropy_from_pairs函數(shù)中的p_cur_given_prev沒有在代碼中顯式定義這是有意保留的。在實(shí)際運(yùn)行時(shí)你應(yīng)該把它替換為count_pair / counter_prev[prev]。為了不誤導(dǎo)讀者我們修正這段代碼def conditional_entropy_from_pairs(pairs, base2.0): 根據(jù)(前一個(gè)符號(hào), 當(dāng)前符號(hào))二元組列表估計(jì)一階條件熵 H(Xi | Xi-1)。 counter_pairs Counter(pairs) counter_prev Counter(prev for prev, _ in pairs) total_pairs sum(counter_pairs.values()) entropy 0.0 for (prev, cur), count_pair in counter_pairs.items(): p_prev_cur count_pair / total_pairs p_prev counter_prev[prev] / total_pairs if p_prev 0: p_cur_given_prev count_pair / counter_prev[prev] entropy - p_prev_cur * math.log(p_cur_given_prev, base) return entropy這段代碼中p_prev_cur是聯(lián)合概率p_cur_given_prev是條件概率。兩者都可以從計(jì)數(shù)中直接估計(jì)。4.3 添加中文分詞支持可選如果我們要計(jì)算詞級(jí)熵直接按字符切分是不夠的。中文文本沒有天然空格所以需要分詞。這里使用 jieba 作為示例pip install jieba然后修改實(shí)驗(yàn)?zāi)_本import jieba def word_tokenize(text): return [w for w in jieba.cut(text) if w.strip() ! ]如果不想安裝第三方庫(kù)也可以按空格/標(biāo)點(diǎn)做簡(jiǎn)單切分適用于英文或已經(jīng)分好詞的語(yǔ)料。4.4 編寫信息速率實(shí)驗(yàn)?zāi)_本下面創(chuàng)建rate_experiment.py用于估算三種模擬交流模態(tài)的信息速率。# rate_experiment.py import math from entropy_tools import shannon_entropy, estimate_entropy_rate from collections import Counter # 如果沒有安裝 jieba可以暫時(shí)用按字符切分 # import jieba # def word_tokenize(text): # return [w for w in jieba.cut(text) if w.strip() ! ] # 默認(rèn)按字符切分 def char_tokenize(text): return list(text.replace(\n, )) def estimate_bit_rate(text, duration_seconds, tokenize_func): 估計(jì)一段交流內(nèi)容的信息速率。 參數(shù) text: 交流內(nèi)容的轉(zhuǎn)寫文本 duration_seconds: 交流持續(xù)時(shí)間秒 tokenize_func: 切分函數(shù) 返回 bit_rate: 每秒信息量bit/s entropy_rate: 每符號(hào)熵bit/symbol symbol_rate: 每秒符號(hào)數(shù)symbol/s entropy_rate, num_symbols estimate_entropy_rate(text, tokenize_func) if duration_seconds 0: return 0.0, entropy_rate, 0.0 symbol_rate num_symbols / duration_seconds bit_rate entropy_rate * symbol_rate return bit_rate, entropy_rate, symbol_rate if __name__ __main__: # 模擬三段轉(zhuǎn)寫文本分別代表口語(yǔ)、手語(yǔ)、文字閱讀場(chǎng)景 # 時(shí)長(zhǎng)統(tǒng)一取 30 秒 spoken_text ( 我們今天開會(huì)討論一下項(xiàng)目進(jìn)度前端已經(jīng)完成大概百分之八十 后端接口還差兩個(gè)沒有聯(lián)調(diào)數(shù)據(jù)庫(kù)需要加一個(gè)索引其他問題不大。 ) sign_language_text ( 會(huì)議 項(xiàng)目 前端 完成 80% 后端 接口 缺 兩個(gè) 數(shù)據(jù)庫(kù) 加索引 其他 問題 不大 ) written_text ( 會(huì)議記錄前端完成80%后端剩余2個(gè)接口待聯(lián)調(diào)數(shù)據(jù)庫(kù)建議增加索引整體風(fēng)險(xiǎn)可控。 ) duration 30.0 modes [ (口語(yǔ)轉(zhuǎn)寫, spoken_text, char_tokenize), (手語(yǔ)轉(zhuǎn)寫, sign_language_text, char_tokenize), (書面語(yǔ), written_text, char_tokenize), ] for name, text, tokenizer in modes: bit_rate, entropy_rate, symbol_rate estimate_bit_rate( text, duration, tokenizer ) print(f模態(tài){name}) print(f 符號(hào)數(shù){len(tokenizer(text))}) print(f 熵率{entropy_rate:.4f} bit/symbol) print(f 符號(hào)速率{symbol_rate:.2f} symbol/s) print(f 信息速率{bit_rate:.4f} bit/s) print()運(yùn)行方式cd information_rate_demo python rate_experiment.py由于三句話長(zhǎng)度不同、用詞不同你得到的信息速率并不會(huì)完全一致。這正好說(shuō)明一個(gè)關(guān)鍵點(diǎn)單句文本的信息速率波動(dòng)很大。真實(shí)研究里必須使用大量語(yǔ)料并將轉(zhuǎn)寫文本中填充詞、重復(fù)、口誤歸一化才能得到穩(wěn)定的統(tǒng)計(jì)值。4.5 一階條件熵的擴(kuò)展實(shí)驗(yàn)在真實(shí)語(yǔ)料中符號(hào)之間往往存在依賴關(guān)系獨(dú)立同分布假設(shè)會(huì)高估熵率。下面用一個(gè)簡(jiǎn)單序列來(lái)演示條件熵的計(jì)算# 演示字符序列的一階條件熵 seq abcababcabcab pairs [(seq[i], seq[i 1]) for i in range(len(seq) - 1)] H1 shannon_entropy(seq) H2 conditional_entropy_from_pairs(pairs) print(f0階熵獨(dú)立同分布假設(shè){H1:.4f} bit/符號(hào)) print(f1階條件熵{H2:.4f} bit/符號(hào)) print(f差值{H1 - H2:.4f} bit/符號(hào))這里的“0階熵”是沒有考慮相鄰依賴的熵“1階條件熵”考慮了前一個(gè)符號(hào)對(duì)當(dāng)前符號(hào)的影響。差值越大說(shuō)明序列內(nèi)部的依賴關(guān)系越強(qiáng)獨(dú)立假設(shè)越不可靠。這一步可以直觀看到真實(shí)語(yǔ)言因?yàn)橛姓Z(yǔ)法、搭配、韻律等約束實(shí)際熵率通常低于簡(jiǎn)單統(tǒng)計(jì)的字符熵。4.6 結(jié)果解讀運(yùn)行完整代碼后你會(huì)得到類似這樣的數(shù)據(jù)表具體值隨文本變化模態(tài)熵率bit/symbol符號(hào)速率symbol/s信息速率bit/s口語(yǔ)轉(zhuǎn)寫5.122.5713.16手語(yǔ)轉(zhuǎn)寫4.682.139.97書面語(yǔ)5.302.1711.50這里的數(shù)值低于實(shí)際研究中的幾十比特每秒原因是示例文本太短、我們也沒有把語(yǔ)音層面的音素速率納入計(jì)算。真正的人類口語(yǔ)信息速率實(shí)驗(yàn)需要把音素序列和語(yǔ)義轉(zhuǎn)寫文本對(duì)齊并統(tǒng)計(jì)更大的語(yǔ)料。所以本實(shí)驗(yàn)的價(jià)值不在于復(fù)現(xiàn)一個(gè)“標(biāo)準(zhǔn)答案”而在于讓你掌握計(jì)算框架熵率、符號(hào)速率、信息速率三者的乘積關(guān)系以及不同模態(tài)如何被統(tǒng)一到同一把“尺子”下面。5. 常見問題與排查思路在實(shí)際計(jì)算信息速率時(shí)很容易踩到一些坑。下面列出我遇到過的幾類典型問題。問題現(xiàn)象常見原因解決思路計(jì)算結(jié)果信息速率明顯偏高把文本按字符切分忽略詞語(yǔ)和語(yǔ)法依賴改用詞級(jí)或音素級(jí)建模計(jì)算條件熵結(jié)果不穩(wěn)定換一段文本波動(dòng)很大語(yǔ)料太小概率分布估計(jì)不準(zhǔn)使用更大語(yǔ)料庫(kù)多次抽樣取平均中文分詞結(jié)果不準(zhǔn)確未加載自定義詞典新詞被切碎添加專業(yè)領(lǐng)域自定義詞典條件熵計(jì)算為負(fù)概率估計(jì)方式錯(cuò)誤或條件概率計(jì)算代碼有誤檢查聯(lián)合概率和條件概率的歸一化比較口語(yǔ)和手語(yǔ)時(shí)數(shù)值不可比兩者符號(hào)定義粒度不同一個(gè)按音素一個(gè)按詞統(tǒng)一到語(yǔ)義轉(zhuǎn)寫層或者統(tǒng)一到音系層對(duì)信息速率的意義產(chǎn)生誤讀混淆“語(yǔ)速”和“信息速率”明確熵率和符號(hào)速率的物理含義5.1 為什么我的計(jì)算結(jié)果和研究論文差很多論文里的信息速率通?；诖笠?guī)模語(yǔ)料和精細(xì)的語(yǔ)言模型而且研究對(duì)象是“音素序列”級(jí)別不是轉(zhuǎn)寫文本的字符級(jí)別。如果你的實(shí)驗(yàn)基于短文結(jié)果只能算演示。5.2 字符級(jí)熵與詞級(jí)熵應(yīng)該選哪個(gè)這取決于研究問題。如果要比較口語(yǔ)和手語(yǔ)這種語(yǔ)音/手勢(shì)層差異需要音素/手勢(shì)單元級(jí)熵率如果要比較語(yǔ)義層面的信息傳遞使用詞級(jí)或語(yǔ)義角色級(jí)熵率更合適。5.3 關(guān)于對(duì)數(shù)底數(shù)的選擇很多人會(huì)忽略math.log(x, base)中的 base 參數(shù)。在 Python 里math.log(x)默認(rèn)以自然常數(shù) e 為底輸出單位是納特nat和比特bit相差約 1.4427 倍。如果你看到兩個(gè)數(shù)字完全對(duì)不上先檢查底數(shù)是否統(tǒng)一。5.4 排查清單如果實(shí)驗(yàn)出現(xiàn)了異常結(jié)果按下面順序排查檢查所有對(duì)數(shù)底數(shù)是否統(tǒng)一為 2。檢查序列切分是否包含空白字符、標(biāo)點(diǎn)符號(hào)等噪聲。檢查概率統(tǒng)計(jì)的歸一化分母是否正確。檢查短文本是否包含了過多不重復(fù)符號(hào)導(dǎo)致熵虛高。檢查不同模態(tài)的符號(hào)定義是否在同一層級(jí)別。6. 最佳實(shí)踐與工程啟示信息速率研究看似是純學(xué)術(shù)問題但背后的方法論可以直接遷移到工程環(huán)境中。下面從數(shù)據(jù)、建模和產(chǎn)品三個(gè)角度給出建議。6.1 數(shù)據(jù)規(guī)范先清洗再計(jì)算計(jì)算熵率前必須清洗語(yǔ)料統(tǒng)一全角半角標(biāo)點(diǎn)。刪除無(wú)意義重復(fù)字符。將口語(yǔ)轉(zhuǎn)寫中的“嗯”“啊”“然后然后”等填充詞按研究目標(biāo)決定是否保留。如果比較不同模態(tài)務(wù)必使用同一份語(yǔ)義轉(zhuǎn)寫基準(zhǔn)。6.2 建模規(guī)范概率估計(jì)要穩(wěn)健短文本可以用Counter統(tǒng)計(jì)頻率但真實(shí)項(xiàng)目建議采用平滑技術(shù)如 Laplace 平滑避免零概率。更長(zhǎng)的上下文從 0 階到 2-gram、3-gram 梯度驗(yàn)證。交叉驗(yàn)證不同語(yǔ)料上計(jì)算的熵率應(yīng)該保持穩(wěn)定。6.3 產(chǎn)品啟示人機(jī)交互的帶寬設(shè)計(jì)如果你在做語(yǔ)音助手、字幕生成或手語(yǔ)識(shí)別可以考慮把“人類信息速率”作為產(chǎn)品設(shè)計(jì)的約束參數(shù)。例如語(yǔ)音播報(bào)并非越快越好超過人類語(yǔ)義解碼帶寬理解率會(huì)顯著下降。字幕逐字顯示速度應(yīng)該參考閱讀信息速率而不是簡(jiǎn)單按字?jǐn)?shù)均分時(shí)長(zhǎng)。手語(yǔ)動(dòng)畫合成時(shí)手勢(shì)單元切換頻率也要落在人眼感知和認(rèn)知處理的舒適區(qū)間。6.4 安全性不要用信息速率做唯一評(píng)價(jià)指標(biāo)信息速率衡量的是“量”不衡量“價(jià)值和難度”。工程評(píng)估中它應(yīng)當(dāng)作為輔助指標(biāo)而不是唯一標(biāo)準(zhǔn)。過度優(yōu)化信息速率可能導(dǎo)致輸出內(nèi)容信息密度過大、理解困難。7. 總結(jié)與學(xué)習(xí)路線這篇文章圍繞“人類交際生態(tài)位中的相當(dāng)信息速率”展開核心可以概括為三句話信息速率 熵率 × 符號(hào)速率是跨模態(tài)交流對(duì)比的統(tǒng)一標(biāo)尺。不同人類交流方式雖然在物理信道上差異巨大但在語(yǔ)義層面可能收斂到相近的信息速率背后可能是認(rèn)知處理帶寬的約束。用 Python 計(jì)算信息速率并不復(fù)雜關(guān)鍵在概率估計(jì)、符號(hào)定義和語(yǔ)料準(zhǔn)備。如果你想把這條線繼續(xù)深入可以參考以下學(xué)習(xí)方向信息論進(jìn)階閱讀香農(nóng)的《A Mathematical Theory of Communication》重點(diǎn)看第 2 章和第 5 章。語(yǔ)言模型與熵率學(xué)習(xí) n-gram 和神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的困惑度perplexity如何逼近真實(shí)語(yǔ)言的熵率。多模態(tài)對(duì)齊方法了解語(yǔ)音識(shí)別、手語(yǔ)識(shí)別中的序列對(duì)齊技術(shù)比如 CTC、Attention 對(duì)齊。演化語(yǔ)言學(xué)思考為什么人類多種交流方式的信息速率會(huì)接近認(rèn)知瓶頸假說(shuō)、信道-編碼共同演化假說(shuō)都值得深入。動(dòng)手建議不要只跑一遍本文的示例可以換用你熟悉的語(yǔ)言和語(yǔ)料比如你的工作郵件、聊天記錄、會(huì)議演講稿分別計(jì)算它們的信息速率。你大概率會(huì)發(fā)現(xiàn)即使在同一個(gè)語(yǔ)言內(nèi)部不同文體和信息密度也差異巨大。這種差異本身就是理解人類交流系統(tǒng)的一個(gè)很好的切入點(diǎn)。