SQLova架構(gòu)詳解一BERT如何構(gòu)建表格感知的詞嵌入wemb_n與wemb_h原理剖析【免費(fèi)下載鏈接】sqlova項(xiàng)目地址: https://gitcode.com/gh_mirrors/sq/sqlovaSQLova 是一個(gè)將自然語(yǔ)言問(wèn)題翻譯為 SQL 查詢的 NL2SQL 語(yǔ)義解析器它的核心亮點(diǎn)是用 BERT 構(gòu)建表格感知的詞嵌入table-aware word-embedding把問(wèn)題和表頭放進(jìn)同一條序列讓 BERT 互相看見(jiàn)再?gòu)闹胁鸪鰓emb_n問(wèn)題向量與wemb_h表頭向量。最終在 WikiSQL 測(cè)試集上達(dá)到 83.6% 邏輯形式準(zhǔn)確率與 89.6% 執(zhí)行準(zhǔn)確率。本文將帶你從零拆解這兩個(gè)向量的生成原理。NL2SQL 任務(wù)是什么SQLova 的目標(biāo)與成績(jī) SQLova 要解決的問(wèn)題可以概括為一句話給定一張數(shù)據(jù)表和一個(gè)自然語(yǔ)言問(wèn)題生成能查出正確答案的 SQL。比如針對(duì)下面這張球員表問(wèn) Which player has a back number of 31?模型需要產(chǎn)出SELECT player WHERE no 31執(zhí)行后得到高亮行的 Shawn Respect這個(gè)截圖來(lái)自項(xiàng)目自帶的人工評(píng)測(cè)見(jiàn) human_eval/README.md246 名眾包工人的執(zhí)行準(zhǔn)確率約為88.3%而 SQLova開(kāi)啟執(zhí)行引導(dǎo)解碼達(dá)到91.0%已經(jīng)追平甚至超過(guò)人類(lèi)表現(xiàn)。核心結(jié)果如下模型測(cè)試集邏輯形式準(zhǔn)確率測(cè)試集執(zhí)行準(zhǔn)確率SQLova80.7%86.2%SQLova-EG執(zhí)行引導(dǎo)解碼83.6%89.6%第一步把問(wèn)題 表頭拼進(jìn)同一條 BERT 輸入序列 表格感知的第一步是把問(wèn)題文本和所有列名拼接成一條 BERT 序列格式如下代碼見(jiàn) generate_inputs()[CLS] what is the player name with score 15 [SEP] player [SEP] score [SEP] └──── 問(wèn)題segment id 0 ────┘ └──── 列名segment id 1 ────┘拼接時(shí)有三個(gè)關(guān)鍵細(xì)節(jié)兩級(jí)分詞問(wèn)題先由 CoreNLP 分好詞再經(jīng) BERT 的 WordPiece 切分成子詞見(jiàn) bert/tokenization.py并用t_to_tt_idx/tt_to_t_idx雙向索引記錄原始詞 ? 子詞的映射方便訓(xùn)練標(biāo)簽對(duì)齊。段標(biāo)記segment id問(wèn)題部分記 0列名部分記 1讓 BERT 區(qū)分兩種來(lái)源。截?cái)嗯c補(bǔ)齊序列統(tǒng)一補(bǔ)零到max_seq_length默認(rèn) 222超過(guò)則截?cái)?。正因?yàn)閱?wèn)題和列名在同一條序列里BERT 的自注意力會(huì)讓問(wèn)題中的詞與列名直接交互——這就是表格感知的來(lái)源。wemb_n 原理問(wèn)題詞元的上下文嵌入 BERT 前向傳播后返回全部 12 層的逐詞輸出all_encoder_layerget_bert_output()。wemb_n的構(gòu)造在 get_wemb_n()取最后num_target_layers層默認(rèn) 2 層越靠近頂層語(yǔ)義越充分用i_nlu記錄的區(qū)間切出問(wèn)題對(duì)應(yīng)的子詞段丟掉[CLS]和列名部分把 2 層輸出在向量維度上橫向拼接。于是得到問(wèn)題嵌入wemb_n形狀為[B, l_n, 768×2]即每個(gè)問(wèn)題詞元一個(gè) 1536 維上下文向量。訓(xùn)練入口里也印證了這一點(diǎn)下游模塊的輸入維度被定義為iS bert_config.hidden_size * num_target_layerstrain.py。wemb_h 原理表頭列名向量的構(gòu)造 列名的處理稍反直覺(jué)get_wemb_h() 把批次里所有表的所有列攤平成一個(gè)虛擬批次每一列當(dāng)作一條獨(dú)立序列用i_hds記錄的每個(gè)列名的起止下標(biāo)切出對(duì)應(yīng)的 BERT 輸出同樣取最后 2 層拼接得到wemb_h形狀[B×hs, l_hpu, 1536]hs是列數(shù)l_hpu是該列的 WordPiece 長(zhǎng)度同時(shí)返回l_hs每表列數(shù)與l_hpu每列長(zhǎng)度供下游 LSTM 做池化。這樣下游模塊可以把一批表的 N 個(gè)列當(dāng)成 N 條短序列統(tǒng)一編碼實(shí)現(xiàn)變長(zhǎng)列數(shù)的批處理。wemb_n與wemb_h的總裝函數(shù)是 get_wemb_bert()。為什么表格感知帶來(lái)精度提升傳統(tǒng)做法往往給問(wèn)題和表結(jié)構(gòu)各用一個(gè)獨(dú)立的詞嵌入模型兩邊信息互不相通。SQLova 的做法則讓它們?cè)?BERT 內(nèi)部就完成交互問(wèn)題里的 score 與列名 score 在注意力矩陣中直接關(guān)聯(lián)問(wèn)題詞元的最終向量已經(jīng)見(jiàn)過(guò)列名反過(guò)來(lái)列名向量也融合了問(wèn)題語(yǔ)境選列/選值時(shí)歧義更少。得到的wemb_n、wemb_h隨后喂給 Seq2SQL 主干 Seq2SQL_v1由六個(gè)子模塊分工協(xié)作SCP/SAP 負(fù)責(zé) SELECT 列與聚合函數(shù)WNP/WCP/WOP/WVP_se 負(fù)責(zé) WHERE 的條件數(shù)、列、比較符與值的位置。每個(gè)模塊都用雙向 LSTM 分別編碼問(wèn)題與表頭再通過(guò)注意力機(jī)制做跨結(jié)構(gòu)對(duì)齊。訓(xùn)練時(shí) BERT 以 1e-5 的小學(xué)習(xí)率聯(lián)合微調(diào)--fine_tune讓嵌入進(jìn)一步適配 NL2SQL 任務(wù)。快速上手一鍵訓(xùn)練命令與文件導(dǎo)覽 按 README.md 說(shuō)明訓(xùn)練只需一條命令python3 train.py --seed 1 --bS 16 --accumulate_gradients 2 \ --bert_type_abb uS --fine_tune \ --lr 0.001 --lr_bert 0.00001 --max_seq_leng 222訓(xùn)練過(guò)程中每當(dāng)開(kāi)發(fā)集邏輯形式準(zhǔn)確率刷新會(huì)自動(dòng)保存model_best.ptSeq2SQL 模塊、model_bert_best.ptBERT 模塊與results_dev.jsonl。關(guān)鍵文件導(dǎo)覽主干模型與六個(gè)子模塊sqlova/model/nl2sql/wikisql_models.py詞嵌入構(gòu)造與數(shù)據(jù)工具sqlova/utils/utils_wikisql.py訓(xùn)練與推理入口train.py、predict.py官方評(píng)測(cè)腳本evaluate_ws.pyBERT 模型實(shí)現(xiàn)與分詞器bert/modeling.py、bert/tokenization.py下期預(yù)告SQLova 架構(gòu)詳解二將深入 Seq2SQL 主干六大子模塊的注意力機(jī)制以及執(zhí)行引導(dǎo)解碼Execution-Guided Decoding如何再榨出 3% 的精度?！久赓M(fèi)下載鏈接】sqlova項(xiàng)目地址: https://gitcode.com/gh_mirrors/sq/sqlova創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考