在數(shù)據(jù)中臺和數(shù)據(jù)治理體系中元數(shù)據(jù)采集是一項比較基礎(chǔ)的能力。很多人在第一次使用元數(shù)據(jù)管理功能時會有一個比較直接的疑問數(shù)據(jù)源已經(jīng)通過數(shù)據(jù)連接接入平臺為什么還需要再執(zhí)行元數(shù)據(jù)采集這兩個步驟解決的問題并不相同。數(shù)據(jù)連接主要解決的是平臺是否具備訪問數(shù)據(jù)源的能力。而元數(shù)據(jù)采集關(guān)注的是數(shù)據(jù)源內(nèi)部有哪些數(shù)據(jù)對象、這些對象是什么結(jié)構(gòu)以及這些結(jié)構(gòu)后續(xù)是否發(fā)生變化。因此元數(shù)據(jù)采集的作用并不是重新復(fù)制一遍業(yè)務(wù)數(shù)據(jù)而是從數(shù)據(jù)庫、文件系統(tǒng)或?qū)ο蟠鎯χ蝎@取數(shù)據(jù)對象的結(jié)構(gòu)信息和基礎(chǔ)描述信息并統(tǒng)一沉淀到元數(shù)據(jù)平臺中。本文結(jié)合 qData 數(shù)據(jù)中臺專業(yè)版的元數(shù)據(jù)管理流程主要說明幾個問題元數(shù)據(jù)采集具體會采集哪些信息結(jié)構(gòu)化數(shù)據(jù)和文件類數(shù)據(jù)如何進(jìn)行采集采集任務(wù)、采集實例和最新元數(shù)據(jù)之間是什么關(guān)系數(shù)據(jù)結(jié)構(gòu)發(fā)生變化后如何進(jìn)行版本記錄和對比已采集的元數(shù)據(jù)如何進(jìn)一步用于數(shù)據(jù)資產(chǎn)注冊。數(shù)據(jù)連接已經(jīng)做了為什么還需要元數(shù)據(jù)采集假設(shè)企業(yè)已經(jīng)通過 qData 建立了一個 MySQL 數(shù)據(jù)連接。完成連接后平臺解決的是能否訪問這個數(shù)據(jù)庫。但對于后續(xù)數(shù)據(jù)治理而言僅僅“能夠連接”還不夠。平臺還需要進(jìn)一步知道數(shù)據(jù)庫里面有哪些表每張表有哪些字段字段是什么類型哪些字段是主鍵、外鍵結(jié)構(gòu)最近有沒有發(fā)生變化哪些元數(shù)據(jù)已經(jīng)經(jīng)過確認(rèn)哪些表后續(xù)需要納入數(shù)據(jù)資產(chǎn)管理所以從數(shù)據(jù)治理視角來看數(shù)據(jù)連接更像是建立了一條訪問通道而元數(shù)據(jù)采集才開始進(jìn)一步識別和管理通道背后的數(shù)據(jù)對象。一、元數(shù)據(jù)采集到底是在“采”什么元數(shù)據(jù)經(jīng)常被定義為“描述數(shù)據(jù)的數(shù)據(jù)”。放到企業(yè)數(shù)據(jù)平臺里可以把它理解得更具體一些元數(shù)據(jù)描述的是一份數(shù)據(jù)本身的技術(shù)結(jié)構(gòu)和基本屬性而不是再次復(fù)制其中的業(yè)務(wù)數(shù)據(jù)。例如一張訂單表里可能保存著幾百萬條訂單記錄。元數(shù)據(jù)采集不會再把這幾百萬條訂單復(fù)制到元數(shù)據(jù)平臺而是識別表叫什么屬于哪個數(shù)據(jù)庫包含哪些字段字段叫什么字段是什么數(shù)據(jù)類型長度、精度、小數(shù)位是多少是否必填是否屬于主鍵、外鍵當(dāng)前表和字段是什么結(jié)構(gòu)。對于數(shù)據(jù)庫類結(jié)構(gòu)化數(shù)據(jù)可以把采集層級理解為數(shù)據(jù)源 → 數(shù)據(jù)庫 → 數(shù)據(jù)表 → 字段只有把這些技術(shù)信息采集出來平臺才真正知道一個數(shù)據(jù)源中存在什么數(shù)據(jù)對象以及這些數(shù)據(jù)對象當(dāng)前是什么狀態(tài)。不只是數(shù)據(jù)庫文件類數(shù)據(jù)也可以進(jìn)入元數(shù)據(jù)管理企業(yè)數(shù)據(jù)并不全部存儲在數(shù)據(jù)庫中。實際業(yè)務(wù)環(huán)境中還存在大量CSV、JSON、SQL、文檔等文件。這些文件可能分布在不同的文件系統(tǒng)或?qū)ο蟠鎯χ?。因此qData 同樣支持針對文件類數(shù)據(jù)進(jìn)行元數(shù)據(jù)采集。與數(shù)據(jù)庫不同文件類元數(shù)據(jù)更加關(guān)注文件名稱文件類型文件大小存儲位置來源系統(tǒng)更新時間等。也就是說無論是數(shù)據(jù)庫中的表和字段還是文件系統(tǒng)中的文件對象元數(shù)據(jù)采集首先解決的都是同一個問題先把企業(yè)中分散存在的數(shù)據(jù)識別出來。二、這些元數(shù)據(jù)是怎么進(jìn)入 qData 的元數(shù)據(jù)并不會自動出現(xiàn)在平臺中而是通過元數(shù)據(jù)采集任務(wù)從指定數(shù)據(jù)源中獲取。qData 可以根據(jù)數(shù)據(jù)類型創(chuàng)建結(jié)構(gòu)化采集任務(wù)非結(jié)構(gòu)化采集任務(wù)。對于**結(jié)構(gòu)化數(shù)據(jù)**創(chuàng)建采集任務(wù)時第一步仍然是確定數(shù)據(jù)從哪里來。平臺會關(guān)聯(lián)相應(yīng)的來源系統(tǒng)和數(shù)據(jù)連接并獲取數(shù)據(jù)庫類型、IP、端口、賬號等連接信息。之后再進(jìn)一步確定這次需要采集哪些內(nèi)容。采集范圍既可以覆蓋整個數(shù)據(jù)源也可以根據(jù)數(shù)據(jù)治理范圍自定義選擇其中部分?jǐn)?shù)據(jù)庫。因此元數(shù)據(jù)采集并不意味著每次都必須“全量掃描”企業(yè)可以根據(jù)實際數(shù)據(jù)管理邊界決定哪些數(shù)據(jù)庫需要進(jìn)入平臺。同時業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)庫結(jié)構(gòu)并不是長期不變的所以元數(shù)據(jù)采集任務(wù)還可以配置調(diào)度周期。例如每天固定時間執(zhí)行一次元數(shù)據(jù)采集。這樣平臺獲取的就不只是數(shù)據(jù)源第一次接入時的結(jié)構(gòu)而能夠持續(xù)同步源端最新的元數(shù)據(jù)狀態(tài)。對于非結(jié)構(gòu)化數(shù)據(jù)文件系統(tǒng)和對象存儲中的文件也可以通過對應(yīng)的數(shù)據(jù)連接將相關(guān)文件信息采集至元數(shù)據(jù)平臺。整個采集過程可以概括為確定數(shù)據(jù)來源 → 確定采集范圍 → 設(shè)置采集周期 → 執(zhí)行采集任務(wù)其中采集任務(wù)定義的是“去哪里采、采什么、什么時候采”而每一次真實執(zhí)行則會產(chǎn)生對應(yīng)的采集實例。這個區(qū)別對于后續(xù)運(yùn)行管理非常重要。三、采集任務(wù)執(zhí)行完以后先看“這次有沒有采成功”創(chuàng)建采集任務(wù)并不代表元數(shù)據(jù)已經(jīng)成功進(jìn)入平臺。每次任務(wù)真正執(zhí)行后都可以通過采集實例查看這一次具體的運(yùn)行結(jié)果。采集實例會記錄本次采集是否成功數(shù)據(jù)來自哪里采集耗時采集數(shù)量開始時間結(jié)束時間對應(yīng)采集日志。它首先解決的是一個運(yùn)行層問題“這一次到底有沒有采成功實際采到了多少”對于周期性運(yùn)行的元數(shù)據(jù)采集任務(wù)而言這一步也為后續(xù)異常排查提供了基本依據(jù)。四、采集成功以后元數(shù)據(jù)進(jìn)入“最新元數(shù)據(jù)”當(dāng)一次采集成功后真正獲取到的數(shù)據(jù)結(jié)構(gòu)信息會進(jìn)入 qData數(shù)據(jù)中臺 的最新元數(shù)據(jù)中。對于數(shù)據(jù)庫類型的數(shù)據(jù)可以按照來源系統(tǒng)、數(shù)據(jù)庫等層級查看當(dāng)前已經(jīng)采集的數(shù)據(jù)表。列表中能夠進(jìn)一步看到表名稱、表注釋、所屬庫、采集來源、當(dāng)前狀態(tài)等。進(jìn)入具體表詳情后還可以繼續(xù)查看字段級信息包括字段名稱字段注釋數(shù)據(jù)類型字段長度字段精度小數(shù)位是否必填是否主鍵是否外鍵等。到這里數(shù)據(jù)連接與元數(shù)據(jù)采集之間的區(qū)別就更加直觀。連接之前平臺不知道這個數(shù)據(jù)源建立數(shù)據(jù)連接后平臺知道“這里有一個數(shù)據(jù)庫我能夠訪問它?！痹獢?shù)據(jù)采集完成以后平臺則進(jìn)一步知道數(shù)據(jù)庫里面有哪些表、每張表有哪些字段、字段是什么類型以及當(dāng)前結(jié)構(gòu)是什么。文件元數(shù)據(jù)同樣進(jìn)入統(tǒng)一管理文件類數(shù)據(jù)采用類似邏輯。完成采集后可以在**最新元數(shù)據(jù)文件**中查看已經(jīng)識別到的文件名稱、文件類型、物理存儲信息、來源信息以及修改時間等。進(jìn)入文件詳情后還能夠進(jìn)一步查看對應(yīng)數(shù)據(jù)連接、文件路徑、文件大小、來源系統(tǒng)以及相關(guān)責(zé)任信息。這樣原本分散在不同數(shù)據(jù)庫、文件系統(tǒng)和對象存儲中的表、字段和文件信息就能夠統(tǒng)一沉淀到元數(shù)據(jù)平臺中。五、源系統(tǒng)一直在變化元數(shù)據(jù)如何保持同步如果元數(shù)據(jù)只采集一次它能夠反映的只是某一個時間點(diǎn)的數(shù)據(jù)結(jié)構(gòu)。但企業(yè)業(yè)務(wù)系統(tǒng)實際上一直在變化。例如一次系統(tǒng)升級之后可能出現(xiàn)新增字段刪除字段修改原有字段。這意味著元數(shù)據(jù)管理不能只回答“現(xiàn)在是什么結(jié)構(gòu)”還需要進(jìn)一步回答“它和以前相比發(fā)生了什么變化”qData 通過周期性元數(shù)據(jù)采集持續(xù)獲取源端最新結(jié)構(gòu)同時保留相應(yīng)的元數(shù)據(jù)版本。從最新結(jié)構(gòu)繼續(xù)看到“版本與變更”在表的版本與變更中可以查看不同元數(shù)據(jù)版本以及每一次版本對應(yīng)的變化情況。例如某個版本新增了一個字段另一個版本刪除了一個字段。這些變化都會通過版本記錄保留下來。如果需要進(jìn)一步判斷兩個版本之間究竟有哪些具體差異還可以通過元數(shù)據(jù)對比。選擇基準(zhǔn)版本 對比版本進(jìn)行比較。這樣元數(shù)據(jù)管理回答的問題就從“現(xiàn)在有什么”擴(kuò)展為“以前是什么樣現(xiàn)在又變成了什么樣”對于數(shù)據(jù)平臺長期治理而言這比單純展示當(dāng)前表結(jié)構(gòu)更有價值因為很多數(shù)據(jù)問題本身就來自上游結(jié)構(gòu)變化。六、確認(rèn)后的元數(shù)據(jù)可以進(jìn)一步“定版”對于經(jīng)過確認(rèn)、希望相對穩(wěn)定保留的元數(shù)據(jù)版本qData 還可以進(jìn)一步形成定版元數(shù)據(jù)。定版之后仍然可以查看對應(yīng)的表結(jié)構(gòu)和字段信息。這里需要特別區(qū)分一個概念定版元數(shù)據(jù)并不等于把元數(shù)據(jù)自動轉(zhuǎn)換成數(shù)據(jù)標(biāo)準(zhǔn)。它更接近于將某個已經(jīng)采集、確認(rèn)過的元數(shù)據(jù)版本固定下來作為后續(xù)統(tǒng)一查看、管理和使用的相對穩(wěn)定基礎(chǔ)。因此從一次元數(shù)據(jù)采集到長期管理實際上形成了一條持續(xù)演進(jìn)鏈路采集 → 更新 → 版本記錄 → 變化對比 → 定版確認(rèn)這也說明企業(yè)元數(shù)據(jù)管理并不應(yīng)該只是“一次摸底”而需要隨著源系統(tǒng)變化持續(xù)更新。七、采完元數(shù)據(jù)以后還能繼續(xù)做什么如果元數(shù)據(jù)采集最后只是停留在“查看表和字段”它的價值仍然比較有限。當(dāng)平臺已經(jīng)知道企業(yè)有哪些數(shù)據(jù)以及這些數(shù)據(jù)是什么結(jié)構(gòu)之后下一步就可以繼續(xù)進(jìn)入數(shù)據(jù)資產(chǎn)建設(shè)。在 qData 數(shù)據(jù)資產(chǎn)模塊中可以從已經(jīng)采集的元數(shù)據(jù)里選擇數(shù)據(jù)庫表將相應(yīng)的數(shù)據(jù)表進(jìn)一步注冊為數(shù)據(jù)資產(chǎn)。注冊過程中可以直接選擇現(xiàn)有元數(shù)據(jù)同時繼續(xù)補(bǔ)充資產(chǎn)名稱表類型數(shù)倉分層業(yè)務(wù)分類數(shù)據(jù)分域所屬主題表命名規(guī)范資產(chǎn)描述等信息。這里實際上體現(xiàn)了元數(shù)據(jù)與數(shù)據(jù)資產(chǎn)之間的區(qū)別和聯(lián)系。元數(shù)據(jù)回答“技術(shù)上有什么”數(shù)據(jù)資產(chǎn)回答“業(yè)務(wù)上是什么”元數(shù)據(jù)首先回答的是“技術(shù)上有什么數(shù)據(jù)”例如這張表叫什么來自哪個數(shù)據(jù)庫有哪些字段結(jié)構(gòu)是什么但進(jìn)入數(shù)據(jù)資產(chǎn)管理之后還需要進(jìn)一步回答“這份數(shù)據(jù)在企業(yè)里面到底是什么”例如屬于哪個業(yè)務(wù)屬于哪個數(shù)據(jù)域位于什么數(shù)倉層級應(yīng)該如何分類由誰進(jìn)行管理因此可以把整個過程理解為數(shù)據(jù)連接 → 元數(shù)據(jù)采集 → 元數(shù)據(jù)管理 → 元數(shù)據(jù)確認(rèn) → 數(shù)據(jù)資產(chǎn)注冊元數(shù)據(jù)采集先把數(shù)據(jù)的技術(shù)結(jié)構(gòu)識別出來之后再繼續(xù)補(bǔ)充業(yè)務(wù)屬性和管理屬性逐步將原本散落在各業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)納入統(tǒng)一的數(shù)據(jù)資產(chǎn)管理體系。這也是為什么企業(yè)數(shù)據(jù)資產(chǎn)建設(shè)通常不能繞開元數(shù)據(jù)。因為在討論“哪些數(shù)據(jù)值得作為資產(chǎn)管理”之前首先要知道企業(yè)到底有哪些數(shù)據(jù)?；仡^看一條元數(shù)據(jù)管理鏈路到底經(jīng)歷了什么把前面的過程重新串起來可以得到一條比較完整的 qData 元數(shù)據(jù)管理鏈路① 建立數(shù)據(jù)連接讓平臺能夠訪問數(shù)據(jù)庫、文件系統(tǒng)或?qū)ο蟠鎯Α＂?創(chuàng)建元數(shù)據(jù)采集任務(wù)確定來源系統(tǒng)、數(shù)據(jù)連接、采集范圍以及調(diào)度周期。③ 執(zhí)行采集通過采集實例確認(rèn)執(zhí)行結(jié)果、采集數(shù)量、耗時以及日志。④ 進(jìn)入最新元數(shù)據(jù)查看當(dāng)前數(shù)據(jù)表、字段或文件的最新結(jié)構(gòu)信息。⑤ 周期持續(xù)采集隨著源系統(tǒng)變化持續(xù)獲取最新結(jié)構(gòu)。⑥ 版本與變更記錄新增字段、刪除字段以及不同版本的結(jié)構(gòu)變化。⑦ 元數(shù)據(jù)對比比較兩個版本之間的具體差異。⑧ 定版元數(shù)據(jù)將經(jīng)過確認(rèn)的元數(shù)據(jù)版本進(jìn)一步固定和沉淀。⑨ 數(shù)據(jù)資產(chǎn)注冊從已有元數(shù)據(jù)中選擇數(shù)據(jù)表并補(bǔ)充業(yè)務(wù)分類、數(shù)據(jù)分域、數(shù)倉分層等資產(chǎn)屬性。這樣一來元數(shù)據(jù)采集就不再是一個孤立的技術(shù)動作而成為從數(shù)據(jù)發(fā)現(xiàn)到資產(chǎn)建設(shè)之間的一項基礎(chǔ)能力?？偨Y(jié)從完整流程來看元數(shù)據(jù)采集并不是簡單獲取數(shù)據(jù)庫中的表數(shù)量和字段數(shù)量而是數(shù)據(jù)治理過程中用于識別數(shù)據(jù)結(jié)構(gòu)、維護(hù)當(dāng)前狀態(tài)和跟蹤結(jié)構(gòu)變化的一項基礎(chǔ)工作。在 qData 中這條流程可以概括為數(shù)據(jù)連接 → 元數(shù)據(jù)采集 → 最新元數(shù)據(jù) → 周期更新 → 版本與變更 → 元數(shù)據(jù)對比 → 定版元數(shù)據(jù) → 數(shù)據(jù)資產(chǎn)注冊其中數(shù)據(jù)連接負(fù)責(zé)建立訪問通道元數(shù)據(jù)采集負(fù)責(zé)獲取表、字段、文件等數(shù)據(jù)對象的技術(shù)信息周期采集和版本管理則用于持續(xù)記錄源端結(jié)構(gòu)變化。當(dāng)這些技術(shù)元數(shù)據(jù)經(jīng)過確認(rèn)后還可以繼續(xù)補(bǔ)充業(yè)務(wù)分類、數(shù)據(jù)分域、數(shù)倉分層等屬性并注冊為數(shù)據(jù)資產(chǎn)。因此從技術(shù)實現(xiàn)和數(shù)據(jù)治理流程來看元數(shù)據(jù)采集主要解決三個問題第一當(dāng)前有哪些數(shù)據(jù)第二這些數(shù)據(jù)是什么結(jié)構(gòu)第三這些結(jié)構(gòu)后來發(fā)生了什么變化。只有先建立相對完整、可持續(xù)更新的元數(shù)據(jù)基礎(chǔ)后續(xù)的數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)血緣以及其他治理工作才有比較明確的數(shù)據(jù)對象作為管理基礎(chǔ)。