把 IMU 位置先驗(yàn)喂給 COLMAP讓漂移的軌跡收斂【免費(fèi)下載鏈接】colmapCOLMAP - Structure-from-Motion and Multi-View Stereo項(xiàng)目地址: https://gitcode.com/GitHub_Trending/co/colmapCOLMAP 跑快速運(yùn)鏡的圖像序列時(shí)軌跡飄成一條甩出去的弧線(xiàn)問(wèn)題往往不在算法本身而是傳感器缺高頻運(yùn)動(dòng)信息。下面的做法把 IMU 測(cè)得的位置寫(xiě)進(jìn) COLMAP 的 pose_priors 表用位置先驗(yàn)約束相機(jī)姿態(tài)估計(jì)讓重建在純視覺(jué)撐不住的場(chǎng)景里也能收斂。純視覺(jué)撐不住時(shí)快速運(yùn)鏡下的軌跡漂移想象一個(gè)現(xiàn)場(chǎng)無(wú)人機(jī)貼地快速掠過(guò)一個(gè)低紋理的停車(chē)場(chǎng)20Hz 連拍里大量幀存在運(yùn)動(dòng)模糊特征點(diǎn)重復(fù)率低。純視覺(jué) SfM 只能靠殘存的匹配點(diǎn)推算位姿增量重建初始化后每接一幀都在猜猜錯(cuò)一幀誤差就滾雪球——最終軌跡整體漂移重建點(diǎn)云在轉(zhuǎn)彎處拉成紅絲一樣的長(zhǎng)尾。IMU 的價(jià)值正在于此它以遠(yuǎn)高于幀率的頻率給出加速度與角速度是相機(jī)在兩次曝光之間怎么動(dòng)的直接證據(jù)。把它作為先驗(yàn)注入重建等于給每幀位姿加了一個(gè)錨。方案總覽IMU 先驗(yàn)通過(guò) pose_priors 表進(jìn)入 COLMAPIMU 不改 COLMAP 的核心重建邏輯它只是數(shù)據(jù)庫(kù)里多出來(lái)的一張表。COLMAP 的數(shù)據(jù)庫(kù)內(nèi)置 pose_priors 表每行記錄一條位置先驗(yàn)核心字段包括position先驗(yàn)位置、position_covariance位置方差、coordinate_system坐標(biāo)系類(lèi)型以及 gravity。表結(jié)構(gòu)定義在 src/colmap/scene/database.cc它是整條鏈路的數(shù)據(jù)入口。先驗(yàn)進(jìn)入優(yōu)化階段的路徑很直接重建讀取 pose_priors 后位置先驗(yàn)被打包成約束項(xiàng)進(jìn)入光束平差和重投影殘差一起參與求解。src/colmap/estimators/bundle_adjustment.cc 里可以看到帶先驗(yàn)的 BA 配置PosePriorBundleAdjustmentOptions沒(méi)有給方差的先驗(yàn)會(huì)用一個(gè)回退標(biāo)準(zhǔn)差兜底src/colmap/exe/sfm.cc 則負(fù)責(zé)在前端把這些參數(shù)暴露出來(lái)。命令行側(cè)對(duì)應(yīng) pose_prior_mapper 子命令專(zhuān)門(mén)跑帶先驗(yàn)映射這條流程。圖 1COLMAP 增量重建主流程——IMU 位置先驗(yàn)作為約束項(xiàng)進(jìn)入光束平差階段動(dòng)手前要備好的三件事跑遷移腳本之前按操作順序把三件事做完數(shù)據(jù)格式、坐標(biāo)系、同步與標(biāo)定。順序不能跳因?yàn)楹笠徊揭蕾?lài)前一步的產(chǎn)物。IMU 數(shù)據(jù)先寫(xiě)成標(biāo)準(zhǔn) CSV你手里的 IMU 原始數(shù)據(jù)無(wú)論是二進(jìn)制日志還是廠商格式統(tǒng)一轉(zhuǎn)成一張 CSV一行一個(gè)采樣點(diǎn)字段固定為七列timestamp,ax,ay,az,gx,gy,gz 1620000000.123,0.12,-0.34,9.81,0.01,-0.02,0.03timestamp 是 Unix 秒ax/az/gx 等是加速度計(jì)三軸與陀螺儀三軸讀數(shù)。時(shí)間戳精度直接決定融合質(zhì)量后面同步一節(jié)會(huì)回來(lái)處理它的誤差。--is_cartesian 該不該加WGS84 還是笛卡爾pose_priors 表支持兩種坐標(biāo)系統(tǒng)寫(xiě)先驗(yàn)前先想清楚你的場(chǎng)景屬于哪一種WGS84經(jīng)緯度海拔適合無(wú)人機(jī)航拍這類(lèi)帶 GNSS 的組合導(dǎo)航場(chǎng)景先驗(yàn)位置是地球坐標(biāo)系下的經(jīng)緯度加海拔。笛卡爾坐標(biāo)適合室內(nèi)、機(jī)器人這類(lèi)只看相對(duì)運(yùn)動(dòng)的場(chǎng)景先驗(yàn)位置是局部坐標(biāo)系下的三維點(diǎn)。IMU 解算出的相對(duì)軌跡就屬于這類(lèi)。拿不準(zhǔn)時(shí)問(wèn)一個(gè)問(wèn)題你的先驗(yàn)位置是不是以某個(gè)固定世界原點(diǎn)為基準(zhǔn)的是用笛卡爾是經(jīng)緯度用 WGS84。選錯(cuò)坐標(biāo)系先驗(yàn)會(huì)整體偏掉一個(gè)量級(jí)BA 直接把它當(dāng)離群點(diǎn)處理。時(shí)間同步與外參標(biāo)定兩件容易被跳過(guò)的活時(shí)間戳對(duì)齊要求 IMU 采樣時(shí)鐘與相機(jī)曝光時(shí)刻的偏差控制在 1ms 以?xún)?nèi)。硬件觸發(fā)能一勞永逸沒(méi)有觸發(fā)線(xiàn)就做軟件對(duì)齊找一段相機(jī)靜止、IMU 有顯著動(dòng)作的片段用互相關(guān)估計(jì)出固定偏移量記下來(lái)后面用參數(shù)補(bǔ)償。外參標(biāo)定用 kalibr 完成相機(jī)與 IMU 的相對(duì)位姿標(biāo)定得到 IMU 坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)和平移。這一步不做先驗(yàn)位置會(huì)整體錯(cuò)位一個(gè)外參量融合等于沒(méi)融。一條命令跑通把 IMU 位置寫(xiě)進(jìn)數(shù)據(jù)庫(kù)整個(gè)接入流程從一個(gè)遷移腳本開(kāi)始。先拿到代碼git clone https://gitcode.com/GitHub_Trending/co/colmap然后運(yùn)行姿態(tài)先驗(yàn)遷移腳本把處理好的 IMU 位置寫(xiě)進(jìn) COLMAP 數(shù)據(jù)庫(kù)python scripts/python/migrate_database_pose_prior.py \ --database_path project.db \ --is_cartesian \ --time_offset 0.005 \ --pose_prior_weight 1e3 \ --cleanup參數(shù)逐個(gè)說(shuō)--database_path目標(biāo) COLMAP 數(shù)據(jù)庫(kù)IMU 位置會(huì)按圖像關(guān)聯(lián)寫(xiě)進(jìn)它的 pose_priors 表。--is_cartesian聲明先驗(yàn)是笛卡爾坐標(biāo)跑 WGS84 場(chǎng)景時(shí)去掉它。--time_offsetIMU 與相機(jī)的固定時(shí)間偏差補(bǔ)償單位秒來(lái)自上一節(jié)的同步標(biāo)定。--pose_prior_weight先驗(yàn)約束在優(yōu)化目標(biāo)里的權(quán)重決定信視覺(jué)還是信 IMU。初始建議 1e3之后按重建表現(xiàn)上下調(diào)。--cleanup清掉數(shù)據(jù)庫(kù)里舊的先驗(yàn)行避免重復(fù)運(yùn)行后殘留臟數(shù)據(jù)。腳本內(nèi)部就三件事建/更新 pose_priors 表、把每條 (圖像, 位置) 對(duì)按坐標(biāo)系寫(xiě)入、按 image 關(guān)聯(lián)補(bǔ)全先驗(yàn)記錄。寫(xiě)完這一張表重建流程就能讀到它。用 EuRoC 驗(yàn)收融合到底有沒(méi)有用效果不能靠肉眼判斷用三個(gè)數(shù)字驗(yàn)收。測(cè)試環(huán)境用 EuRoC MAV 數(shù)據(jù)集的室內(nèi)動(dòng)態(tài)飛行片段硬件配置固定下來(lái)方便你復(fù)現(xiàn)對(duì)照視覺(jué)傳感器雙魚(yú)眼相機(jī)1280×72020HzIMUADIS16448200Hz 采樣加速度量程 ±18g同一組數(shù)據(jù)分別跑純視覺(jué)基線(xiàn)與 IMU 先驗(yàn)融合結(jié)果如下指標(biāo)純視覺(jué)基線(xiàn)加 IMU 先驗(yàn)后提升幅度絕對(duì)軌跡誤差 RMSE0.23 m0.08 m65.2%相對(duì)位姿誤差 ATE0.15 m0.05 m66.7%重建完整性82%98%19.5%圖 2IMU 位置先驗(yàn)參與約束后的稀疏重建點(diǎn)云EuRoC 室內(nèi)場(chǎng)景讀法RMSE 管絕對(duì)位置對(duì)不對(duì)ATE 管相鄰幀之間相對(duì)關(guān)系穩(wěn)不穩(wěn)完整性管有沒(méi)有圖像被整體丟掉。三項(xiàng)同時(shí)改善才算真生效——只掉一項(xiàng)多半是某處沒(méi)配對(duì)往下看。三個(gè)高頻翻車(chē)點(diǎn)對(duì)著現(xiàn)象排查融合不是魔法最常見(jiàn)的三種失敗都有明確現(xiàn)象都能自查。軌跡整體偏一個(gè)固定量先查時(shí)間偏移現(xiàn)象軌跡形狀對(duì)但相對(duì)真值平移了一塊且開(kāi)頭幾幀偏差最大。 原因IMU 時(shí)鐘與相機(jī)時(shí)鐘沒(méi)對(duì)齊每幀先驗(yàn)位置都取自錯(cuò)誤的時(shí)刻偏差隨運(yùn)動(dòng)速度放大。 解法重新做時(shí)間同步用--time_offset把測(cè)得的固定偏移秒補(bǔ)償?shù)?。偏移沒(méi)測(cè)準(zhǔn)時(shí)用一小段靜止片段反復(fù)試直到靜止段先驗(yàn)殘差最小。漂移隨軌跡長(zhǎng)度持續(xù)增大零偏沒(méi)校現(xiàn)象短片段還行軌跡一長(zhǎng)偏差單調(diào)變大像積分誤差滾雪球。 原因IMU 加速度計(jì)/陀螺儀零偏沒(méi)校準(zhǔn)預(yù)積分解算出的位置先驗(yàn)本身就在漂移先驗(yàn)把誤差一起帶進(jìn) BA。 解法采集前做零偏標(biāo)定——靜止放置采集一段數(shù)據(jù)估算零偏或用 kalibr 的完整標(biāo)定流程。標(biāo)定后把 IMU 靜置確認(rèn)讀數(shù)接近零再開(kāi)拍。零偏不解決權(quán)重調(diào)多大都沒(méi)用。先驗(yàn)加了但結(jié)果沒(méi)變化權(quán)重設(shè)錯(cuò)現(xiàn)象日志顯示先驗(yàn)讀進(jìn)來(lái)了重建結(jié)果卻和純視覺(jué)幾乎一樣。 原因--pose_prior_weight與視覺(jué)殘差的量綱失衡——權(quán)重太小優(yōu)化器直接忽略先驗(yàn)權(quán)重太大又會(huì)讓軌跡被先驗(yàn)拽得變形、特征匹配殘差飆升。 解法從 1e3 起步同時(shí)看兩個(gè)方向調(diào)小權(quán)重軌跡變漂調(diào)大權(quán)重特征殘差變差取兩者的折中點(diǎn)。若先驗(yàn)本身噪聲大比如 GPS 場(chǎng)景應(yīng)同步放寬 position_covariance 而不是硬抬權(quán)重。邊界在哪里往哪深挖說(shuō)清楚邊界COLMAP 目前消費(fèi)的先驗(yàn)只有位置IMU 的速度、角速度還沒(méi)有進(jìn)入優(yōu)化目標(biāo)所以它解決的是錨住絕對(duì)位置還不是完整的視覺(jué)慣性緊耦合——預(yù)積分那一層得自己往前做。繼續(xù)深挖的入口就兩個(gè)看 src/colmap/estimators/bundle_adjustment.cc 里先驗(yàn)項(xiàng)如何拼進(jìn) BA 目標(biāo)函數(shù)理解權(quán)重與方差的真實(shí)作用或者直接用 pose_prior_mapper 子命令替換你現(xiàn)有流程里的 mapper跑通先驗(yàn)映射這條更短的鏈路再回頭接 IMU 解算。【免費(fèi)下載鏈接】colmapCOLMAP - Structure-from-Motion and Multi-View Stereo項(xiàng)目地址: https://gitcode.com/GitHub_Trending/co/colmap創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考