日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制 先把話說在前面如果你只是裸機(jī)單任務(wù)跑 picolibc這文章你看了會(huì)打瞌睡但只要你把程序搬到 RTOS 上兩個(gè)任務(wù)同時(shí)開始 printf 和 malloc你很快就能體會(huì)到 locking support 到底在解決什么。picolibc 的 locking support說人話就是給 C 標(biāo)準(zhǔn)庫內(nèi)部的共享資源堆、標(biāo)準(zhǔn) I/O、errno 等補(bǔ)上“多線程安全”的鎖機(jī)制。它解決的是嵌入式領(lǐng)域里最隱蔽也最致命的一類 bug不崩潰、不亂碼、但時(shí)不時(shí)出現(xiàn)內(nèi)存被踩、任務(wù)卡死、錯(cuò)誤碼莫名變化。這篇文章適合正在用 picolibc FreeRTOS、RT-Thread、Zephyr 或者自研 RTOS 的開發(fā)者尤其是從裸機(jī)剛轉(zhuǎn)過來、還沒意識到 libc 線程安全是個(gè)問題的朋友。我要講的不是“怎么開一個(gè)配置宏”這么簡單而是把 picolibc 鎖支持的前因后果、底層函數(shù)設(shè)計(jì)、移植實(shí)現(xiàn)以及我踩過的大大小小的坑一次性講透。1. 為什么嵌入式 C 庫需要鎖支持1.1 裸機(jī)時(shí)代的“單線程假設(shè)”C 標(biāo)準(zhǔn)庫誕生的時(shí)候根本沒人考慮多線程。標(biāo)準(zhǔn)庫內(nèi)部大量使用全局狀態(tài)strtok 用靜態(tài)指針保存剩余字符串rand 用全局種子errno 是全局變量malloc 的堆管理結(jié)構(gòu)也是全局鏈表。這些設(shè)計(jì)在單任務(wù)裸機(jī)下沒有任何問題因?yàn)槟阒挥幸粋€(gè)執(zhí)行流所有資源天然“同步”??梢坏┥狭?RTOS多個(gè)任務(wù)分時(shí)復(fù)用 CPU這幾個(gè)全局狀態(tài)就成了最危險(xiǎn)的共享資源。很多剛接觸 RTOS 的開發(fā)者會(huì)有一種錯(cuò)覺只要我不在中斷里調(diào)用 printf多個(gè)任務(wù)各調(diào)各的 printf 就沒事。真不是這樣。picolibc 的 stdio 內(nèi)部有緩沖區(qū)兩個(gè)任務(wù)同時(shí)寫 stdout 時(shí)先寫一半再被調(diào)度走另一個(gè)任務(wù)接著寫最終輸出就是亂碼。更嚴(yán)重的是 malloc堆管理鏈表被兩個(gè)任務(wù)同時(shí)操作輕則內(nèi)存分配異常重則堆結(jié)構(gòu)被破壞直接硬件異常。picolibc 作為面向嵌入式場景的 libc 替代品設(shè)計(jì)上保留了 C 標(biāo)準(zhǔn)庫的可移植性同時(shí)也保留了標(biāo)準(zhǔn)庫的“單線程假設(shè)”。所以它才需要 locking support 來彌補(bǔ)這個(gè)缺陷。鎖支持并不是 picolibc 獨(dú)有的概念newlib、musl、glibc 都有類似機(jī)制只是嵌入式場景里資源受限實(shí)現(xiàn)方式更加精簡。1.2 多線程下的三個(gè)典型事故現(xiàn)場我自己踩過一次特別經(jīng)典的坑。有一個(gè)跑在 STM32F4 上的 FreeRTOS 項(xiàng)目四個(gè)任務(wù)分別采集傳感器、刷 OLED、處理串口命令、上報(bào)日志。一開始裸機(jī)單任務(wù)跑得好好的上了 FreeRTOS 之后每隔幾分鐘 OLED 顯示就花一次串口日志偶爾出現(xiàn)一行被截?cái)嗟膩y碼。當(dāng)時(shí)第一反應(yīng)是驅(qū)動(dòng)問題調(diào)了 SPI 時(shí)序加了 DMA 超時(shí)重試折騰了兩天最后才發(fā)現(xiàn)根因是 printf 在多個(gè)任務(wù)間競爭 stdout 緩沖區(qū)。第二個(gè)事故現(xiàn)場是 malloc。系統(tǒng)跑了幾小時(shí)后隨機(jī)會(huì)進(jìn)入 HardFault看調(diào)用棧發(fā)現(xiàn)是 free 函數(shù)里面崩了。追查發(fā)現(xiàn)兩個(gè)任務(wù)都在做動(dòng)態(tài)內(nèi)存申請釋放其中一個(gè)任務(wù)在 free 的瞬間被高優(yōu)先級任務(wù)搶占新任務(wù)也調(diào)了 free堆鏈表就被改壞了。這類錯(cuò)誤在嵌入式里特別難查因?yàn)樗驼{(diào)度時(shí)序強(qiáng)相關(guān)不是每次都能復(fù)現(xiàn)等抓到現(xiàn)場往往已經(jīng)晚了。第三個(gè)是 errno 污染。我在一個(gè)文件系統(tǒng)相關(guān)任務(wù)里調(diào)用底層接口失敗后打印 errno結(jié)果打出來的錯(cuò)誤碼是另一個(gè)任務(wù)的。原因很簡單兩個(gè)任務(wù)共享同一個(gè) errno 全局變量后寫的人把先寫的人的值覆蓋了。排查這種問題極費(fèi)時(shí)間因?yàn)殄e(cuò)誤碼本身沒有規(guī)律只有加鎖或者改成 TLS 才能根治。1.3 picolibc 的兩種線程模型picolibc 處理線程安全和我之前用過的 newlib 不太一樣它支持兩套模型。老模型是struct _reent每個(gè)線程維護(hù)一份獨(dú)立的 errno、緩沖區(qū)狀態(tài)通過線程局部數(shù)據(jù)指針找到自己的 reent 結(jié)構(gòu)新模型則是直接使用 TLS線程局部存儲(chǔ)編譯器會(huì)為每個(gè)線程分配獨(dú)立的 errno 副本不存在共享問題。老模型最大的問題是代碼復(fù)雜每個(gè)函數(shù)都要先取 reent 指針再訪問內(nèi)部字段函數(shù)體積和調(diào)用路徑都變長。TLS 模型則簡潔得多尤其是在 ARM Cortex-M 這類硬件上picolibc 對 TLS 做了專門的編譯期支持加載 TLS 基址的指令開銷很小。理解了這一點(diǎn)你就能明白鎖支持的邊界errno 這類“每個(gè)線程各有一份”的東西TLS 能解決但 malloc 的堆、printf 的 stdout 緩沖區(qū)這類“物理上只有一份”的資源TLS 解決不了必須靠鎖。這也解釋了為什么很多嵌入式工程師以為開了編譯器 TLS 選項(xiàng)就萬事大吉結(jié)果 malloc 還是崩——因?yàn)閮蓚€(gè)問題的本質(zhì)不一樣。2. picolibc 鎖支持的底層設(shè)計(jì)拆解2.1 鎖函數(shù)家族__lock_init 到 __lock_releasepicolibc 的鎖支持其實(shí)是一組很精簡的函數(shù)接口定義在sys/lock.h里。我在實(shí)際使用中把這組函數(shù)分成三類生命周期管理、普通鎖操作、遞歸鎖操作。生命周期管理包括__lock_init和__lock_close前者在 libc 內(nèi)部初始化某個(gè)全局資源時(shí)被調(diào)用后者在資源銷毀時(shí)調(diào)用。普通鎖操作是__lock_acquire和__lock_release分別對應(yīng)“上鎖”和“解鎖”。遞歸鎖操作則是__lock_acquire_recursive和__lock_release_recursive對應(yīng)支持遞歸持有的鎖。為什么會(huì)需要遞歸鎖考慮 malloc 的實(shí)現(xiàn)堆分配器在拿到鎖之后如果分配失敗可能觸發(fā)系統(tǒng)調(diào)用系統(tǒng)調(diào)用內(nèi)部為了記賬又要訪問同一個(gè)堆控制塊這就是典型的“同一線程重復(fù)獲取同一把鎖”的場景。如果鎖不支持遞歸第二次獲取就會(huì)死鎖。還有一個(gè)__lock_try_acquire非阻塞嘗試獲取鎖用于一些不想被阻塞的路徑。嵌入式環(huán)境里這個(gè)函數(shù)使用率不高但移植時(shí)最好一并實(shí)現(xiàn)因?yàn)?picolibc 內(nèi)部某些代碼路徑會(huì)在條件編譯下引用它。函數(shù)原型作用注意事項(xiàng)void __lock_init(_LOCK_T *lock)初始化鎖在 libc 內(nèi)部資源首次使用時(shí)調(diào)用void __lock_close(_LOCK_T *lock)銷毀鎖釋放底層互斥量句柄void __lock_acquire(_LOCK_T *lock)獲取鎖阻塞式等不到就一直等void __lock_release(_LOCK_T *lock)釋放鎖必須與 acquire 成對int __lock_try_acquire(_LOCK_T *lock)嘗試獲取鎖返回 0 表示成功void __lock_acquire_recursive(_LOCK_T *lock)遞歸獲取鎖同一線程可重復(fù)獲取void __lock_release_recursive(_LOCK_T *lock)遞歸釋放鎖需要配對 count2.2 弱符號機(jī)制你的覆蓋點(diǎn)在哪里我最開始接觸 picolibc 鎖支持時(shí)有個(gè)困惑這些函數(shù)到底是誰實(shí)現(xiàn)的后來看鏈接 map 文件才搞明白picolibc 在構(gòu)建時(shí)把這些鎖函數(shù)默認(rèn)編譯成了弱符號weak symbol。也就是說如果你在工程里沒有定義自己的__lock_acquire鏈接器就會(huì)使用 picolibc 自帶的弱引用空實(shí)現(xiàn)直接返回不上鎖。一旦你在某個(gè) C 文件里定義了同名的強(qiáng)符號鏈接器的符號解析規(guī)則會(huì)優(yōu)先選擇強(qiáng)符號你的實(shí)現(xiàn)就會(huì)“無縫接管”libc 內(nèi)部的鎖調(diào)用。這個(gè)設(shè)計(jì)非常巧妙。它意味著你不需要重新編譯 picolibc不需要修改庫源碼只要在應(yīng)用層提供一個(gè)適配文件就能把鎖的底層實(shí)現(xiàn)完全替換成目標(biāo) RTOS 的互斥量。對于裸機(jī)工程弱符號默認(rèn)空實(shí)現(xiàn)也不會(huì)帶來任何代碼膨脹零開銷。但這里有個(gè)坑弱符號的優(yōu)先級只比“未定義”高。如果你在多個(gè)源文件里都定義了強(qiáng)符號__lock_acquire鏈接器直接報(bào)多重定義錯(cuò)誤。另外picolibc 版本升級后鎖函數(shù)簽名如果有變動(dòng)你的移植層代碼沒有跟著改鏈接時(shí)不會(huì)報(bào)錯(cuò)但運(yùn)行時(shí)會(huì)因?yàn)榻Y(jié)構(gòu)體大小不匹配產(chǎn)生內(nèi)存越界。我建議在移植文件里加上編譯期_Static_assert至少把結(jié)構(gòu)體大小校驗(yàn)住。2.3 構(gòu)建開關(guān)newlib-multithread 與相關(guān)選項(xiàng)雖然弱符號機(jī)制讓你可以在應(yīng)用層覆蓋鎖實(shí)現(xiàn)但前提是 picolibc 庫本身編譯時(shí)啟用了鎖相關(guān)代碼路徑。picolibc 使用 meson 作為構(gòu)建系統(tǒng)其中有一個(gè)關(guān)鍵配置項(xiàng)叫newlib-multithread。這個(gè)選項(xiàng)默認(rèn)關(guān)閉關(guān)閉狀態(tài)下picolibc 內(nèi)部的 malloc、stdio 代碼根本不會(huì)調(diào)用__lock_acquire你在應(yīng)用層實(shí)現(xiàn)了鎖函數(shù)也無濟(jì)于事。啟用方式是在 picolibc 源碼目錄下執(zhí)行 meson 配置時(shí)傳參meson setup build --cross-file cross-arm-none-eabi.txt -Dnewlib-multithreadtrue ninja -C buildcross-arm-none-eabi.txt是你自己的交叉編譯工具鏈描述文件名字按實(shí)際工程來。啟用后構(gòu)建系統(tǒng)會(huì)定義_HAVE_LOCK宏libc 內(nèi)部的多線程安全代碼路徑才會(huì)被編譯進(jìn)去。和鎖支持經(jīng)常一起提的還有兩個(gè)選項(xiàng)newlib-tls和newlib-global-errno。newlib-tls控制是否使用線程局部存儲(chǔ)模型建議開啟newlib-global-errno控制是否把所有線程的 errno 合并成一個(gè)全局變量這個(gè)強(qiáng)烈建議關(guān)閉否則 errno 又會(huì)退化成共享資源失去 TLS 的意義。我見過有人圖省事把 global-errno 打開結(jié)果兩個(gè)任務(wù)跑著跑著錯(cuò)誤碼互相污染排查半天。3. 實(shí)操在 FreeRTOS 上為 picolibc 實(shí)現(xiàn) locking support3.1 前置確認(rèn)你的 picolibc 是否啟用了鎖工程實(shí)踐里第一步不是寫代碼而是確認(rèn)你的 picolibc 是不是已經(jīng)編譯成帶鎖的版本。最笨也最可靠的方法是看編譯生成的 map 文件。搜索__lock_acquire如果出現(xiàn)的是 picolibc 庫內(nèi)部的弱符號說明鎖支持已經(jīng)啟用如果整個(gè)符號都沒出現(xiàn)說明newlib-multithread沒開或者庫內(nèi)部代碼路徑?jīng)]有引用鎖。還有一個(gè)快速判斷方法寫一個(gè)多任務(wù)壓測程序兩個(gè)任務(wù)各自循環(huán)malloc和free跑十分鐘。如果程序穩(wěn)定不崩說明鎖是生效的如果崩得快基本可以確定鎖沒啟用或者移植有問題。但這種方法有概率性不適合作為唯一判斷依據(jù)我建議以 map 文件為準(zhǔn)。另一個(gè)容易忽略的點(diǎn)如果你是自己編譯 picolibc需要確認(rèn) Thread Local Storage 相關(guān)的鏈接腳本和啟動(dòng)文件是否正確。TLS 需要鏈接器分配.tdata、.tbss段工具鏈和鏈接腳本缺一不可。用現(xiàn)成的 picolibc 發(fā)行版時(shí)一般沒問題但如果你是從源碼自定義構(gòu)建或者手工改了鏈接腳本就要留意這個(gè)。3.2 實(shí)現(xiàn) _lock* 函數(shù)一份可用的 FreeRTOS 移植代碼下面是我在 Cortex-M 平臺(tái)上驗(yàn)證過的 FreeRTOS 移植實(shí)現(xiàn)。核心思路是把 picolibc 的_LOCK_T類型直接映射成 FreeRTOS 的SemaphoreHandle_t鎖函數(shù)內(nèi)部操作 FreeRTOS 信號量。/* picolibc_lock_port.c */ #include sys/lock.h #include FreeRTOS.h #include semphr.h typedef SemaphoreHandle_t _LOCK_T; void __lock_init(_LOCK_T *lock) { *lock xSemaphoreCreateRecursiveMutex(); configASSERT(*lock ! NULL); } void __lock_close(_LOCK_T *lock) { if (*lock ! NULL) { vSemaphoreDelete(*lock); *lock NULL; } } void __lock_acquire(_LOCK_T *lock) { /* 遞歸互斥鎖防止 malloc/free 內(nèi)部遞歸路徑死鎖 */ xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); } int __lock_try_acquire(_LOCK_T *lock) { return (xSemaphoreTakeRecursive(*lock, 0) pdTRUE) ? 0 : 1; } void __lock_acquire_recursive(_LOCK_T *lock) { xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release_recursive(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); }這里用了遞歸互斥鎖而不是普通互斥鎖原因前面說了malloc 內(nèi)部存在同一線程重復(fù)獲取鎖的路徑。如果一個(gè)任務(wù)在持有鎖期間被更高優(yōu)先級任務(wù)搶占而高優(yōu)先級任務(wù)也調(diào)用了 lock 相關(guān)的 libc 函數(shù)非遞歸鎖會(huì)直接導(dǎo)致死鎖。遞歸互斥鎖雖然比非遞歸鎖慢一點(diǎn)點(diǎn)但在這個(gè)場景下是必需的安全設(shè)計(jì)。有一點(diǎn)要單獨(dú)提醒上面的typedef SemaphoreHandle_t _LOCK_T;是假設(shè)你的 picolibc 允許自定義_LOCK_T類型。實(shí)際工程中_LOCK_T的定義位置可能在 picolibc 提供的sys/lock.h里也可能被某些版本固定為結(jié)構(gòu)體類型。你需要先打開 picolibc 源碼里的sys/lock.h確認(rèn)一下。如果它已經(jīng)定義成類似struct _lock_t { void *handle; }的結(jié)構(gòu)體那代碼就要改成往lock-handle里塞句柄。核心邏輯不變變的是類型賦值方式。3.3 編譯鏈接與驗(yàn)證移植完成后把picolibc_lock_port.c加入工程重編整個(gè)固件。鏈接階段重點(diǎn)看有沒有重復(fù)定義錯(cuò)誤因?yàn)?picolibc 自帶的弱符號鎖函數(shù)如果沒被排除你的強(qiáng)符號會(huì)和它共存正常情況下弱符號會(huì)被忽略不會(huì)沖突。如果你同時(shí)引用了啟動(dòng)文件里的其它弱符號也不要慌鏈接器對弱符號的處理規(guī)則是“強(qiáng)符號優(yōu)先弱符號墊底”不會(huì)報(bào)錯(cuò)。驗(yàn)證程序我建議分成兩級。第一級是功能驗(yàn)證兩個(gè)任務(wù)一個(gè)瘋狂printf一個(gè)瘋狂malloc/free系統(tǒng)跑不崩輸出不亂碼初步判斷鎖生效。第二級是壓力驗(yàn)證把任務(wù)優(yōu)先級故意設(shè)置為相同的加滿調(diào)度抖動(dòng)讓臨界區(qū)競爭更激烈連續(xù)跑 24 小時(shí)以上觀察有沒有卡死或者硬件異常。這兩個(gè)驗(yàn)證通過移植物才算合格。我實(shí)際測試過這個(gè)移植層在 Cortex-M4 168MHz 上每次__lock_acquire/__lock_release的完整開銷大約 1 到 3 微秒。這個(gè)數(shù)字受 FreeRTOS 內(nèi)核配置影響如果開了configUSE_TRACE_FACILITY或者調(diào)試鉤子開銷會(huì)更高。對大部分外設(shè)交互類應(yīng)用來說這個(gè)成本可以接受。3.4 性能開銷與優(yōu)化方向如果壓測發(fā)現(xiàn)鎖開銷成為瓶頸有幾個(gè)優(yōu)化方向。第一個(gè)是縮小臨界區(qū)最容易做也最有效。picolibc 的鎖是加在 malloc 入口和 printf 出口的臨界區(qū)長度由內(nèi)部算法決定這個(gè)我們改不了但我們可以減少調(diào)用次數(shù)比如把分散的小 printf 拼接成一條大 printf把頻繁的單對象 malloc 改成批處理內(nèi)存池。第二個(gè)優(yōu)化方向是權(quán)衡是否真的需要全局鎖。比如你的系統(tǒng)里只有任務(wù) A 會(huì) malloc其他任務(wù)從來不碰堆那就完全可以把newlib-multithread關(guān)掉省掉鎖的開銷。Picolibc 的鎖是全局的它判斷不了“誰會(huì)用堆”只會(huì)無差別保護(hù)。如果你能確認(rèn)“只有一個(gè)任務(wù)觸碰共享資源”關(guān)閉鎖支持就是最徹底的優(yōu)化。第三個(gè)方向是研究configUSE_MUTEX_ATTRIBUTES和 FreeRTOS 的優(yōu)先級繼承。普通互斥鎖有優(yōu)先級反轉(zhuǎn)問題低優(yōu)先級任務(wù)持鎖高優(yōu)先級任務(wù)等鎖中優(yōu)先級任務(wù)搶占低優(yōu)先級任務(wù)導(dǎo)致高優(yōu)先級任務(wù)被間接卡住。FreeRTOS 的互斥鎖內(nèi)置優(yōu)先級繼承機(jī)制但遞歸互斥鎖的行為略有不同。在強(qiáng)實(shí)時(shí)場景下你需要評估鎖的持有時(shí)間盡量把持鎖操作縮短到微秒級別。4. 常見問題與排查技巧實(shí)錄4.1 問題速查表我整理了鎖支持移植和運(yùn)行中最常見的幾類問題做成速查表。這些問題分散在論壇和 issue 里我匯總成一張表方便你對照排查?,F(xiàn)象可能原因排查方法解決方案鏈接錯(cuò)誤undefined reference to__lock_acquirepicolibc 編譯時(shí)未啟鎖支持看構(gòu)建配置確認(rèn)newlib-multithread是否開啟重新編譯 picolibc開啟多線程鎖選項(xiàng)多重定義錯(cuò)誤多個(gè)強(qiáng)符號__lock_acquire移植文件被重復(fù)加入工程檢查編譯日志里的文件列表只保留一個(gè)移植源文件malloc 頻繁崩潰HardFault 在 free 函數(shù)鎖未生效堆鏈表競爭查 map 文件中鎖符號來源確認(rèn)庫版本帶鎖移植正確實(shí)現(xiàn)printf 輸出亂碼、截?cái)鄐tdout 緩沖競爭兩個(gè)任務(wù)同時(shí) printf 壓測實(shí)現(xiàn)鎖函數(shù)或任務(wù)內(nèi)串行化輸出系統(tǒng)跑一段時(shí)間后死鎖鎖實(shí)現(xiàn)用了非遞歸鎖在死鎖現(xiàn)場查看任務(wù)棧換成遞歸互斥鎖中斷里調(diào)用 printf 導(dǎo)致系統(tǒng)掛起鎖在中斷上下文阻塞檢查中斷是否調(diào)用了 libc 函數(shù)中斷里禁用帶鎖的 libc 調(diào)用4.2 死鎖排查從 printf 卡死到優(yōu)先級反轉(zhuǎn)有一次我們的設(shè)備在現(xiàn)場升級時(shí)死機(jī)了復(fù)位后抓取調(diào)試信息發(fā)現(xiàn)卡死在__lock_acquire里。當(dāng)時(shí)第一個(gè)反應(yīng)是鎖沒有釋放但用調(diào)試器把任務(wù)列表打出來發(fā)現(xiàn)占用鎖的任務(wù)處于阻塞狀態(tài)而且它阻塞的原因不是在等這把鎖而是在等一個(gè)串口發(fā)送信號量。這就觸發(fā)了典型的優(yōu)先級反轉(zhuǎn)嵌套死鎖任務(wù) A 持有 malloc 的鎖調(diào)用串口發(fā)送等待串口信號量任務(wù) B 在串口中斷服務(wù)里觸發(fā)了一個(gè)快速 malloc嘗試獲取 malloc 的鎖但拿不到而串口信號量恰恰需要任務(wù) B 釋放于是形成了 A 等 B、B 等鎖的循環(huán)。這個(gè)案例讓我意識到只實(shí)現(xiàn)鎖函數(shù)是不夠的還要確保鎖的持有路徑上不要再次等待其他任務(wù)持有的資源。排查死鎖的常規(guī)思路是記錄鎖的持有者和等待鏈。我在工程里加了一個(gè)簡單跟蹤每次__lock_acquire進(jìn)入時(shí)記錄當(dāng)前任務(wù)句柄和調(diào)用 PC放在一個(gè)環(huán)形緩沖區(qū)里每次__lock_release清掉記錄。死鎖發(fā)生后用調(diào)試器查看緩沖區(qū)直接看到誰在持鎖、誰在等鎖問題定位效率提升很多。這些小工具平時(shí)看著多余關(guān)鍵時(shí)刻能救命。4.3 性能陷阱鎖函數(shù)實(shí)現(xiàn)不當(dāng)導(dǎo)致系統(tǒng)吞吐驟降還有一類問題不是崩潰而是“慢”。日志任務(wù)本來每秒能刷幾百條記錄加了鎖支持之后掉到三四十條。一開始懷疑是鎖本身開銷太大后來測出來根本不是是鎖函數(shù)里用了不該阻塞的調(diào)用路徑。我在移植實(shí)現(xiàn)里一開始用的是普通信號量xSemaphoreTake這個(gè)函數(shù)在鎖被占用時(shí)會(huì)觸發(fā)任務(wù)切換和調(diào)度器操作頻繁競爭時(shí)開銷被放大。后來改成xSemaphoreTakeRecursive并且確認(rèn)在持有鎖期間不會(huì)主動(dòng)讓出 CPU吞吐才恢復(fù)正常。本質(zhì)上不是函數(shù)多了幾行而是臨界區(qū)里不能做任何可能阻塞的調(diào)用否則整個(gè)系統(tǒng)的調(diào)度水位會(huì)迅速惡化。另一個(gè)性能相關(guān)的問題是中斷環(huán)境。FreeRTOS 的互斥信號量不能在中斷服務(wù)程序里使用因?yàn)閜ortMAX_DELAY這類阻塞參數(shù)在中斷上下文是無效的。如果你在中斷里調(diào)用了 printf并且 printf 背后走了帶鎖的 stdio 路徑系統(tǒng)行為就會(huì)變得非常詭異有時(shí)候返回錯(cuò)誤有時(shí)候直接卡死。我后來在中斷處理里統(tǒng)一改成寫無鎖環(huán)形緩沖區(qū)中斷外再做格式化輸出徹底繞開了這個(gè)坑。再補(bǔ)一個(gè)經(jīng)驗(yàn)如果你的工程同時(shí)使用多個(gè) RTOS 組件比如 lwIP 或者文件系統(tǒng)棧它們的鎖機(jī)制和 picolibc 鎖是完全獨(dú)立的兩套東西。picolibc locking support 只管 C 標(biāo)準(zhǔn)庫內(nèi)部網(wǎng)絡(luò)協(xié)議棧的內(nèi)存池、文件系統(tǒng)緩存都有自己的保護(hù)機(jī)制不要混為一談。我見過有的開發(fā)者以為“開了 picolibc 鎖整個(gè)系統(tǒng)就線程安全了”這是誤解。每層資源需要各自的鎖策略。4.4 一個(gè)隱藏已久的坑TLS 變量的初始化時(shí)機(jī)最后說一個(gè)比較冷門但影響很大的坑。TLS 模型下errno 是每個(gè)線程的線程局部變量但它的初始化依賴 RTOS 創(chuàng)建任務(wù)時(shí)為任務(wù)棧預(yù)留的 TLS 空間。如果 FreeRTOS 的configTLS_BLOCK_SIZE配置不對或者任務(wù)創(chuàng)建函數(shù)沒有正確地向任務(wù) TCB 注冊 TLS 塊那線程訪問 errno 時(shí)會(huì)讀到未初始化的內(nèi)存可能是一個(gè)隨機(jī)值也可能是別的任務(wù)寫過的殘留數(shù)據(jù)。這個(gè)問題不會(huì)像崩潰那么明顯它表現(xiàn)為某個(gè)任務(wù)偶爾拿到錯(cuò)誤的 errno且錯(cuò)誤碼和實(shí)際錯(cuò)誤毫不相關(guān)看起來完全是隨機(jī)的。排查時(shí)很容易懷疑是業(yè)務(wù)邏輯 bug反復(fù)看代碼也找不到問題。我最后是在一個(gè) FAE 的提示下檢查了任務(wù)創(chuàng)建時(shí) TLS 塊的大小和 picolibc 預(yù)期的 TLS 大小是否匹配才定位到根因。具體做法是在鏈接腳本里記錄.tdata和.tbss的總大小然后把這個(gè)值配置到configTLS_BLOCK_SIZE中。你在移植 picolibc 到 FreeRTOS 時(shí)這一步千萬不要漏。5. 我的移植經(jīng)驗(yàn)與收尾建議說實(shí)話picolibc 的 locking support 并不復(fù)雜真正的復(fù)雜度在于理解 libc 內(nèi)部的共享資源到底有多少以及你的 RTOS 調(diào)度行為和鎖之間的相互作用。每次換一個(gè) RTOS、換一塊硬件平臺(tái)我都建議重新走一遍完整的移植和壓測流程不要想當(dāng)然地拿上一版代碼直接拷過去。就我自己的經(jīng)驗(yàn)而言有一個(gè)比較穩(wěn)的組合配置TLS 保持開啟global-errno 關(guān)閉newlib-multithread開啟鎖底層使用 FreeRTOS 遞歸互斥鎖并且移植文件里只做鎖的獲取和釋放不做任何日志、不做調(diào)試打印。這樣既保證了線程安全又把移植層的不可控因素降到最低。如果你在移植過程中遇到特別怪異的現(xiàn)場優(yōu)先懷疑鎖的持有路徑其次懷疑 TLS 初始化最后再懷疑工具鏈鏈接腳本。這三步走完絕大多數(shù)問題都能水落石出。最后再分享一個(gè)我個(gè)人的小習(xí)慣在項(xiàng)目早期就把 lock 壓測代碼放進(jìn)自動(dòng)化構(gòu)建流程里每次 BSP 變更后跑一遍。這種問題一旦藏在系統(tǒng)深處越晚發(fā)現(xiàn)代價(jià)越大早發(fā)現(xiàn)反而最省時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
中文字幕亚洲永久精品| 亚洲欧美色综合| 精品人妻高清麻豆av| 欧洲中文字幕| 99热综合| 国产精品视频白浆免费| 性饥渴少妇av无码毛片| 熟女91网站| 九九九九九精品十六| 9久久精品| 国产精品视频自拍在线| 中日韩免费看男女操逼大全| 69精品| 任我爽在线视频免费观看| 丁香五月天婷婷姐| 先锋精品av色鲁| 动漫爆乳3D奶水一区在线观看| 色综合加勒比| 日韩av无码网站| 亚洲棕合电彰| 天色综合网| 屌色在线97视频| 黄色性爱网网| 国产99久久99热这里只有精品15 | 91精片| 久久亚洲日韩熟女精品| 久久黄人人爽视频| 加勒比海人人操超碰在线| 91国产丝袜美女| 国产性爱欧美性爱在线| 亚洲天堂日本| 日韩熟女视频二区| 色一区二区三区综合| 亚州春色| 99日免费视频中文字幕| 九久久精品| 天天热精品| 天天视频综合在线观看视频| av凤凰久久久| 人妻啊啊人妻啊| 99中出在线| 吻戏激情性巴克| 亚洲男人bt天堂| 天天干少妇| 欧美熟爽综合| 狠狠躁久久躁| 91一区二匹| 操一操摸一摸| av网页一区二区三区| a级成人毛片免费视频高清| 日韩免费大片一级播放| 国产九九九九九九九九| 欧美精品双插| 免费一级视频特黄色大片| 精品丰满人妻一区二区三区免费观| 人摸人人操人| 久9热| 婷婷色一区| 裸体女人草逼视频播放一区,二区,三区,四区,五区| 快点操死我| 乱码熟妇人妻久久久| 综合天天网| 97视频在线视频| 亚洲 欧美 日韩另类 麻豆| 东京热毛片177b2viP| 精品欧美老熟女一二区| 久草免费福利在线播放| 超碰亚洲欧美日韩无| 97天天弄| 张柏芝国产一区在线观看| 女人天堂av在线播放| 亚洲AV秘无码一区..| 日本黄 R色 成 人网站| 国产黄色动态精品| 欧美,亚洲,日韩,v,天堂,手机在线观看 | 91狼人| 久久亚州高清| 大色综合| 色婷婷久久| 成人综合网 欧美| 中文字幕无码不卡啪啪| 色婷婷国产精品一区在线观看| 亚州熟女乱伦| 91碰碰| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 艳尻美人妻| 欧美日韩制服| 国产无马视频| 殴美日韩m| 天天综合色图| 国产AV激情无码久久无码 | 久久精品无码一区二区三区| 八人操人人摸人人看| 67914亚洲精品| 少妇精品久久久| 91精品国产综合久久久蜜臀酒店| 狠狠色综合网| 综合大香蕉美。| 亚洲精品免费中文字幕| 玖玖视频在线资源一区二区三区| 好属操| 国产精品久久久三级无码| 国产欧美美女免费观看视频| 夜夜欢天天干| 综合色啪| 91色欧美| 91狠狠狠| 亚洲开心网| 韩日性爱av| 欧美亚洲激情小说| 精品亚洲天堂| 中亚精品极乱| 人人妻人人澡人人爽人人精品浪潮| 久久久久亚洲av综合波多野制衣| 久久AV无码1区2区3区| 中文字幕黄色一起草| 超97在线精品视频| 日韩av情韩国爱禁区av一区二区| 中文字幕中文字幕一区二区| 久久九色| 国产日本熟女顶级一区二区三区视频| 午夜毛片亚洲精品片国产久久久| 欧美美女自慰一区二区三区| 国产精品欧美在线观看| 日本三级小说中文字幕| 亚洲 中文字幕 精品| 97色在线观看| 1人人看人人摸人人操| 九一屌逼| 免费观看国产不卡av| 99亚洲人人| 日韩欧洲操屄视频| 亚洲自拍欧美国产首页网曝| A级毛片在线看免费| 久久久久久久九九九九九九| JIZZJIZZ亚洲女人被躁| 日韩精品在线观看网站| 日本国产高清色www视频在线| 色婷婷电影网| JuliaAnn丝袜熟女系列| 久久久久久中文字幕中文字幕最新| 综合色一区三区二区| www.91色综合| 性暴力欧美猛交在线直播| 91国内外在线| 日本三级久| 亚洲国产一级黄色视频| 啊啊啊啊好大好硬啊啊啊啊啊| 欧美久久人人网| 97 国产精品| www.夜夜| 四虎影视永久在线免费| 一二三四区电影| 五月天婷婷久久| 久久天堂| 中文字幕乱偷人妻久久艾草网| 91成人精品在线播放| 国内一级精品| 诱惑人妻欧美一区在线播放| 操逼网免费无码视频| 大粗鳼巴久久久久| 伊人网在线观看| 亚洲一区二区三区四区视频| 操操操日本的逼| 国产嫩草精品A88AV| 国模限制级电影| 国产女人和拘做爰视频| 三男一女不戴套的A片| 亚洲欧美综合网站| 白丝AV网站| 91精品国产麻豆国产自产在| 欧美亚洲色图另类国产| a男人的天堂久久一级A毛片| 日本黄色精品| 青青草一区二区三区四| 97超碰免费人人性爱| 国产精品69久久久久孕妇欧美 | 久久久久网站-538在线视频-欧美永久乱码| 操逼操网| 人人操 欧美| 久久精品导航| 51一区二区三区| 一区二区精品更新提醒| 免费农村成人少妇人妻Aa一区二区视频| 一区二区三区高清天码| 精品视频一区二区| 欧美亚洲| 亚洲Av诱惑| 男人的亚洲天堂| 国产视频一区二区在线| 天天日天天舔东京热| 国内外色色色色色成人视频| 蜜桃久久久久久久| 国产农村妇女精品1区二区| 日产狠狠干| 日韩不卡a级视频专区| 97在线精品观看视频| 日韩激情毛片一级久久久| 少妇久久久久久久| 亚洲 欧美 第一页| 色图四区| 久草免费在线视频| 欧美se综合| 欧美亚洲清纯| 少妇高潮一区二区三区在线| 日韩BBN| 久久成人东京热人妻| 乱伦熟女区| 国产曰批免费观看久久久| 少妇熟女1区2区3区| 97精品视频| 日韩三级av片| 久久久久97| 人妻三级在线中文字幕| 亚洲福利影院一区久久| 日本东京热久久久电影| 色在线亚洲视频www| 国产99精品一区二区三区免费| 欧美性爱第一页久久| 啪啪视频免费在线观看| 国产1024在线播放| 亚洲欧美自拍偷拍| 99热99色| 极品色社| 国产精品suv一区| 亚州综合AⅤ| 日韩欧亚中文在线| 操人妻逼91| 亚洲97久久精品亚洲| 人人摸人人添人人操 | 爽爽淫人网| 夜色五月天| 久久9精品视频| 97视频7| 99日免费视频中文字幕| 欧美日本成人一区二区| 久久精品国产亚洲AV无码做| 欧美制服网站美腿丝袜| 国产最新小视频在线播放下载| 午夜视频好爽啊| 国产色呦呦| 亚洲有码 欧美精品| 日韩内射视频| 久久禁| av网站免费看| 日韩激情啪啪| 69人妻精品丰满熟女区| 欧美在线大香999| 热热色中文无码| 第四色奇米影视777| 亚洲啪啪视频一区二区| 人妻碰碰碰碰碰碰| 人妖欧美一区二区| 吖在线不卡一区二区国产剧情| 亚洲中文日韩精品| 亚洲色图a| 亚洲精品九九九九九九| 精品日韩中文在线| 先锋精品av色鲁| 97精品久久久久久久| 久草毛片| 嫩草在线视频| 久久九九一区二区三区成人| 风间由美日韩欧美久久| 中文字幕五月婷婷免费| 欧美亚洲综合色| 欧美激情亚洲情色| 亚欧性爱无码| 婷婷激情一区二区三区俺也去| 国产suv精品一区二六| 欧美性爱第一页久久| 国产少妇肉丝在线观看| 人人九九精| 九九精品无码专区免费| 久久久久久大| 亚洲成人激情小说视频| 丁香五月色| 一级黄色视频网| 久久久草成人网站久久久草成人久久久草久久久| 手机久操欧美综合色码| 无码免费在线观看黄色片| 9久超碰| 99re这里只有精品2| 亚洲国产麻豆一区二区三区 | 日韩啊V| 日本91白丝| 超碰色97| 欧美男女午夜啪啪| 日韩欧美操逼xxx| 久久亚洲骚逼综合| 人妻天天爽天天爽三区| 视频二区美腿丝袜制服人妻欧美 | 又粗又长又爽在线观看| 97碰碰日本乱偷人妻中文的| 最新av中文字幕高清| 天天摸天天插天天日| 青青草国产欧美非洲黑人| 超碰免费人人| 色97干| 999日韩中文精品观看视频。| 黑白配性爱AV成| 亚洲砖码砖专无区2023| 蜜臀99久久精品久久久久久| 91爱综合| 国产操操日韩三级黄| 嗯嗯啊啊好疼| 亚洲成A∨人影院在线欢看| 五月天欧美色图| 欧美色图小说综合| 91丝袜美女国产| 亚洲一区二区AV| 久久久无码国精品无码三区三区| 久久久久久久性爱| 久久久久网站-538在线视频-欧美永久乱码 | 国产人妻精品一区二区三区秋霞 | 欧美综合第一| 免费一级特黄特色大片在线观看看| 欧美日动态视频| 欧美东京热精品A∨| 久久九九精品一区二区| 五月丁香六月激情综合| 婷婷色色五月天福利| 自拍视频大全亚洲专媒视频/一区二区三区 | 99精品无码| 在线播放成人网站| 无码人妻精品一区二区三区99不卡| 精品十三区| 国模少妇一区二区三区| 张柏芝国产一区在线观看| 亚洲天堂第一页| 欧美视频边做饭边橾| 亚洲天天更新| 欧美午夜视频| 激情久久久| 久久国产逼| 久久激情视频| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 色哟哟av网址| 久久久九97| 国产熟女完整版中字| 一区二区三区麻豆| 97亚洲欧美日韩| 不卡啪啪视频| 免费伦费视频在线观看| 精品人妻av区天天看片| 亚洲清纯唯美| 顶级少妇BT天堂| 亚洲欧洲国产综合av| 亚洲伊人成综合成人网| 91亚洲黄色网| 国产精品久久久久久久免牛肉蒲团 | 亚洲高清在线se| 亚洲男人天堂网久久| 亚洲成人久久美女| 亚洲日韩美国人妻| AV麻豆免费一区| 91bbbbbb| 亚洲激情深爱文学小说网站| 久久久久久久久久黄色网 | 亚洲精品久久久久毛片A片拉屎 | 快点操死我| 天美麻花大全视频| 日韩一级片在线看| 久久性爱网站| 韩日性爱av| ,成人免费啪啪视频| 东北女人操逼| 97干97色| 国产欧美在线观看免费观看| 91精品老女人| 亚洲熟女av中文字幕| 天美传媒精品久久视频| 九九久久国产精品怡红院| 中文字幕免费观看| 美日韩在线不卡人妻| 按摩中文字幕| 日本天天人人狠狠在线日美女| 丁香婷婷大香蕉| 爱av免费| 欧美麻豆成人同性GⅤ在线| 成人av毛片在线观看| 精品国产乱码久久久久久网站入口| 热热色综合网| 天美传媒AV在线| 日本布卡一区二三区| 国产精品农村妇女精品| 老鸭窝成人| 插插综合网天天影视网| 四虎精品亚洲| 无套后入双马尾| 東南亚性呦成人伦理资源在线视频| 老司机福利社视频在线观看| 人妻熟妇一区二区三区| 91老司机视频| 欧洲特黄毛片免费看欧洲毛片| 另类天堂| 熟妇的味道HD中文字幕| 日操粉逼逼| 超碰成人最新最好看| 日韩乱伦视频| 人夜夜精品网站香蕉嫩草| 偷拍偷窥与盗摄视频专区| 青娱乐福利99| 亚洲精品日日夜夜52| 精品超碰国产| 91色鬼| 色www精品视频在线观看| av 模特一区了| www欧美91| 日韩熟女无码| 极品尤物女神在线观看| 91碰碰| 超碰99热中文字幕| 96一区二区三区| 国产精品免费久久久久久久久久 | 中 文字幕一区二区三四 五 区日 日 骚| 99久久综合| 久久亚洲日韩国产欧| 91美女视频在线观看| 国模无码人体一区二区三| 免费在线黄片视频| 天天摸,夜夜摸| 在线观看A啊啊啊| 99精品综合久久久久五月天| 中文一区二区三区影院| 国产黄色 A 片免费看| 99精品久久| 青青操少妇| 国内一级精品| 亚欧日韩成人| 青青草在线成人视频| 亚洲美女黄色| 超碰在线欧美性爱激情| 人妻熟女午夜精品在线| 色爽——AV| 福利视频香蕉免费一区二区在线| 国产黄色av大片网站| 91在线综合网| 午夜噜噜噜| 国产特级毛片AAAAAA高潮流水| 人妻少妇久久久| 玖玖超碰熟| 免费看黄片现成| www.色婷婷| 欲女人妻性色av| 97在线观看| 婷婷五月天影院| 操少妞在线视频| 欧美成熟性爱精品| 67914亚洲精品| 亚洲成?V人片在线观看福利| 欧美亚州综合图片| 国内精品久久人妻性色av| 天天操狠狠日夜夜干超碰撸com视频在线观看| 色娱乐色呦呦夜夜夜夜av| 久久久久97| www.久久| 97超碰9| 亚洲国产日韩欧美熟妇在线| 十八禁电影伊人网| 影音先锋乱| 亚洲色图综合网| 少妇一级婬片免费放一级a性色.| 国产美脚女优尤物在线观看| 亚洲欧美色图| 久九九九九九九热| www.色吧5.com| 欧美亚洲国内自拍| 操逼操逼操| 精品女人999| 丰满少妇一区二区三区免费看| 91久久久久久| 偷拍视频青青草在线视频| 久久99综合| 亚洲 在线| 黄色网址久久精品欧美喷水| 欧美日本成人一区二区| 亚洲熟妇无码一区二区三区| 强奸乱伦AV一天堂网| 久久伊人网视频一区二区三区 | 人妻啊啊人妻啊| 另类天堂| 99热 按摩 日韩| 人人摸人人添人人操| 日日日日做夜夜夜夜做无码97| 久久久久久精品免费看A级| 青青草一区二区三区四| 色婷婷影视| 极品五月天噜噜| 欧美一区二区男人天堂| 黄日韩| 国产精品视频精品一二| 亚洲国产97| 综合久欧洲| 一级黄色性爱A级片| 久热99999| 色噜噜狠狠色综无码久久合欧美| a亚洲欧美色欲| 亚洲天天影视综合网| 手机在线看片免费人成视频| 97超碰超碰| 麻豆 亚洲 97| 色999;丁香五月| 国产精品高潮呻吟av久久4虎| 色网在线| 欧美制服网站美腿丝袜| 亚洲AV性爱电影| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 九一性生活免费视频| 亚洲久热| 乱伦1色页| 欧美精品一二三| jiujiujiujingpin| 日本超碰在线国产一区| 操逼逼中文字幕| 9久久久久| 狠操91,com| 久久久啊啊| 综合影视国产无码| 人人爱人人乐人人操| 黑白配性爱AV成| 久久內射| 天美传媒国产原创中文字幕亚洲欧美另类 | 超碰爽人妻熟女Av| 操一区| 一个国产在线综合网站| 成人性生活高清视频在线播放| 亚洲天堂五月天国产| 久久青娱乐| 欧美国产一区二区三区麻豆传媒| 欧美日韩色图片| 日韩乱插| 婷婷影院入口| 人人操人人操人人操人人操人人操人人人11.CM | 91久久国产精品| 99xav| 亚洲色堂免费视频| 日韩AV无码网站| 最新日本中文字幕| 屁屁影院一区二区三区国产| 五月综合色| 亚洲最大的黄色电影网站。| 国产91 丝袜在线播放 | 欧美色道啊| 91欧美偷拍| 日本人体九九九九九九| 俺去也婷婷| 欧美刺激色黄片免费看| 人人操人人搞人人草| www.色吧5.com| 国产一区二区二区按摩精品啪视频| 日本2020一区二区| 久久熟女嫩草成人片免费| 日本久久999| 经典丝袜一区| 欧美成人精品一区二区男人蜜臀| 91女优在线观看| 五毛骚逼极品美女怕怕| 呦女网站| 超碰9 7女人| 欧美在线第五页| 亚洲欧美啪啪| 97伊人超碰| 久久9久久| 青草一区二区| 日韩欧美加勒比| 亚洲欧美天堂| 超碰在线人妻中文字幕| 操B视频日韩无码| 欧美视频第二页| 狠综合网| 天天日骚逼熟女| 亚洲综合在线91| 亚洲精品欧洲色| 亚洲激情视频| 国产 亚洲 一二三四| 中文色综合| 久干9操| 国模少妇一区二区三区| 精品区9| 国产SV一线| 热的中文 热的有码 热的国产| 五月天欧美色图| 女人香蕉久久毛毛片精品| 另类图片天天影视| 粉嫩av久久一区二区三区| 老司机老司机午夜影院| 激情色播| 成人五月天色网| 国产精品禁久久久精品| 97色97干| 最近2019中文字幕国语免费版| 丁香婷婷久久| 情色五月天久久久| 欧美日韩人妻精品一区二区三区| 婷婷婷婷婷婷久久久久| 青娱乐国产精品| 屌逼传媒| 97干色天堂| 老司机久久| 男同专区一区二区三区在线| 一区二区三区亚洲| 农村妇女一级二级三级视频| 人妻酒店出差被中出免费在线播放| 久久久精品九| 6080YYY午夜理论片在线观看| 亚洲操人| 韩国国产欧美情侣视频在线| 丝袜美腿亚洲| 中文字幕日本久久| 91五月天| 亚洲av综合伊人久久| 我爱大香蕉| 精品国产乱码久久久兰草影视| 日韩啪啪视频| www.色婷婷色综合| 无码男人天堂| www.99色| 亚洲最大黄网| 男人天堂2030| 欧美顶级黄片AAAAA在线免费看| 性色高清在线| 色欲天天综合久久久无码网中文| 成人午夜无码视频| 智利AV在线网| blacked精品一区国产| 爽爽爽免费视频| 久久久亚洲熟妇熟女| 亚洲AV免费在线| 久久久久幕乱码| 插穴性爱视频在线观看| 麻豆九九九| 翔田千里A片一区二区| 夜夜嗨一区二区| 超碰99在线| 大香蕉五月天婷婷| 五月天精品| 日韩去日本高清在| 亚洲福利中文字幕在线| 色老久久| 久久AV无码网址| 日韩 欧美 国产 麻豆| 婷婷丁香九月| 国产第11页| 亚洲免费成人精品电影| 嗯嗯啊啊的视频| 国产女人操逼视频| 一区二三区四区视频大全套| 日韩AV无码中文一区二区| 日韩精品国模| 久久久国产三级黄色片| 欧美激情亚洲| 精品国产久热在线观看| 91国产丝袜美女| 精品成人亚洲午夜电影| #NAME?| 亚洲砖码砖专无区2023| 亚洲,欧美,综合网| 1024香蕉视频| 日本黄大片在线观看视频| 欧洲精品一区二区三区| 免费在线黄片视频| 欧美综合亚洲| 大香蕉97久久| 无码 黑人一区二区三区| 中文字幕女同在线| 97人人模人人爽人人| 狠狠爱夜夜| 91人妻视频在线| 熟妇人妻丰满久久久久久久无码| 日本欧美亚洲高清在线看| 久久久一二三四区| 精品少妇一区二区三区免费观看| 久96热在线观看视频| 91亚洲人电影| 欧美日产国产在线成人第一区| 免费看国产大AB| 狠狠操狠狠| 亚洲成人性爱网站在线播放| 蜜臀th| 精品一区二区三区蜜桃臀赵总| 秋霞色色影院| 亚洲 无码 有码 中文字幕| 另类视频在线| 日日日日做夜夜夜夜无码| 亚洲春色欧美| 国产亚卅97| www色色com| 国产一级久久久| 亚洲精品中文字幕一区在线视频 | 色墦五月丁香| 亚洲一区二区三区不卡国产欧美| 欧美淫乱视频| 这里只有精品视频| 黑人狂躁日本妞一区二区三区| 天美传媒精品久久视频| 亚洲三级网址久久最新| 99久久99久久综合| 高清无码在线播放网站| 日本大香蕉综合网| 欧洲小说色图视频另类| 女人高潮大叫一级毛片| www.亚洲黄色| 欧美亚洲首页| 日本孕妇孕交| 中文字幕少妇色| 爱我干综合| 国产视频一区二区三区在线免费观看| 欧美啪啪啪91| 久草男人天堂| 精精夜夜| 高清无码网址| 色婷五月| 成人av动漫在线观看| 亚洲天堂一区二区久久| 97综合| 国产91 丝袜在线播放| 国产精品久久久久久久免牛肉蒲团| 超碰97精品在线| 丁香婷婷九月| 51一区二区三区| 成人小说视频在线精品欧美| 中文字幕在线免费观看 | 婷婷五月天基地| 99久久精品国产高潮| 99国产精品视频尤物| 婷婷av在线中文字幕| 91日韩| 999综合网| 亚洲 欧美 色图| 91白虎| 97人人爱人人乐| 日日骚av| 91成人久久| 日本青青草在线| 日本日逼视频网| 少妇人妻好深太紧了vr91| 无码区蜜乳| 国产精品一区二区久久精品| 国产精品不卡一区二区三区av| 国产色图乱伦| 日本中文字幕不卡视频| 18禁看网站一区| 91大神精品长腿在线观看网站| 青娱乐休闲视频在线观看| 中文字幕后石码三区四区| 不卡日本一区二区| 插入逼91| 国产一区自拍欧美日韩| 欧美日本中字另类在线| h无码动漫在线观看| 丝袜熟女一区二区三区| 日本在线激情一区二区三区| 日本色婷婷| 中文字幕一区 二区三四五 区日 日骚| 九九色色| 亚洲色欲一区二区三区| 亚洲男人的天堂AV| 久久99深爱久久99精品| 亚州,欧美在线| 97视频免费播放| 国产毛片毛片4p懂色| 国产传媒一区日韩| 东京热不卡视频| 成人九九| 国产精品一区二区a| 日本狂喷奶水在线播放212| 国产熟女乱论| 蜜臀少妇一区二区| 高跟伊人julia ann| 伦理日韩国产久久| 亚洲一区二区AV| 日韩无码三级影院| 熟女视频久久| 97干色天堂| 欧美洲精品一级| 亚洲图片另类| 一区二区三区黄片免费观看| 色激情五月天| 97超碰资源网| 久久久夜夜夜| 视频黄色国产一级| 亚洲黑丝在线| 肉丝无码中文高清| 91精品人| 日本中文字幕在线电影| 国产嫩草精品A88AV在线| 中文字幕无码不卡啪啪| 国产在线视频午夜精华在| av在线免费一区二区| 国产后入精品| 人人操人人精品影片| 欧州一区二区三区四区| 色婷婷五月综合激情中文字幕| 伊人色综合超碰| 欧美色老汉| 亚洲欧美在线观看无码| www.色五月| 很很很很操| 精品人妻一区二区免费蜜桃视频| 国产精品蜜乳AV| 欧美色图片91| 精品传媒在线一区| 美国一区二区免费视频| 成人综合网 欧美| 91日韩国产欧美亚洲另类精盘州至城都 | 久久99精品视频| 国产精品久久久九九九| 国语av狠狠色丁香婷婷综合激情| 成人小说视频在线精品欧美| 图片区小说区| 欧美专区第一页| 青青五月天| 黄色片大香蕉| 亚洲精品一卡二卡三卡福利视频网站 | 九九精品无码专区免费| 野狼激情网| 亚洲国产日韩精品久久久| 日韩欧美亚洲一区二区三区影院| 伊人网在线观看| 亚洲精品一区二区日本| 日韩乱码Av| 欧美啪啪色吧在线| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 91亚州日韩高清| 色淫网站优优视频| 亚洲色综合| 欧美丝袜91| 久久婷婷精品| 深喉吞精| 天天干天天爽| 久久久久久久| 天天添天天干电影| 欧美色欧美| 91原创在线观看| 97精品国产| 91老司机在线视频免费观看| 91老女人| 人妻密肉在线观看| 国产一区二区三区高清视频| 久久综合久久综合人久久夜精品| 色激情综合网站| 夜夜狼人妻| 操操逼视频| 嗯嗯啊好大| 夜夜影视四色| 久久超碰天天| 五月天激情网图片| 欧美色偷偷| 99热aaa| 免费公开人人操| 二级毛片| 五月天啪啪| 97视频在线| 夜夜狠狠躁日日躁色视频| 这里只有精品视频在线观看麻豆| 日韩精品影视| 五月丁香综合激情| 绯色一区二区三区不卡少妇| 日夜久久久九九九久| 思思热er精品视频| 99热这里都是精品| av在线浏览| 久草国产在线视频| 91N综合网| 后入内射蜜桃臀| 久操网址| 91老司机在线| 国产五码丝袜屁眼| 欧美黄色大香蕉一区二区| 欧美东京热青青草| 久久精品72| 日本在线视频导航| 超碰97欧美| 大香蕉琪琪日本女优不卡| 999岛国大片| 视频国产成人精品日本亚洲18| 吉川爱美亚洲二区在线| 亚洲精品成人| 欧美特大AA级黄片| 夜夜嗨一区二区三区三州加勒比| 东北黄色电影| 一级啊性爱在线视频| 国产色图乱伦| 中文字幕免费在线观看| 久久超碰亚洲人| 午夜色婷婷| 影音先锋少妇| 欧美色图亚洲激情| 欧洲亚洲人人爽爽视频| 国产精品久久久视频| 亚洲av影院在线观看| 日韩无码一级黄色av片| 色综合色色| 精品人妻中文字幕4399| 中文字幕精品码亚洲| 99国内熟女露脸视频| 青青草日逼视频| 亚洲AV无码成人精品久久| 13小男生GAY自慰脱裤子| 亚洲 欧美 日韩另类 麻豆| 久操 高清| 日本久操视频| 国产福利第一视频| 天天激情干| 丁香七月婷婷| 夜夜嗨一区二区三区直播内容| 天堂资源站| 欧美狠狠操| 色噜噜人妻av 中文字幕| 日本午夜福利影院| 久久九九视频九九视频| 人人看人人插| 欧美欧美啪啪视频| 麻豆精品一区二区三区四区免费观看| 欧美淫乱视频| 欧美青青草视频| 亚洲男人的天堂网| 九九九久久久久| 欧美少妇一区二区三区| 日韩三级久久久| 婷婷五月在线视频| 99热最新网址| 久久99综合| 五月丁香影院| 久久曰曰| 色999亚洲人成色| 精品少妇一区二区三区在线视频| 人妻乱仑一区二区三区| 亚洲中文一区二区三区| 人妻少妇被猛烈进入中| 超碰色男人操熟女| 影视综合无码少妇| 眼镜人妻101.com| 欧美激情性久久久久久| 成人无码在线超碰网| 国产美女口爆吞精视频| A级国产欧美激情在线| 日韩电影在线观看网址| 久久久久久网址| 狠狠色伊人亚洲综合网站色| 91大神精品长腿在线观看网站| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 91久精品| 久久久久久性爱视频| 日韩二三区| 鸥美插入视频| 久久久久久久六六| 天天影视之亚洲综合网| 久久久月天| 最新AV在线| 亚洲综合第一页| 91视频伊人| 亚洲日韩美国人妻| 5月婷婷6月六月丁香| 婷婷亚洲综合| 日本不卡三级网在线播放| 久草婷婷| 久久禁| 亚洲超碰97| 男女做爰猛烈动高潮A片免费应用| 国产精品一区av在线| 天天干夜夜一操| 九九性视频| 浓厚中出中文字幕在线| 亚洲成人无码影院| 91chinese在线| 欧美有码亚洲中文字幕一区二区三区四区 | 97中文综合| 天堂无码| 一级特级aaaa毛片免费观看 | 亚洲国内精品成人不卡| 青青久日| 人人操人人干xxx| 国产一级作爱毛片| 91亚州日韩高清| 亚洲色香| 97亚洲精品超碰| 小视频国产| 久久亚洲婷婷| 国产美女精品| 久草这里只有精品 | 97天天爽| 一区二区视频你懂的| 91成人精品| 日韩在线性爱免费视频| 污啪啪啪视频| 国产一区二区三区,在线观看观看| 性欧美91| 国产成人亚洲精品无码古代早漏男| 色综合99| 97在线资源| 东京热一区二区中文字幕| 久久AV无码网址| 亚洲国产一级中文综合久久天堂在线免费观看 | 欧美综合中文| 国产成人精品必看| 亚洲性爱高潮影院| 欧美色图在线视频少妇| 欧亚无码视频| 色婷婷久久| 97精品97久久| 亚洲97成人在线观看| 色色色综合网| 怡红院亚洲怡春院av| 国产极品粉嫩馒头一线天av| 亚洲操操操| 九草九九九| 国产绿奴视频在线观看| 日本一二区免费| 国产馆| 操屄不卡视频| 亚洲熟久久| 可以免费看黄片的视频| 九九九九久久久| 亚洲玖玖爱| 国产日韩在线播放| 熟女AV一区| 伊人专区一区二区三区| AV天天在线观看| 大鸡巴久久| 日韩一级免费性爱| 日本最新1区2区3区| 日本日逼高清| 麻豆性爱视频在线播放| 国产无码精品无码| 欧美制服另类丝袜| 久久精品黄色| 五月天婷婷影院| 久久久亚洲精品中文字幕人妻| 国产成人精品日本视频| 狠色婷婷久久一区二区三区_| 以及麻豆国产入口在线观看免费| 最新一二三区视频| 日韩欧美日韩| 97在线免费看| 欧美日日网| 97天天综合| 天天狠| 免费在线看黄片av| 久久国产精品一级二级三级| 中文字幕一区二区三区50路| 99爱视频| 麻豆久久精品亚洲精品88 | 亚洲九九九九| 亚洲精品久久久久久久久豆丁网| 人妻少妇精品视频一区二区三区| 99色视频| 欧洲性爱无码区| wwe 天天干.com| 国内精品久久人妻性色av| 亚洲情色在线| 色综合久久88色综合久久天天| 欧美一区二区三区成人性生活| 在免费jIzzjIzz在线视频| 久久精品无码熟妇一区二区三区视频导航 | 人妻无一区二区三区| 91爰爱欧美| 永久免费发布性爱网| 天操天操夜操夜月月年年操操 | 亚洲日韩美女丝袜美腿人妻视频| 亚洲欧洲偷拍一区| 日韩免费中文字幕视频| 精品一区二区三区四区女| 国产女人与拘做受视频免费| 夜夜嗨一区二区三区三州加勒比| 五月天综合在线| 一区二区乱码福利| 天天综合网AV91| 秋霞视频一区二区| 国内外内射高清视频| 搞中出视频在线观看| 天天躁日日躁AAA片李宗瑞| 96久久久久| 人人澡人人弄| 91精品伊人久久久大香线蕉91| 五月天伊人网| 91欧美美女日韩国产婷婷| 囯产操逼片| 九九九久久久| 超碰 国产熟女精品一区| 天天干天天拍| 99久久99九九99九九九| 97视频在线免费观看| 天天插夜夜爽| 日本三级黄页| 亚洲91在线播放影院| 伊人九九九| 欧美日韩大陆黑人少妇99| 99九九久久| 免费一级a毛片久久久久久鸭绿欲| 99热日| 亭亭丁香激情| 深田咏美亚洲精品福利社| 偷拍偷窥与盗摄视频专区| 大香蕉日亚洲日本亚大| 蜜桃久久久久久久| www色日本| 中文字幕乱码人妻二区三区 | 日韩精品一二三四| 91精品国产日韩欧美综合| 欧美综合91| 久久国产999| 国产超碰在线一区| 日本熟妇一区二区三区| 亚洲暴力强奸AV| 亚洲春色一区二区三区| 欧美伊人电影| q2午夜理论片夜色av| 欧美色九九九| 免费看毛片操穴| 国产一级αv免费看片| 偷拍亚洲熟女视频播放| 依人大香蕉| 插日本熟女视频| 婷婷丁香九月| a片在线播放| 成人久久久| 99re黄| 丝袜视频网国产90| a片亚洲一本通视频| 亚州精品丝袜-不卡成人免费| av中文在线| 一区二区娱乐网站| 人人操人人摸人| 艹精品| 亚洲国产欧美另类自拍| 手机午夜电影神马久久| 中文字幕熟女人妻丝袜| 亚洲图片视频小说| 国产精品毛片| 91熟女少妇| 亚州九九九精品视频| 亚洲美女 晚间男人天堂| 大香蕉在线视频重口味毛片在线| 久久人妻97久久久久久久| 一品道视频一区二区三区| 色婷婷电影网| 日本三级黄页| 中出91| 久久黄黄| 九九热精品免费视频| 久久久一区二区三区四曲免费听| 啪啪综合网| 无码99| 97超碰美国| 啊a一区在线| 夜夜操91744565| 97欧美精品综合| 人人综合| 东京热熟女亚洲视频网站| 久色99999| 天操天操夜操夜月月年年操操 | 国产伦精品一区二区三区在线观| 99日精品欧美国产| 丰满的三级少妇欧美久久久| 影音先锋国产精品| 嗯啊不要在线| 啊啊啊好湿国产一二| 久久精品视频28|