日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Brocade 6510 SAN交換機(jī)深度解析:參數(shù)表、Zone配置與避坑指南

Brocade 6510 SAN交換機(jī)深度解析:參數(shù)表、Zone配置與避坑指南 簡(jiǎn)介Brocade 6510光纖通道交換機(jī)參數(shù)表面向網(wǎng)絡(luò)工程師、存儲(chǔ)管理員和數(shù)據(jù)中心運(yùn)維人員為SAN架構(gòu)規(guī)劃、設(shè)備選型、擴(kuò)容評(píng)估與日常排障提供完整技術(shù)依據(jù)。資源共1個(gè)PDF文件壓縮包僅128KB已有104人學(xué)習(xí)瀏覽內(nèi)容為表格化技術(shù)參數(shù)結(jié)構(gòu)緊湊方便按需檢索。文檔詳細(xì)匯總系統(tǒng)架構(gòu)與端口配置包括默認(rèn)24/36/48端口、按需端口擴(kuò)展PoD、通用端口類型性能方面覆蓋ISL干線合并最高128Gbps、768Gbps總帶寬、700ns本地交換延時(shí)、2112字節(jié)最大幀、8192動(dòng)態(tài)幀緩沖、Class 2/3/F服務(wù)同時(shí)列出APM、適應(yīng)性網(wǎng)絡(luò)、QoS瓶頸檢測(cè)、Virtual Fabrics等Fabric服務(wù)以及FICON支持、擴(kuò)展光纖通道、管理接口、安全機(jī)制和機(jī)械環(huán)境規(guī)格。對(duì)于16Gbps光纖通道環(huán)境該文檔還給出端口類型、介質(zhì)類型、FICON堆疊以及D_Port診斷等運(yùn)維細(xì)節(jié)可直接對(duì)照排錯(cuò)。無(wú)論是方案對(duì)比、性能評(píng)估還是故障排查這份參數(shù)表都能提供準(zhǔn)確、實(shí)用的查考依據(jù)。1. 一臺(tái)SAN交換機(jī)而已為什么值得翻它的參數(shù)表PDF存儲(chǔ)運(yùn)維圈里有句玩笑話全閃陣列性能翻車背鍋的往往是那根光纖線。但真正在SAN環(huán)境里摸過(guò)幾年的人都知道比光纖線更容易翻車的是交換機(jī)端口規(guī)劃得好不好。brocade-6510作為一款固定端口形態(tài)的FC光纖交換機(jī)在中小型存儲(chǔ)網(wǎng)絡(luò)里出現(xiàn)頻率極高但它那張參數(shù)表PDF并不是只看懂“24端口、16Gbps”就夠了。端口數(shù)、吞吐量、電源功率、氣流方向、License數(shù)量每一行參數(shù)背后都直接決定了你上架之后能不能正常擴(kuò)容、能不能平滑升級(jí)。這篇筆記就把參數(shù)表里的關(guān)鍵項(xiàng)拆開講清楚從硬件選型到Zone配置再到日常巡檢按一套能落地的方式走一遍。適合正在做存儲(chǔ)網(wǎng)絡(luò)選型、準(zhǔn)備部署SAN交換機(jī)或者接手了一套既有Fabric的工程師參考。2. 硬件底子先看透端口、電源與氣流方向怎么選2.1 先搞清6510的真實(shí)定位固定端口機(jī)型的邊界在哪Brocade 6510屬于固定端口形態(tài)的中端FC交換機(jī)參數(shù)表上最常見的是24端口激活版本和48端口激活版本兩類。它的定位和6510同代產(chǎn)品線里的模塊化框式機(jī)型不同6510不支持線卡熱插拔端口數(shù)量在出廠時(shí)就被License鎖住后續(xù)擴(kuò)容靠買License激活已有物理端口而不是插新板卡。這個(gè)區(qū)別很重要很多第一次上手的人以為端口沒(méi)激活就像交換機(jī)端口shutdown一樣敲個(gè)no shutdown就能用實(shí)際上FC交換機(jī)的端口激活走的是License體系沒(méi)有對(duì)應(yīng)License物理端口即使插上SFP也不會(huì)進(jìn)入可用狀態(tài)。參數(shù)表里另一個(gè)容易忽略的點(diǎn)是端口速率。6510所有物理端口都是16Gbps FC端口但向下兼容8Gbps和4Gbps設(shè)備。這意味著你可以在同一個(gè)交換機(jī)上混插16Gbps的服務(wù)器HBA卡和8Gbps的老存儲(chǔ)陣列端口只要SFP模塊和線纜速率匹配即可。不過(guò)要注意混插時(shí)整個(gè)Fabric的鏈路速率協(xié)商是逐鏈路獨(dú)立完成的不會(huì)因?yàn)橐粭l8Gbps鏈路拖慢別的16Gbps鏈路這一點(diǎn)比以太網(wǎng)交換機(jī)里的共享帶寬模型更友好。選型時(shí)還要問(wèn)自己一個(gè)問(wèn)題這臺(tái)交換機(jī)是給一套新SAN用還是給現(xiàn)有Fabric做擴(kuò)展如果是擴(kuò)展現(xiàn)有Fabric你要確認(rèn)現(xiàn)有Fabric的固件版本和6510兼容。同一系列里小版本差異一般不大但跨大版本升級(jí)時(shí)參數(shù)表上寫的“支持Fabric OS某某版本”和實(shí)際運(yùn)行版本可能有出入最好以官方發(fā)布說(shuō)明里的兼容矩陣為準(zhǔn)別只看PDF首頁(yè)大字。2.2 端口與SFP的匹配16G/8G/4G混插的兼容性判斷6510用的是SFP封裝的FC光模塊不是數(shù)據(jù)中心里常見的QSFP28那種以太網(wǎng)模塊。參數(shù)表上通常標(biāo)注“支持16/8/4Gbps自動(dòng)協(xié)商”但你實(shí)際采購(gòu)光模塊時(shí)會(huì)發(fā)現(xiàn)市場(chǎng)上流通的模塊分兩種原廠模塊和第三方兼容模塊。原廠模塊價(jià)格高兼容模塊價(jià)格低。從穩(wěn)定性角度我建議核心Fabric鏈路用原廠或官方認(rèn)證模塊尤其涉及到長(zhǎng)距離級(jí)聯(lián)時(shí)。短距離服務(wù)器接入鏈路第三方兼容模塊多數(shù)情況下也能跑但要提前確認(rèn)模塊的DDM數(shù)字診斷監(jiān)控?cái)?shù)據(jù)能被6510正確讀取不然溫度、光功率告警可能全部失靈排障時(shí)少一只眼睛。SFP插槽的物理兼容性還有一個(gè)坑有些兼容模塊的卡扣設(shè)計(jì)和原廠模塊有細(xì)微差別插進(jìn)去之后鎖扣不到位設(shè)備運(yùn)行一陣子后模塊松動(dòng)導(dǎo)致鏈路閃斷。這種問(wèn)題很玄學(xué)端口狀態(tài)一會(huì)Online一會(huì)Offline查看errshow時(shí)能看到大量鏈路重置記錄。處理辦法是在上架初期把所有端口模塊鎖定檢查一遍或者直接選用卡扣結(jié)構(gòu)更穩(wěn)固的模塊型號(hào)。速率協(xié)商方面如果對(duì)端設(shè)備是老型號(hào)的陣列控制器只支持8Gbps或4Gbps6510端口會(huì)自動(dòng)降速。你不需要在交換機(jī)側(cè)手動(dòng)配置強(qiáng)制速率除非兩端設(shè)備協(xié)商失敗。協(xié)商失敗時(shí)常見的原因是光模塊類型不匹配比如8Gbps的模塊插到了標(biāo)稱16Gbps的端口上雖然模塊向下兼容但某些老批次模塊的序列號(hào)不被6510固件識(shí)別。遇到這種情況把端口速率手動(dòng)設(shè)為8Gbps通常能繞過(guò)協(xié)商問(wèn)題。2.3 電源、風(fēng)扇與氣流方向上架前最容易翻車的地方參數(shù)表里有兩塊內(nèi)容最容易被跳讀電源功率和氣流方向。6510有兩種電源配置單電源和雙電源。雙電源的機(jī)型才能實(shí)現(xiàn)冗余供電但要注意雙電源必須接在不同PDU上才真正有冗余意義。參數(shù)表上寫的最大功耗數(shù)值是在滿配48端口加滿負(fù)載情況下的數(shù)據(jù)實(shí)際運(yùn)行功耗大多在60%到70%左右。如果你在機(jī)柜里做電源容量規(guī)劃按參數(shù)表的最大值去算余量會(huì)更穩(wěn)妥。氣流方向分前后和前前兩種對(duì)應(yīng)冷通道和熱通道的部署方式。這個(gè)選擇直接影響機(jī)房溫度表現(xiàn)。裝反了之后最明顯的現(xiàn)象是交換機(jī)溫度告警曲線持續(xù)走高但機(jī)房空調(diào)溫度正常。很多人在設(shè)備上架通電后才想起來(lái)看氣流方向結(jié)果只能整臺(tái)下架換方向或者調(diào)整機(jī)柜內(nèi)設(shè)備朝向非常折騰。我一般收到設(shè)備后第一件事就是查電源模塊上的風(fēng)道標(biāo)簽確認(rèn)和機(jī)柜氣流模型一致再上架。風(fēng)扇組件方面6510的風(fēng)扇通常是模塊化的可以在不斷電的情況下更換。但要注意不同批次的6510風(fēng)扇轉(zhuǎn)速曲線可能不同混合使用舊批次和新批次風(fēng)扇時(shí)系統(tǒng)可能因?yàn)檗D(zhuǎn)速差報(bào)風(fēng)扇故障。處理辦法是更換風(fēng)扇時(shí)盡量整組更換或者在備件庫(kù)里保持同一批次的風(fēng)扇備件。2.4 對(duì)照參數(shù)表核對(duì)硬件信息的常用命令拿到6510之后第一步不是急著連線而是先登進(jìn)FOS命令行把實(shí)際硬件信息核對(duì)一遍。下面這組命令是我每次初始化新設(shè)備時(shí)都會(huì)跑的建議按順序執(zhí)行。switchshow # 查看所有端口的狀態(tài)判斷哪些端口是已激活且在線哪些是No_Card未插模塊 # 輸出里能看到端口速率協(xié)商結(jié)果比如16G、8G還有端口類型是LLoop還是FFabric fanshow # 列出所有風(fēng)扇組件的運(yùn)行狀態(tài)和轉(zhuǎn)速判斷風(fēng)扇是否正常 # 如果輸出中顯示Fault說(shuō)明風(fēng)扇有問(wèn)題需要更換 powershow # 顯示電源模塊的狀態(tài)包括電壓、電流、能否供電 # 所有電源都應(yīng)該顯示OK缺一個(gè)就是冗余失效 license --show # 顯示當(dāng)前已激活的License以及總端口授權(quán)數(shù) # 你可以直觀看到當(dāng)前激活多少端口還能激活多少端口 version # 顯示Fabric OS版本和交換機(jī)型號(hào) # 核對(duì)參數(shù)表PDF上標(biāo)注的固件版本是否與實(shí)際版本一致版本不一致時(shí)先查兼容矩陣命令執(zhí)行后對(duì)著參數(shù)表逐項(xiàng)核對(duì)端口激活數(shù)量、電源狀態(tài)、固件版本三欄確認(rèn)設(shè)備是完整交付狀態(tài)。這樣雖然不能立刻發(fā)現(xiàn)所有問(wèn)題但至少能在上架前攔住“License數(shù)量不對(duì)、電源缺一個(gè)、固件版本過(guò)老”這類低級(jí)故障。特別是license命令我遇到過(guò)好幾次代理發(fā)貨時(shí)型號(hào)對(duì)但激活端口數(shù)不對(duì)的情況上架后才對(duì)著業(yè)務(wù)需求發(fā)現(xiàn)端口不夠用那時(shí)候再走流程換貨就非常耽誤時(shí)間了。3. 性能參數(shù)決定Fabric規(guī)劃吞吐量、級(jí)聯(lián)與Zone設(shè)計(jì)3.1 關(guān)鍵性能參數(shù)的口徑別只看單端口速率參數(shù)表上最大的數(shù)字往往是最顯眼的比如“單端口16Gbps”。但真正影響SAN整體性能的是交換機(jī)背板帶寬和端口全雙工吞吐量。6510配備48個(gè)物理端口端口全雙工帶寬總和為768Gbps這個(gè)數(shù)字意味著它足夠支撐48個(gè)16Gbps端口同時(shí)全雙工運(yùn)行不存在收斂比問(wèn)題。相比一些入門級(jí)交換機(jī)在滿配端口時(shí)會(huì)出現(xiàn)端口間共享帶寬的情況6510的設(shè)計(jì)要干凈得多至少Fabric內(nèi)部不會(huì)因?yàn)楸嘲鍘挷蛔愠蔀槠款i。不過(guò)端口不收斂不代表鏈路不擁塞。當(dāng)多臺(tái)服務(wù)器同時(shí)訪問(wèn)同一臺(tái)存儲(chǔ)陣列的同一個(gè)控制器端口時(shí)陣列側(cè)的單端口帶寬就是瓶頸。交換機(jī)本身沒(méi)有丟包但陣列端口隊(duì)列堆積會(huì)表現(xiàn)為IO延遲升高應(yīng)用側(cè)看到的現(xiàn)象是存儲(chǔ)性能突然掉了一半。這種問(wèn)題靠換交換機(jī)解決不了得從存儲(chǔ)側(cè)調(diào)整LUN映射和控制器端口的負(fù)載分布。延遲方面6510作為交換機(jī)單跳延遲在微秒級(jí)別基本可以忽略。但級(jí)聯(lián)多臺(tái)交換機(jī)后每一跳都會(huì)產(chǎn)生額外的轉(zhuǎn)發(fā)延遲Fabric中跳數(shù)越少越好。設(shè)計(jì)拓?fù)鋾r(shí)優(yōu)先采用核心-邊緣兩級(jí)架構(gòu)避免三層以上級(jí)聯(lián)。這比盲目追求“更高端口數(shù)”更重要因?yàn)槎丝跀?shù)可以靠堆疊設(shè)備解決跳數(shù)多帶來(lái)的性能損失卻很難靠硬件彌補(bǔ)。3.2 用參數(shù)表推算ISL級(jí)聯(lián)帶寬Trunking是一個(gè)決定性配置SAN交換機(jī)級(jí)聯(lián)需要用到ISLInter-Switch Link端口也就是兩臺(tái)交換機(jī)之間的互連鏈路。6510的任意端口都能做ISL但參數(shù)表的端口數(shù)要扣除級(jí)聯(lián)占用的端口后才是實(shí)際可用端口數(shù)。常見規(guī)劃方式是用4條16Gbps鏈路組成一個(gè)Trunk形成一個(gè)64Gbps的邏輯鏈路兼顧冗余和帶寬。Trunk的端口必須按參數(shù)表上的端口范圍做連續(xù)性分配分散在不同端口組的Trunk配置雖然也能做但會(huì)浪費(fèi)端口資源不利于后續(xù)擴(kuò)容。配置Trunk時(shí)有個(gè)關(guān)鍵前提參與Trunk的所有鏈路必須兩端配置一致包括端口速率、模式長(zhǎng)距離模式還是短距離模式和Trunk ID。任何一項(xiàng)兩端不一致Trunk就會(huì)拆成單條鏈路運(yùn)行帶寬直接跌到四分之一故障排查表現(xiàn)為鏈路帶寬不足但端口狀態(tài)正常。我在排障時(shí)經(jīng)常先檢查Trunk是否完整因?yàn)楹芏嘈阅軉?wèn)題的根因在Trunk被拆散而不是存儲(chǔ)本身慢。命令行里查看Trunk狀態(tài)最直觀的是用trunkshow命令。如果你看到Trunk Master和Trunk Slave狀態(tài)都不正常優(yōu)先檢查兩端的端口配置一致性。注意Trunk Master是自動(dòng)選舉的不需要手動(dòng)指定但選舉結(jié)果和端口編號(hào)、鏈路狀態(tài)有關(guān)。只要配置一致系統(tǒng)會(huì)自動(dòng)選出一個(gè)穩(wěn)定Master。3.3 Zone配置最小實(shí)踐Alias、Zone與Configuration三段式Brocade的Fabric里訪問(wèn)控制的基本單元是Zone。一個(gè)環(huán)境中主機(jī)只能訪問(wèn)同一個(gè)Zone內(nèi)的存儲(chǔ)端口跨Zone默認(rèn)不允許通信。配置Zone的標(biāo)準(zhǔn)做法是三層結(jié)構(gòu)先定義Alias給設(shè)備和端口起名字再把這些Alias組合成Zone最后把多個(gè)Zone加入Configuration并啟用。這樣做的好處是后期維護(hù)清晰不需要記住一串WWPN。# 第一步定義Alias給主機(jī)HBA和存儲(chǔ)端口起別名 alicreate HBA_WebServer1, 10:00:00:90:fa:5a:1c:01 alicreate HBA_WebServer2, 10:00:00:90:fa:5a:1c:02 alicreate STOR_Port01, 50:06:29:81:00:00:00:01 # 先查WWPN對(duì)服務(wù)器側(cè)用lucent或ficonshow命令可以查到本交換機(jī)連接的設(shè)備WWPN # 實(shí)際環(huán)境中WWPN從服務(wù)器HBA管理界面或存儲(chǔ)陣列前端端口信息中獲取不要憑記憶手敲 # 第二步創(chuàng)建Zone把一臺(tái)服務(wù)器和一個(gè)存儲(chǔ)端口放進(jìn)同一個(gè)Zone zonecreate ZONE_Web_01, HBA_WebServer1; STOR_Port01 # 第三步創(chuàng)建Configuration并把配置啟用 cfgcreate CFG_SAN_A, ZONE_Web_01 cfgenable CFG_SAN_A # cfgenable后系統(tǒng)會(huì)提示該配置已生效此時(shí)可以用cfgshow確認(rèn)配置完成后記得執(zhí)行cfgsave保存配置到持久化存儲(chǔ)讓交換機(jī)重啟后也能保留。這是一個(gè)最容易掉的步驟很多人在實(shí)驗(yàn)環(huán)境里配完Zone直接忘掉保存重啟后所有Zone配置丟失存儲(chǔ)網(wǎng)絡(luò)瞬間失去訪問(wèn)控制多路徑軟件報(bào)一堆路徑錯(cuò)誤。參數(shù)表不會(huì)告訴你Zone配置的容量上限但FOS系統(tǒng)對(duì)Zone成員數(shù)量有上限要求。6510的Zone數(shù)據(jù)庫(kù)容量對(duì)于絕大多數(shù)中小型SAN環(huán)境都?jí)蛴玫绻愎芾淼氖巧锨_(tái)主機(jī)的超大規(guī)模環(huán)境建議劃分多個(gè)Fabric來(lái)分散Zone數(shù)據(jù)庫(kù)壓力不要把所有Zone堆在一臺(tái)交換機(jī)上。3.4 參數(shù)表與實(shí)際固件版本的差異以交換機(jī)實(shí)際運(yùn)行為準(zhǔn)參數(shù)表PDF里描述的是一臺(tái)“出廠新鮮”的交換機(jī)的能力比如支持的Fabric OS版本范圍、默認(rèn)允許的Zone數(shù)量、支持的最大Trunk數(shù)量。實(shí)際設(shè)備可能運(yùn)行著多年后升級(jí)到的更高版本固件也可能還停留在老版本。固件版本差異會(huì)帶來(lái)兩個(gè)實(shí)際問(wèn)題一是版本過(guò)舊時(shí)新版本固件中Zone配置語(yǔ)法的細(xì)微變化用不了二是版本過(guò)新時(shí)舊版參數(shù)表里某些描述已經(jīng)不適用。我建議拿到設(shè)備后先通過(guò)version命令確認(rèn)固件版本再去博科官網(wǎng)查該版本的Release Notes重點(diǎn)看“已知問(wèn)題”和“兼容性說(shuō)明”兩節(jié)?,F(xiàn)實(shí)中有過(guò)案例某環(huán)境在6510上配置Trunk時(shí)一切正常后來(lái)固件跨版本升級(jí)后Trunk端口的光模塊不再被識(shí)別排查到最終才發(fā)現(xiàn)是升級(jí)過(guò)程跳過(guò)了中間版本直接跨越到新版本導(dǎo)致模塊固件不兼容。這種問(wèn)題不是6510本身不行而是升級(jí)路徑太激進(jìn)。所以固件升級(jí)盡量沿著官方推薦的路徑走跨大版本時(shí)逐級(jí)升級(jí)不要一步登天。4. 初始化配置與參數(shù)核對(duì)把PDF上的數(shù)字變成運(yùn)行狀態(tài)4.1 首次登錄與基礎(chǔ)網(wǎng)絡(luò)配置6510出廠默認(rèn)是可以通過(guò)串口管理的。第一次通電后通過(guò)Console線連接交換機(jī)用終端軟件登錄。默認(rèn)IP地址通常為10.77.77.77子網(wǎng)掩碼255.255.255.0。需要注意的是博科交換機(jī)出廠默認(rèn)開啟了DHCP服務(wù)但默認(rèn)IP地址是固定的。如果你需要從網(wǎng)絡(luò)管理它先把管理IP改了不然下一臺(tái)同樣配置的設(shè)備接入就會(huì)沖突。# 通過(guò)Console登錄后進(jìn)行網(wǎng)絡(luò)配置 ipaddrset # 交互界面中依次輸入IP地址、子網(wǎng)掩碼、網(wǎng)關(guān) # 例如IP Address 192.168.10.20 / Mask 255.255.255.0 / Gateway 192.168.10.1 # 配置完成后查看管理配置 ipaddrshow # 確認(rèn)管理IP和VLAN信息無(wú)誤后再拔掉Console線配置管理IP后先不要急著啟用遠(yuǎn)程管理功能用SSH服務(wù)先測(cè)試連通性。SSH在博科交換機(jī)上的默認(rèn)端口是22開啟SSH后建議立刻修改默認(rèn)密碼。出廠默認(rèn)密碼是人人皆知的通用弱口令不改的話這臺(tái)交換機(jī)在網(wǎng)絡(luò)上相當(dāng)于門戶大開。修改密碼后用SSH重新登錄確認(rèn)遠(yuǎn)程管理正常之后Console線可以收起來(lái)日常運(yùn)維全部走SSH。4.2 核對(duì)參數(shù)表的命令矩陣端口、License、固件逐項(xiàng)驗(yàn)證初始化時(shí)把參數(shù)表上每一個(gè)可驗(yàn)證項(xiàng)目都過(guò)一遍是一個(gè)值得養(yǎng)成的習(xí)慣。拿著一張PDF去機(jī)房比對(duì)著挨個(gè)看雖然顯得老派但能避免很多后續(xù)隱患。這里有一張我常用的核對(duì)對(duì)照表每一行對(duì)應(yīng)參數(shù)表里的一個(gè)欄目和驗(yàn)證命令。參數(shù)表欄目驗(yàn)證命令預(yù)期結(jié)果異常處理端口數(shù)switchshow激活端口數(shù)等于License授權(quán)數(shù)license數(shù)量不足時(shí)聯(lián)系供應(yīng)商補(bǔ)授權(quán)端口速率switchshow鏈路速率為16G或協(xié)商后的適配速率速率不符時(shí)檢查模塊類型和線纜質(zhì)量電源模塊powershow所有電源狀態(tài)OKFault狀態(tài)電源需要更換注意整組匹配風(fēng)扇模塊fanshow所有風(fēng)扇正常運(yùn)轉(zhuǎn)Fault風(fēng)扇會(huì)導(dǎo)致散熱告警及時(shí)更換固件版本version版本號(hào)符合官方支持范圍版本過(guò)舊時(shí)規(guī)劃固件升級(jí)管理IPipaddrshow與網(wǎng)絡(luò)規(guī)劃一致不一致時(shí)重新執(zhí)行ipaddrsetDNS/NTPdnsshow/tsclockserver已正確配置未配置時(shí)補(bǔ)充否則日志時(shí)間錯(cuò)亂很難排障這張表里NTP這一項(xiàng)容易被忽略但SAN環(huán)境里時(shí)間同步很重要因?yàn)槎嗦窂杰浖痛鎯?chǔ)復(fù)制功能都依賴精確的時(shí)間戳。兩套Fabric的時(shí)間偏移超過(guò)一定閾值一些一致性校驗(yàn)會(huì)報(bào)錯(cuò)甚至影響復(fù)制鏈路的狀態(tài)判斷。4.3 配置備份把configupload當(dāng)成必做項(xiàng)交換機(jī)配置的備份是很多運(yùn)維團(tuán)隊(duì)容易忽視的事但實(shí)際故障恢復(fù)時(shí)配置備份就是后悔藥。博科交換機(jī)的配置備份可以通過(guò)configupload命令把配置上傳到遠(yuǎn)端FTP/TFTP服務(wù)器或者把配置內(nèi)容在終端里打印出來(lái)然后復(fù)制保存。# 備份配置到FTP服務(wù)器 configupload -ftp -h 192.168.10.100 -u backupuser -p password -f brocade6510_config.txt # 注意-h參數(shù)是指FTP服務(wù)器的IP地址-u和-p是FTP賬號(hào)密碼-f是保存的文件名 # 如果環(huán)境里沒(méi)有FTP服務(wù)器也可以直接把配置導(dǎo)出到終端 configshow # 將輸出完整保存為文本文件這個(gè)文件就是一份可回溯的配置快照配置備份頻率怎么定我一般建議在每次變更后都做一次備份時(shí)間充裕時(shí)每周做一次例行備份。不要等到要升級(jí)固件前才想起來(lái)備份因?yàn)樯?jí)失敗時(shí)你需要恢復(fù)到的是“升級(jí)前那一刻的配置”而不是“三個(gè)月前某一次備份的老配置”。老配置恢復(fù)回去之后期間新增的Zone和Alias全部丟失存儲(chǔ)網(wǎng)絡(luò)雖然能起來(lái)但很多業(yè)務(wù)主機(jī)的訪問(wèn)關(guān)系會(huì)錯(cuò)亂修復(fù)時(shí)間比重新配置還要長(zhǎng)。4.4 變更前的檢查清單防止手誤寫壞Fabric做任何配置變更前按下面這個(gè)清單過(guò)一遍能擋掉絕大多數(shù)低級(jí)事故。第一確認(rèn)變更范圍和影響面。這組命令只影響Zone還是會(huì)影響Fabric級(jí)參數(shù)在Fabric中共享的參數(shù)變更會(huì)影響所有交換機(jī)盡量不要在下班前半小時(shí)操作這種變更。第二備份當(dāng)前配置。執(zhí)行完configupload后將備份命令復(fù)制到變更記錄文檔中。第三逐條執(zhí)行命令而不是批量粘貼。批量粘貼配置命令時(shí)一旦某條命令中存在隱藏字符執(zhí)行結(jié)果會(huì)五花八門最后不得不逐條回滾。第四變更完成后立即執(zhí)行cfgshow和switchshow確認(rèn)結(jié)果確認(rèn)無(wú)誤后再關(guān)閉終端會(huì)話。第五記錄變更時(shí)間和操作命令到變更日志里方便后續(xù)追溯。這套清單看著簡(jiǎn)單但絕大多數(shù)Zone配置錯(cuò)誤和鏈路中斷事故都能在這里面被攔住。我見過(guò)因?yàn)榕空迟N命令時(shí)少了分號(hào)導(dǎo)致兩條Zone被合并成一個(gè)的案例也見過(guò)在Fabric中刪除一個(gè)Zone結(jié)果把整塊配置搞掛的事故。變更過(guò)程慢一點(diǎn)收益是很直接的。5. 部署避坑實(shí)錄6510最常見的五個(gè)翻車現(xiàn)場(chǎng)5.1 坑一SFP插好了端口卻顯示No_Card現(xiàn)象是switchshow輸出中端口狀態(tài)為No_Card但SFP模塊明明已經(jīng)插在端口里。排查原因常見的原因有兩個(gè)一是SFP模塊沒(méi)有插到位鎖扣沒(méi)有卡緊模塊邊緣和端口面板平齊但實(shí)際沒(méi)有接入總線二是兼容模塊與固件不兼容模塊本身通電但不被識(shí)別。解決辦法先拔下來(lái)重新插入聽到鎖扣“咔噠”聲后再觀察端口狀態(tài)。如果仍然顯示No_Card把模塊換到相鄰端口測(cè)試逐個(gè)排除是模塊問(wèn)題還是端口問(wèn)題。如果同一模塊在不同端口均不識(shí)別基本可以斷定是模塊兼容性問(wèn)題換模塊。5.2 坑二Zone配置保存了但重啟后全部丟失現(xiàn)象是執(zhí)行cfgadd和cfgenable時(shí)一切正常業(yè)務(wù)也能正常訪問(wèn)但交換機(jī)重啟后所有Zone配置消失Fabric恢復(fù)成無(wú)Zone限制狀態(tài)。原因配置沒(méi)有持久化。cfgenable生效的只是運(yùn)行態(tài)配置不執(zhí)行cfgsave配置不寫入持久化存儲(chǔ)。解決辦法很簡(jiǎn)單在完成所有Zone變更后執(zhí)行cfgsave系統(tǒng)提示配置已保存后再離開。記住cfgshow確認(rèn)的是運(yùn)行態(tài)cfgsave確認(rèn)的是持久態(tài)兩者缺一不可。5.3 坑三License數(shù)量與端口激活數(shù)對(duì)不上現(xiàn)象是明明買了48端口激活的型號(hào)switchshow里激活端口數(shù)卻只有24。原因供應(yīng)商發(fā)貨時(shí)誤發(fā)了24端口License授權(quán)版本或者License注冊(cè)碼填寫不完整。解決辦法先執(zhí)行l(wèi)icense --show查看當(dāng)前授權(quán)數(shù)如果確實(shí)只有24口授權(quán)聯(lián)系供應(yīng)商補(bǔ)齊License。注意要保留好license鍵的原始郵件或文件補(bǔ)授權(quán)時(shí)需要提交原授權(quán)信息。千萬(wàn)別試圖用網(wǎng)上流傳的“破解激活”方式去解鎖端口FOS系統(tǒng)本身不記名但一旦升級(jí)固件時(shí)License信息校驗(yàn)失敗端口全部失活那時(shí)候正常采購(gòu)流程反而被拖慢。5.4 坑四固件升級(jí)后有些功能找不到了現(xiàn)象是按舊版參數(shù)表上標(biāo)注的命令去執(zhí)行新版固件提示命令不存在。原因Fabric OS版本迭代中對(duì)部分管理命令做了更名或拆分。比如舊的zone命令集合在新版本中被重新組織部分子命令挪到了別的命令空間下。解決辦法執(zhí)行help命令列出當(dāng)前固件支持的完整命令清單或者查閱該版本對(duì)應(yīng)的Command Reference。固件升級(jí)前先看Release Notes里的“命令變更”章節(jié)能省去不少查命令的功夫。5.5 坑五氣流方向裝反溫度告警持續(xù)上升現(xiàn)象是機(jī)房空調(diào)溫度正常但6510持續(xù)上報(bào)溫度告警風(fēng)扇轉(zhuǎn)速拉滿噪音明顯變大。原因設(shè)備電源模塊的氣流方向與機(jī)柜氣流模型不匹配設(shè)備排出的熱風(fēng)沒(méi)有順利進(jìn)入熱通道在設(shè)備內(nèi)部堆積。解決辦法下架檢查電源模塊和風(fēng)扇模塊上的氣流箭頭標(biāo)識(shí)確認(rèn)與機(jī)柜冷熱通道方向一致。如果設(shè)備已經(jīng)運(yùn)行了一段時(shí)間重新上架時(shí)順手清理一下防塵網(wǎng)上的積灰灰塵堵塞是溫度告警的另一個(gè)隱形幫兇。這五個(gè)坑分散在硬件、配置、License、固件、環(huán)境五個(gè)層面本質(zhì)上都是因?yàn)閰?shù)表PDF只描述了設(shè)備“應(yīng)該什么樣”沒(méi)告訴你“實(shí)際運(yùn)維時(shí)會(huì)遇到什么”。每一條都對(duì)應(yīng)著一個(gè)實(shí)際的故障場(chǎng)景提前了解就能在真正遇到時(shí)快速定位不至于半夜三更在機(jī)房里抓瞎。6. 落地驗(yàn)證把參數(shù)表上的每一行跑成實(shí)際數(shù)據(jù)6.1 從PDF到狀態(tài)的閉環(huán)核對(duì)方法收到一臺(tái)6510后按三個(gè)步驟在一周內(nèi)完成參數(shù)表的實(shí)際驗(yàn)證第一天做硬件核對(duì)和基礎(chǔ)配置第二天接業(yè)務(wù)鏈路并驗(yàn)證Zone訪問(wèn)關(guān)系第七天做一次完整的性能抽測(cè)和告警檢查。第七天的性能抽測(cè)不一定要用專業(yè)的SAN性能測(cè)試儀直接在存儲(chǔ)側(cè)觀察主機(jī)IO路徑的延遲和吞吐或者用fabricos內(nèi)置的portperfshow命令查看端口流量。portperfshow輸出的數(shù)據(jù)是按端口實(shí)時(shí)統(tǒng)計(jì)的能看到每個(gè)端口當(dāng)前的收發(fā)流量和CRC錯(cuò)誤數(shù)。如果有CRC錯(cuò)誤計(jì)數(shù)持續(xù)增長(zhǎng)說(shuō)明光纖鏈路存在信號(hào)質(zhì)量問(wèn)題大概率是光模塊或者光纖跳線的問(wèn)題趁業(yè)務(wù)低峰期更換鏈路。6.2 巡檢三件套端口、告警、配置變更記錄日常巡檢時(shí)我習(xí)慣用三條命令完成快速評(píng)估。第一條是portshow --all檢查所有在線端口的CRC錯(cuò)誤和信號(hào)狀態(tài)重點(diǎn)關(guān)注錯(cuò)誤計(jì)數(shù)不為零的端口。第二條是errshow查看系統(tǒng)錯(cuò)誤日志交換機(jī)在運(yùn)行過(guò)程中會(huì)記錄各類事件包括鏈路重置、溫度告警、License異常等。第三條是cfgshow確認(rèn)當(dāng)前生效的Zone配置沒(méi)有被人為改動(dòng)過(guò)防止某次變更后配置殘留。三條命令輸出幾十行就能覆蓋交換機(jī)核心健康狀態(tài)比登錄Web管理界面點(diǎn)開各種圖表更高效。6.3 一個(gè)值得養(yǎng)成的習(xí)慣把變更記錄變成自己的“小參數(shù)表”我自己的習(xí)慣是每臺(tái)交換機(jī)維護(hù)一份TXT文件記錄這臺(tái)設(shè)備的IP、激活端口數(shù)、固件版本、License授權(quán)、上次配置變更內(nèi)容。這臺(tái)交換機(jī)參數(shù)表PDF永遠(yuǎn)放在文件服務(wù)器上版本一更新就替換舊版。這份TXT在實(shí)踐中救過(guò)我不少次有一次一個(gè)核心Zone誤刪了我翻著備份記錄在兩分鐘之內(nèi)恢復(fù)出原來(lái)的配置結(jié)構(gòu)而不是對(duì)著Web界面憑記憶重敲。配置文件備而不用最好一旦用上這些記錄就是你最可靠的復(fù)盤依據(jù)。希望這份從參數(shù)表到落地驗(yàn)證的路徑能幫到你讓你手里的6510少一些玄學(xué)多一些確定性。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99综合自拍| 91n美女视频| 操逼无毒无码免费视频| 一区二区三区精品黑丝白丝酒店对鸡| 在线a亚洲视频播放在线| 劲爆欧美人妖三区91| 黑人黄片在线免费观看| 99精品人人爽| 92福利社视频| 综合 亚洲 欧美| 日本99一区二区| 日韩无码黄色片| 欧美97爱| 蜜臀va69| 国产熟女自拍| 嗯嗯啊好大| www.zbzhongsen.com| 麻豆综合一区av| 久操免费观看| 亚洲AV无码AV吞精久久久久| 人人九九精| www黄片免费看com| 毛片麻豆91糖心精品毛情片| 日本操逼视频导航| 国产精品免费日韩| 婷婷五月天激情四射| 日日骚精品视频| 欧亚久久偷拍视频| 夜夜骑操视频| 人人爽人人精品乱人伦AV| www.超碰在线| 亚州色交| 91狠狠色丁香婷婷综合久久精品| 国产白嫩漂亮KTV在线| 国产一国产一级毛片古装| 国产外初女出血视频| 伊人久久大香蕉线AV五月天| 一二三啪啪专区| 六月丁丁香| 蜜臀一区二区三区在线| 91日产欧美| 丁香五月激情综合| 青青草视频这里只有精品| 色青青久久影视| 色噜噜精品一区二区三| 精品中文字幕第一页| 乱欲视频| 亚精品无码毛片一区二区三区| 另类天堂| 精品97精品97| 国产九九九九九九九九| 人人弄人人摸| 国产精品久久久久久9999| 国产精品密臀网在线观看| 久操操| 丁香五月天堂| 99久久com免费视频′| 亚洲第一页色| 韩国毛片一区二区三区| 日韩电影免费网站麻豆视频| 欧美激情久操网| 色亚洲欧美| 超碰精品97| 97视频播放| 午夜美女诱惑电源网| 巨乳特殊服务按摩| 国产农村妇女精品| 欧美日韩国产一区二区小黄片大全| 射久久| 我想要 啊 啊 啊| 性综合网| 91深夜夜| 97av在线视频| 欧洲精品人妻| 成人性交午夜免费片| 欧美丝袜亚洲| 日本人妻伦在线中文字幕| 成人免费看吃奶视频网站| 天天干人人干天天日97| 97天天爽| 欲女人妻性色av| 91少妇高潮| 美女裸体无遮挡永久免费观看网站| 自拍偷拍国产欧美日韩韩| 精品中文字幕一区二区| 五月天激情网图片| 亚州欧美综合| 精品人妻一区二区三区在| 牛牛操视频逼| 熟女自慰久久久| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 97亚洲精品| 波多野结衣AV无码一区| 果冻国产精品麻豆成人av| 67194国产| 97在线免费看| 日韩欧视频| 国产婷婷综合在线观看| 天天干天天操天天干天天操| 久久久精品无码亚免费| 国产精品小视频一区二区三区| 亚洲性图91| 99999亚洲| 国产欧美精选激情视频| 少妇人妻精品| 亚洲欧美国产va在线播放频| 色丁香久久| 福利天堂| 国产区在线| 网站A V在线| 天天弄天天操| 色爱综合网欧美| 99蜜月精品久久| 91人妻人人澡人人爽人人精品| 久草免费在线一区二区| 97精品国产精品免费观看| 91 丝袜在线播放| 精品性爱一区二区| 91伊人久久在线| 色综合V| www.婷婷六月天| 啊啊啊啊啊好舒服视频| 国产精品永久免费10000| 9久综合网| 26uuu久久| 中文字幕在线观| 日日干夜夜欢| 国产精品不卡少妇白| 日本一区二区做爱的视频| 91色爽欧美| 夜夜操美女| AV天堂丝袜| 懂色Av一区二区三区| 亚洲天堂无码| 成人性交免费视频| 亚洲 日韩 欧美 国产综合体| 国产精品在线一区二区| 国产精品久久99日日| 亚洲色图欧美视频| WWW美腿丝袜香蕉中文| 国产精品黄色三级av| 91色情黑丝搞鸡在线观看一区二区三区三州| 国产女人极品高潮毛片| 91超碰人人操| 欧美日韩高潮喷水91| 成年女人一区| 国外91| 综合欧美日韩在线| 97人人模人人爽人人| 欧美一区二区福利在线| 久久久com| 91在线免费精品视频| 国产成人在线观看综合| 日韩精品午夜操呦呦不卡影院| 五月婷婷久久综合| 色九久| 婷婷午夜| 亚洲色图91| 激情五月天网| 国产肏逼网站| 亚州色图片在线色| 日本在线一二| 啪啪啪东京| 欧美情色贴图| 国产麻豆福利av在线播放| 一区二区亚州激情久婷婷欧美| 国产三区免费在线观看| 校园春色五月天| 国产性感在线观看| 国产精品熟女丝袜一区二区| 亚洲黄色AV电影| 玖玖97综合| 91视频精品| 免费亚洲国产精品久久一区| 99精品在线观看| 日本东京热久久久电影| 中精品一区二区三区| 99久视频| 国产欧美日韩一区二区三区| 国产馆| 91丝袜激情在线| 秋霞久久亚洲精品成人| 狠狠爱夜夜| 亚洲射综合网| 国产精品999zyz| 夜夜爽夜夜操| 91美女国产在线| 国产av白丝| 亚洲第一狼人丝袜美女另类 | 国产最火爆久久国产网站网站| 六月丁丁香| 国产高清成人免费视频| 大香蕉欧美| 亚洲综合伊人| 天天α片| 久久视网78| 亚洲欧洲另类| 日日夜夜干| 日韩中文字幕在线视频观看| 思思热国产高清| 人人澡人人澡人人| 久久久111| www鬼畜国产男人的天堂| 中国国国产一级特黄毛片| 91春色| 亚洲欧美综合网| 啊啊啊要高潮了| AV色天香在线| 亚洲情色电影网| 国产女人操逼视频| 少妇干B| 26uuu欧美日韩| 色综合一本| 国产呦精品系列在线观看| 中文字幕日韩情色| 色97欧美| 国产91丝袜 在线播放| 性欧美精| 九九热午夜欧亚国产视频| 青青草日韩免费观看高清在线| 日本免费一区二| 欧美日不卡| 六十路日本| av资源在线播放天堂| 无码天天操| 操婢日韩| 一区二区三区高清天码| 国产操逼视频在线观看| 无码WWW免费视频网站| 无码人妻精品一区二区三区99不卡 | 国产一区二区三区影片| 丰满少妇一区二区三区专区| 久久久9品一区二区三区| 亚洲日本成人动漫| 日韩午夜国产| 中文精品少妇天堂| 黑人在线91| 欧美性夜| 国产精品人妻免费精品| 午夜精品久久久久久久久久蜜桃| 亚洲三区视频| 牛牛aV| 九月丁香| 中文字幕艹艹| 9精品久久| 狠狠做深爱婷婷久久二区| 免费亚洲国产精品久久一区| 亚洲中文字幕久久无码精品| 欧美天天综合网| 天天躁日日躁AAAAXXXX国产| 特级丰满少妇一级AAAA爱毛片| 人人干人人操人人..com| 日韩啪啪视频| 亚洲色图 欧美热图 清纯唯美 另类自拍| 无码heyzo高清一区| 少妇69中文| 国产噜噜噜噜噜久久久久久久久| 亚洲色图欧美色18直播在线| 日日日日做夜夜夜夜无码| 综合啪啪| 91影视亚洲| 亚洲97精品| 欧美亚洲色图另类国产| 九九九九九九九九九九九免费国产| 中文字幕人乱码中文字的预防方法| 少妇的嫩逼图片| 一级毛片久久久久久久女人18| 成人看片网站| 热热色国产一二区AV| 曰韩中文人妻视频| 色婷婷成人| 久久成人午夜狠狠| 欧美aa一级片| 97内射偷拍| 欧美色图亚洲色| 人人妻人人狠人人| 97超碰亚洲| 亚洲在线| 日本天天人人狠狠在线日美女| 欲色综合| 久操婷婷| 怡春院久久| 1禁看欧美黄片免费看| 国产精品亚洲四五区在线观看| 久久啊啊| 熟女人妻av在线资源,黄色的资源| 色妇91| 国产AV色黄看到爽| 亚洲自拍欧美色综合| 青娱乐福利99| 亚州 综合 色图| 青娱乐福利99| 欧亚第一综合网| 一级做a爰片性色毛片久久| 国产玖玖| 国产一级高清免费观看| 天美精品av| 亚洲国产天堂| 欧洲精品一区二区三区| 国产精品日韩在线一区| 日本精品免费一区二区三区四区| 天天夜躁日日躁狠狠2002| 一区二区久久天天干狠狠| 国产精品96久久久久久| 精品国产乱码久久久久久久久1| 欧美色视| 亚洲欧洲日产国产综合网| 亚洲色图尤物视频| 97久久久久久久久久| 欧美中出1| 99re6在线视频播放免费精品| www色色色com| 91综合网| 激情小说亚洲视频| 制服乱伦| 最新无码国产| 国产吹潮女在线观看| 国产av美女被艹的乱叫| 九九热三级片| 亚州色图狠狠干| 日韩人妻播放| 国内一区二区免费| 黄色十八禁| 五月丁香色情| 国产传媒午夜理伦精品| 少妇高潮喷水无套久久久久久| 国产色呦呦| 欧美第二页| 久久国模av| 婷婷五月综合在线| 久久久99免费| 后入精品| 青青草视频导航官网| 日本一级性爱| 五月丁香黄色网| 天操天操夜操夜月月年年操操| 五月丁香六月婷| 亚洲成人性爱网站在线播放| 欧美精品黑人猛交高潮| 九9热伊人| 男人亚洲91首页在线| 国产精品黄色三级av| 蜜区区视频79| 嗯嗯啊好大| 欧美一级三级| 久久久精品视频免费观看| 日韩欧美加勒比| 天美传媒av一区二区| 欧美亚洲激情小说| 国产免费一区在线观看| 欧美日韩国产黄色片| 天天噜| 大香蕉伊然在亚洲91| 美女超碰978| av天堂手机版追回| 欧美日韩电影成人在线| 91色色网站| 97久久超碰亚洲| 99re这里| 91精品成人| www.夜夜操| 黄片aaaaa一区| 精品国模无码| 免费AV中文网在线观看| 亚洲 日本 不卡| 熟女露脸激情自拍视频| 福利在线视频一区二区| 97超碰资源网| 加勒比日本在线| 久久9亚洲| 欧美亚洲综合色| 亚洲成人综合在线| 1024香蕉视频| 99精品热| 亚洲色图久久成人| 超碰超碰95| 人妻久久久| 综合色色网| 中文自拍欧美影视| 黄片www.| 激情五月综合网| 久久美女福利是上海美女| 久久国产免费激情视频| 国产成人自拍视频视频| 成人激情无码在线视频| 岛国在线一区二区三区| 少妇干B| 欧美一级黄片免费播放| 大香蕉啪啪啪| 青青草在线视频人人想人人上| 国产后入精品| 一牛影视久久久一区二区三区| 曰韩欧美国产传媒麻豆第一区| 一区二区你上我| 九九热视频在线观看| 熟女性视频| 欧美日日网| 97网址www| 伊人色综合超碰| 综合欧美日韩在线| 97久久超碰亚洲| 色图四区| 一本精品日本在线视频精品| 牛牛aV| 亚洲欧美精品91| 九九九九88| 美性中文综合网| 97资源站久久| 999精品久久久久久久| 国产高清成人免费视频| 看一级特黄a大一片| 国产人妻天天干精品| 色五月婷婷五月天| 乱码熟妇人妻久久久| 亚洲精品黑丝| 9久精品| 日本黄色大片一级视频免费麻豆| 强奸乱亚洲| 亚洲熟妇丝袜在线观看| 久久6热精品99视频| 果冻传媒A片麻豆熟妇人妻| 久操精品| 播播亚洲小说亚洲| 欧洲Au麻豆| 亚洲综人| 在线A日本| 色五月首页| 一区二区不卡| 精品国产乱码久久久久久网站入口| 日本熟女不卡视频| 色色五月婷婷| 噜噜噜久久亚洲精品色情| 天天综合~91| 高清有码一区二区| 色色99| 蜜桃一区二区三区| 欧美性爱精品七区| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 日本 欧美 亚中文字幕| 中文字幕在线2| 日本精品五区| www.99视频| 国产精品天干天干综合网麻豆| 日本女人久久久| www国产天美久久久| 美女啊啊啊啊pc| 久久久无码精品人妻二区| 国产在线观看91精品一区| 超碰在线91| 国产精品3| 三级精品三级在线观看| 91在线页| 另类小说欧美激情校园春色| 国产精品岛国片在线观看| 中文字幕乱碼在线| 青春草莓视频在线观看网址| 熟女精品一区二区三区| 9 1超碰九色| 人人摸.人人色| 久久久9品一区二区三区| 日本幼女18+| 成人性爱电影一区二区| 久久熟女精品不卡一区| 中文字幕亚韩| 欧美色图99| 国产福利影视| 日本大香蕉综合网红本杳社区| 欧美日韩中文亚洲v在线综合| 欧美日本天堂| 国产精品网址| 五毛骚逼极品美女怕怕| 亚洲精品影视老司机| 在线一区| 白嫩国模丰满一二三区| 天天影视之亚洲综合网| 国产又色又爽又舒服的三级视频| 熟女露脸激情自拍视频| 青娱乐日韩无码| 午夜啊啊| 97午夜剧场日韩| www国产无码| 91亚洲不卡一区| 国产精品 视频| 久久精品亚洲东京热色播| 国产精品视频内谢女人| 九九九久久久久| 人人妻人射| 亚洲好色人妻| 91丝袜美女国产| 日产操逼| 懂色av中文字幕一区二区三区天美 | 久久xxxx| 亚洲无992tv| 日韩精品99久久久久久中文字幕| 18禁美女裸体无遮挡啪啪| 加勒比久久av| 中日无幕一二三四区| 久久久久久亚洲Av无码精| 粉嫩小泬久久久一区二区| 亚洲操逼无码| 日本αv| 欧美体内射精| 人人爽天天爽| 欧美黑人精品在线播放| 91亚洲影视| 欧美玖玖爱免费玖玖| 激情综合久久| 亚洲?V无码专区在线电影| 人澡逼| 电影69乱码96| 人妻熟女av国产网站| 色悠久| 亚洲日韩欧美一区二区| 精品久久久九九九孕妇| 亚洲熟女av日韩熟女| 男人天堂电影院| 午夜AV污污污| 色五月69夫妻| 综合久久99| 小视频玖玖| 丰满熟女一区二区三区在线播放| 亚洲电影91| 五月天春色激情网| 自偷自拍的亚洲视频| 69av一区二区三区| 五月天婷婷社区| 人妻激情在线视频| 亚洲情色在线| 丰满人妻aA一区二区三区| 欧美韩国你懂得在线 | 久久人体一区二区| 久久夜嗨| 99久久com免费视频′| 十八禁成人网站在线观看| 搡老女人老91二区| 一卡二卡在线播放| 久久久九九| 97视频620| 久久精品视频久久久| 亚洲图片欧美在线视频| 欧美日本国产日韩激情视频| 久久受www免费人成| 麻豆成人影音在线| 天天欲望网| 玖玖大干人妻| av草草在线电影| 色婷婷淫色网| 中文字幕人乱码中文字的预防方法| 加勒比在线视频| 激情五月综合网| 国产免费一区在线观看| 亚洲成av人片色午夜乱码| 日韩人妻免费精品| 丝袜熟女一区二区三区| 亚洲va有码在线天堂| 日韩中文字幕视频| 中文字幕乱码人妻二区三区| 亚洲精品免费中文字幕| 大香蕉乱级| 国产精品不卡一区二区三区av| 精品九九| 成人性爱免费播放| 51国产午夜精品视频| 日韩欧美日韩| 日本性感人妻91| 国产91亚洲精品一区二区三区| 搡老女人老91妇女老熟女| 成人性生活高清视频在线播放| 淫纸中9区| 麻豆 美女 丝袜 人妻 中文| 亚洲熟女av中文字幕| 91中出| 国产主播福利| 中国少妇XXXX做受| 全球成人中文在线| 亚洲性爱高潮影院| 亚洲欧美另类少妇精品| 亚洲日韩久久精品一区| 亚洲成人AB| 综合欧美亚洲| 91伊人久| 国产一区二区啪啪视频| 人妻激情另类| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 久热精品在线| 五十路熟女人妻一区二区三区四区五| 26uuu最新| h4610国产人妻| 日韩无码专区| 97色爱| 嗯嗯啊啊日韩精品| 亚洲黑人在线| 萌白酱自拍视频| 99熟女| 天天综合网久久ww| 精品人妻视频一区二区在线播放| 青青草好吊色| 亚洲一曲日韩精品| 九九热免费视频| 麻豆AV96熟妇人妻| 青草地一本线一区二区三区| 久久久久亚洲三级电影| 色五月首页| 国产肏屁眼视频| 美女91网| 天天操天天干一区二区| 人妻少妇精品一区二区三区| 久草男人天堂| 97超碰人妻| 久久亚洲精品成人av| 素人美腿视频网站| 夜夜夜爽www精品视频| 91精品亚洲内射孕妇| 五月丁香六月婷综合成人综合| 97干com| 亚洲图片 欧美电影| 国产美女销魂在线观看不卡| 日本在线一二 | 欧美性夜| 久久无码电影| 亚洲青色欧美| 在线日韩精品一区二区三区| 亚洲激情网| 午夜福利在线合集| 亚洲欧美色图小说| 欧美久久草熟女| 人妻少妇无码| 亚洲国产成人精品无码专区| 青青草色情网站视频| 激情色图| 超碰久久中文| 激情一区二区| 成人看片网站| 亚洲激情在线| 柠檬AV导航| 日韩专区久久久| 色狠狠 - 百度| 91熟女综合| 乱伦色图网址是多少| 刺激性视频黄页| 中文视频在线观看| 97超碰国产精品| 日韩十八禁| 成人欧美一区二区三区黑人一| 一本大道久| 国产女人成人精品视频| 国产乱不卡| 久久婷婷综合国际产色怕| 亚洲系列欧美| 嫖老熟女A片一二三区| 欧洲亚洲人人爽爽视频| 国产欧美岛国精品一区| 91 综合 色| 中国女人内射6XXXXX| 超碰久久网| 一级啊性爱在线视频| 超碰综合97在线| 国产高清成人传媒影视| 亚洲 欧美 日本 国内 首页| 婷婷五月天激情网| 日韩超碰97| 视频在线观看一二三区| 黄色免费网| 97碰碰日本乱偷人妻中文的| 国产精品一级毛片不卡视| 日韩欧美中文字亚洲慕| 亚洲男人bt天堂| 国产精品懂色tv影视免费观看| 一区二区三区男女操逼黄色小电影| 成人av性爱电影在线观看| 国产传媒一区日韩| 日本视频在线观看污污污| 后入人妻无码| 日本不卡高清免v欧美日韩在线观看| 2025年A片视频精品| 青青伊人久久| 99操99| 天天射天天| 亚洲文学偷乱拍啪啪啪啪| 天天拍天天操| 亚洲?V无码专区在线电影| 人人摸人人舔一区二区| 情侣开房子拍 日韩无码 女的很漂亮| 91伊人久| 一本色道熟妇| 久久爱超碰网| 啊啊啊好爽快点啊啊啊嗯嗯| 久久久久久亚洲中文| 天天干人人乐| 亚州日韩97| 精品一区二区三区蜜桃臀赵总 | 伊人影院日本| 超碰碰小说97| 福利风月五月天影院| 婷婷视频在线免费观看| av激情亚洲五月天| 大香蕉2017| 久久久久久九九九九-美女久久久久久久-成人AV | 亚欧高清在线| 综合伊人激情| 国产又粗又长又大的视频| 日韩国产十八禁| 久久 国产精品 一区| 亚洲AV成人无码一二三久久| 色图四区| 夜夜做夜夜爽精品视频| 亚洲综合影片| 嗯嗯嗯好爽| 久久香蕉国产线看观看猫咪av| 亚洲精品国语在线播放| 久久久无码精品人妻二区| 欧美78| 啊啊啊啊啊在线观看网址| www欧美性爱| 青娱乐欧美激情一区二区| 久久久人妻| 大香蕉2017| 久久99草| 99蜜桃臀久久久欧美精品网站| 久久五月份| 91精品黄在线观看| 91爆操视频| 精品人妻一区二区视频| 亚洲精品国语在线播放| 高清无码人妻久久久一区二区三区aⅴ| 欧美与日韩97| 91爱看| 九九九九日本| 九九热视频这里只有精品| 亚洲综合97中文网| 又黄又爽在线观看视频| 日本色色网| 日欧操屄视频| 久久曰曰| 99热66| 五月丁香啪啪啪| 五月天激情影院| 亚洲欧美经典一区二区| 立川理惠加勒比无码| 91精品伊人久久久大香线蕉91| 一本久道在线综合视频| www.av在线视频| 久久久久久电影| 国产性久久久| h无码动漫在线观看| 亚洲AV无码AV吞精久久久久| 国产亚洲中文不卡二区| 日本精品无码三级网站| 国产福利小视频高清在线观看| 美女操逼福利视频| 精品区国产区一区二区三区| 免费强奸av| 秋霞视频一区二区| 蜜桃视频精品一区二区| 97精彩视频网站| wwe 天天干.com| 久久综合超碰| 熟女91网| 97精品一区二区三区免费| 97日韩欧美| 免费国产电影一区二区| 九色精品视频导航1| 国产尤物AV尤物在线观看不卡| 亚洲图片欧美在线视频| 亚洲天堂人妻一区二区| 久久久穴999| 日日干夜夜欢| 人妻丝袜一区二区三区在线| 亚洲熟伦熟妇AV无码春色| 天天操夜夜操狠很操| 99精品成人免费看| 狠狠狠一区二区三区| 91人妻视频| 狠狠爱夜夜干| 91色香| 国产精品区在线12p| 午夜福利成人免费视频| 青青草原人妻| 在线小视频| 亚洲动态色图| 家庭乱伦性爱av| 长长久久免费视频| 99热 按摩 日韩| 国产精品久久泡妞网站| 香伊人在线| 黄网在线播放| 啊啊啊啊二区好大| 日韩无码人妻中字久久三区四区| 日韩无码一级黄色av片| 午夜久久无码1000合集| 啊好大好舒服| 偷拍新久久| 国产狂喷潮在线精品| 免费视频a级毛片免费视频| 97色色色综合网站| 凌辱美少妇久久aV| 性色av网站| 禁十八久久| 中文字幕三四五区| 国语国产操逼伊人AV网| 亚洲人在线成线成人| 极品出轨视频网站| 国产精品视频麻豆入口| 1区2区3区在线视频| 国产精品久久久午夜夜伦鲁鲁| 色y情视频免费看| 可以免费观看的av| 97国产综合欧美| 中文字幕AV乱伦| 婷婷四五区| 久久超碰天天| 免费超碰97在线观看| 91老熟女逼| 欧美性色网| 五月婷久久| 天天综合网合集91| 欧美日韩国产中文精品字幕自在自线| 国产精品肉丝自拍| 少妇久久久久久久久| 91久久婷婷| 国产精品69久久久久孕妇欧美 | 天天干2019| 91亚洲图片| av一区二区三区 中文| 97精品中文字幕| 久操网视频| 欧美78| WWW啪啪的com| 北京美女一区二区| 国产成人无码a| 爽爽爽免费视频| 九九九精品成人免费视频小说| 亚洲欲色9532548967一区| 欧美激情1区| 五月天婷婷成人网| 日本加勒比无码专区| 欧美成人精品A片免费一区99| 丰满少妇精品一区二区| 嫖老熟女A片一二三区| 中出人妻中文字幕91在线| 欧美大香蕉专区网| 91综合天天看| 久久久网站| 综合久久2017| 青娱乐亚洲热| 国产午夜福利专区综合| 久久天天躁日日躁狠狠躁| 精品三级在线专区| 又摸又舔在线观看网站| 国产一级高跟丝袜| 日本孕妇孕交| 亚洲成人免费在线| 97视频在线播放| 人妻出轨一区二区三区| 亚洲精品国产熟女| 亚洲国产亚洲天堂| 九九色热| 91无码西班牙视频在线| 抽插爽| 蜜乳AV色欲AVAV无码| 欧美性爱一区二区三区| 欧美激情亚洲色图| 亚洲国产奇米影视久久| 欧美亚洲清纯| 五月丁香六月激情| 三级精品三级在线观看| 超碰无码五月97| 思思99热| AV乱伦专区| 日韩有码回春沙龙第一页| 五月香婷婷| 人人操人人干xxx| 内射黑丝袜| 人妻久久久久久| 69av一区二区三区| 日韩专区久久久| 超碰超碰95| 欧美日韩国产高清在线一二三区| 黑人性暴力毛片| 欧美久久婷| 激情干在线| dy888午夜老子影视达达兔| 色九九九综合| 色综合五月天| 国产黄色影片在线观看| 日日骚网站| 欧美亚洲AN| 99热精品在线在线| ..日韩av毛片精品久久久| 久久精品无码专区| 亚洲污污网站| 久久手机好看网站| 久精品无码av一区二免费国产在线观看| 96精品久久| 少妇色综合| 国产欧美美女免费观看视频| 久久久久成人亚洲国产| 91国产操逼视频| 国产久久天堂资源| 国产一区二区久久| 精品无码一区二区| 日韩午夜啪啪视频| 美女尤物人人操| 国产偷拍网站| 亚洲高清色综合| 久久网亚洲| 97天天操天天干| 欧美九九爱| 五月婷婷激情网| 国产乱码精品一区二区三区四川| 9久在线视频只有精品| 精品一区二区三区18| 色拍偷亚洲| 久久久久久久久久黄色网| 激情自拍 校园春色| 日本网色| 久久婷婷综合国际产色怕| 岛国大片国产| 无码人妻精品一区二区三区99不卡 | 亚洲超碰97| 久久婷婷成人综合色怡春院| 超碰到97情色| 久久视频少妇美女| 精品人妻一区二区三区视频| 99re不伦| 久久伊人在线五区| av优播| 91丝袜美女国产| 噜噜在线| 清柠毛片| 久久精精区一区二区一蜜桃一区二区| 日韩操人| 91综合在线| www色色色com| 五月丁香成人网| 婷婷导航| 日本大片日本一区二区免费高清| 六月色色| 这里有精品| 精品 码产区一区二-1080P高清在线www-B029AV | 久久亚洲AV成人精品无码| 日本操大逼| 人人操人人操草草| 日本三级R| 六月婷婷综合| 亚洲综合另类| 天天综合~91入口| 欧美日韩国产中文精品字幕自在自线,| 激情一区二区三区在线观看| 狠狠中文字幕| 人人爱夜夜爱| 熟女中出视频| 足交视频老司机| 超碰 国产熟女精品一区| 亚洲欧美国产精品久久久久久久| 国内毛片四区| 亚洲另类春色| 超碰精品国产无码| 国产亚洲精品农村妇女| 极品白嫩美女白浆成人福利在线看| 成人国产精品三级A片| 亚洲国产精品久久久久久久久久| 久久精品视频久久久| 蜜臀久久在线视频| 激情内射| 久久精品一区二区三区四区五区| av爱爱爱| 国产三区免费在线观看| 五月丁香啪啪| 东京热一区二区三区四区五区六区| 亚洲欧美setu| 校园春色 亚洲| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 精品国产乱码久久久影院| 日韩猛交| 免费一级a毛片久久久久久鸭绿欲| 蜜乳AV一区二区三区四| 日本三级中国三级99人妇网站| 少妇毛片久久| 大香蕉日韩欧美| 日韩亚洲欧美中文字幕| 日韩亚洲精品一区二区| 热九九精品| 884t在线| 97这里有精品| av网站在线观看了| 婷婷激情啪啪| 曰韩少妇无码| 精品久久久av无码免费| 成人性爱全视频观看| 综合久草| 青青久日| 亚洲字幕一区二区| 夜夜爽爽爽| 乱子伦一区二区三区国产精品| 国产欧美另类久久久精品课程| 日本人妻中文字幕精品| 色婷婷99| 久久久久921| 欧美不卡五十路| 996热| 亚洲999综合| 午夜啪| 九九碰九九爱97超碰| 九九九精品一区二区无码| 屁股久久久久久久久久| 国产又操| 超碰久久网| se吧提供国产乱老熟视频胖女人| 思思99热| 欧洲站一级二级三级h| 大香蕉www.超碰| 91人妻人人妻| 91热热色| 麻豆啪啪啪视频| 亚洲性猛交| 国产精品免费1区2区视频| 九九九九久久久| 日日爽熟女| 亚洲欧美日韩精品久久久一区二区| 国产精品午夜成人福利| 亚洲天天综合| 精品国产一区二区三区av在线资源| 一级免费精品| 久久亚洲AV无码专区国产精品 | 99re国产精品视频| 青青草国产亚洲精品久久| 欧美日韩在线小说| 久久人妻视频网| 国产激情在线| 激情综合婷婷| 男人的天堂三级| AV无码久久久精品| 国产自产22区| 精品一区二区综合熟妇| 96国产污污污丝袜| 日韩av不卡在线看| 久操在97| 久操网址| 国偷自 一区二区| 在线综合色| 国产情色第一第二页在线观看| 久久黄色视频一区二区三区| 五十路熟女工口| 国产日逼视频| 偷拍色图| 久久欧美性爱视频| 91天天爽| 99精品热| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 青青草精品| 久久精品欧美一区二区三区不卡| 青青草日本中文字幕| 亚洲国产av中文字幕久久| 97自拍一区| 99久久精品无码一区二区| 丰满欧美放荡少妇在线| www.久久久久| 亚洲欧美高清| 中文字幕一区二区三区人妻少妇在线| 欧美岛国精品在线观看| 白 大 人妻 区 在线| 成人性爱美曰韩| 久久久久女教师免费一区| 熟女人妻久久中文字幕一二区| 亚洲欧美日韩中文播放| 啊啊啊不要啊啊受不了了视频在线| 久久直播国产| 97操b| 中文字幕少妇色 | 97久久国产精品| www.色婷婷| 日韩av免费一级电影| 亚洲国产中文字幕| 九九AV| 国产a片操逼| 天天综合站| 日韩乱码av| 久草国产在线视频| 亚洲女人91| 超碰人妻中文在线| 黄色av一区二区在线| 亚洲网站一区二区在线| 91国内外在线| 欧美精品四区| 18禁免费视频| 久久精品无码专区| 黄资源| 婷婷99| 欧美色视频在线| 人人操人人肉久久精品| 熟女网站最新| 男人夜色天堂ss| 日韩亚洲中文有码视频| 美女啊啊啊啊啊啊| 欧美亚洲se91| 天堂蜜桃无码视频一区二区| 天天色天天干天天射| 不卡在线观看视频| 手机av亚洲丝袜美腿日韩第一页二页| 加勒比大香蕉视频在线| 国产亚洲女v在线观看| 野狼福利社区| 玖日综合网| 欧美日韩国产男人| 亚洲色吧网| 婷婷深爱五月| 91碰超| 被窝影院午夜看片无码| 婷婷丁香人妻 | 国产成人啪一区二区| 国产怡红院| 色五月综合| 性爱精品一区| 日本成人A片免费看| 女性喷水高潮在线观看| 午夜精品久久久久久久第一页按摩| 亚洲凸凹超碰成人| 大香蕉国产中文自拍| 狼天天狼天天大香蕉| 狠狠操综合| 日韩乱伦视频| 亚欧成人综合影院| 国产兽交视频在线播放| 91另类| 天天伊人| 91宗合网| 91精品导航| 夜夜黄| 91欧洲入口| 亚洲亚洲亚洲天堂天堂 | 丝袜美腿制服人妻二区中文字幕| 九九视频黄色片| 国产偷人伦激情在线观看| 91精品国产综合久久久蜜臀酒店| 黄色交缠性感爆操91国产精品免费一区二区三区 | 亚洲亚洲亚洲天堂天堂| 中文字幕人乱码中文字的预防方法| 欧美无圣光在线| 天天影视激情欧美| 综合干干干av久久久综合网 | 女人天堂av在线播放| 综合色一区三区二区| 精品国产乱子伦一区二区三区,精品一| 岛国天天午夜影院传媒网| 91|九色|国产熟女| 久久精品国产亚洲5555| 欧美美女视频| 丰满人妻一区二区三区免费| 九九热只有精品| 97鸡把在线视频| 国产精品久久久久婷婷二区次| 98超碰欧美| 男人天堂资源| 免费成人自拍视频在线| aaa亚无码专区| 亚洲无码成人精品| 国产精品免费日韩| 成人免费不卡在线视频| 国产精品青草综合久久|