簡介這是一份面向Python初學者與網(wǎng)絡爬蟲實踐者的入門級練習資源聚焦B站小視頻的批量采集場景涵蓋動態(tài)請求構(gòu)造、User-Agent隨機化、視頻文件大小預估及下載進度實時反饋等核心技能點適用于課程實驗、自學項目或技術(shù)備賽中的HTTP協(xié)議實戰(zhàn)訓練。壓縮包共5個Python源文件總大小僅12KB結(jié)構(gòu)清晰主程序bilibili.py統(tǒng)籌調(diào)度其余task_*.py分別封裝獲取動態(tài)接口數(shù)據(jù)、生成隨機瀏覽器頭部、計算目標視頻體積、實時打印下載進度等模塊化功能便于分步調(diào)試與原理理解。已有272人學習下載資源代碼簡潔規(guī)范注釋充分無第三方依賴硬編碼可直接運行并快速遷移至其他類似視頻平臺爬取邏輯中是掌握requeststimeos基礎組合應用的優(yōu)質(zhì)實操范例。1. 項目概述與核心價值最近在整理硬盤翻出來一個幾年前寫的Python腳本名字就叫“網(wǎng)絡爬蟲-批量爬取B站視頻-python練習源碼.zip”。當時寫這個純粹是為了練手想看看自己能不能搞定一個相對復雜的爬蟲任務。沒想到這個項目后來成了我理解網(wǎng)絡請求、數(shù)據(jù)解析、并發(fā)處理和反爬策略的絕佳案例。今天我就把這個“練習源碼”背后的完整思路、踩過的坑以及一些實用的技巧掰開揉碎了跟大家聊聊。無論你是剛學完P(guān)ython基礎想找個項目練手還是對爬蟲技術(shù)感興趣想了解如何從零構(gòu)建一個能穩(wěn)定運行的批量下載工具這篇文章應該都能給你一些直接的參考。簡單來說這個項目就是用Python寫一個腳本能夠自動、批量地獲取B站上指定視頻的下載鏈接并保存到本地。它解決的痛點很直接當你看到一個UP主的系列教程、一個精彩的合集或者只是想備份自己收藏夾里的視頻時手動一個個點開下載效率太低。這個腳本就是為了把我們從重復勞動中解放出來。當然我必須強調(diào)任何爬蟲行為都必須在法律和網(wǎng)站服務條款允許的范圍內(nèi)進行尊重版權(quán)和網(wǎng)站服務器的負載本分享僅用于技術(shù)學習和交流目的。2. 項目整體設計與思路拆解2.1 核心需求與技術(shù)選型這個項目的核心目標很明確輸入一個或多個B站視頻的鏈接比如一個合集頁面、一個UP主的主頁、或一個視頻列表程序能自動解析出所有視頻的真實播放地址并下載到本地指定文件夾。要實現(xiàn)這個目標我們需要拆解出幾個關(guān)鍵技術(shù)環(huán)節(jié)網(wǎng)頁內(nèi)容獲取如何模擬瀏覽器向B站服務器發(fā)起請求并拿到返回的HTML或JSON數(shù)據(jù)。數(shù)據(jù)解析與提取如何從復雜的網(wǎng)頁源碼或接口返回的數(shù)據(jù)中精準地找到我們需要的視頻標題、BV號/AV號以及最重要的——視頻流信息。視頻流地址解析B站的視頻是分P、分清晰度、并且地址是動態(tài)生成的如何獲取到可下載的m4s或flv/mp4直鏈。文件下載與存儲如何高效、穩(wěn)定地下載可能很大的視頻文件并合理命名、組織文件夾。反爬蟲策略應對如何應對常見的反爬手段如請求頭校驗、頻率限制等確保腳本能穩(wěn)定運行一段時間。基于這些環(huán)節(jié)我的技術(shù)選型如下請求庫requests。這是Python中最簡單易用的HTTP庫足以應對B站大部分接口和頁面請求。對于更復雜的動態(tài)頁面早期可能需要會考慮selenium但為了效率和輕量本項目優(yōu)先嘗試分析其API接口。解析庫jsonre(正則表達式) BeautifulSoup。B站很多數(shù)據(jù)是通過API返回的JSON格式直接用json解析最方便。對于部分嵌入在HTML中的數(shù)據(jù)用BeautifulSoup進行HTML解析。一些特定的參數(shù)或鏈接用re進行正則匹配往往更快。下載工具requests流式下載。對于大文件使用requests.get(streamTrue)進行分塊下載避免內(nèi)存溢出同時可以顯示下載進度。并發(fā)處理可選concurrent.futures或asyncioaiohttp。當需要批量下載幾十上百個視頻時串行下載太慢。使用線程池或異步IO可以極大提升效率。本練習源碼中我使用了concurrent.futures.ThreadPoolExecutor因為它對I/O密集型任務如下載效果顯著且代碼簡單。注意技術(shù)選型的核心原則是“夠用就好易于維護”。requestsBeautifulSoup的組合在應對B站這類混合了API和靜態(tài)頁面的網(wǎng)站時非常靈活。盲目上scrapy等重型框架對于這個特定任務來說可能增加了不必要的復雜度。2.2 環(huán)境準備與依賴安裝工欲善其事必先利其器。在開始編碼前我們需要搭建好Python環(huán)境并安裝必要的庫。這里假設你已經(jīng)安裝了Python3.6及以上版本。創(chuàng)建虛擬環(huán)境推薦這是一個好習慣可以隔離項目依賴。# 在項目目錄下 python -m venv venv # 激活虛擬環(huán)境 # Windows: venv\Scripts\activate # Linux/Mac: source venv/bin/activate安裝核心依賴庫使用pip進行安裝。pip install requests beautifulsoup4requests: 用于發(fā)送HTTP請求。beautifulsoup4: 用于解析HTML和XML文檔。如果你的Python版本較新json和re是標準庫無需安裝。對于并發(fā)下載concurrent.futures也是Python 3.2的標準庫?？蛇x工具IDE/編輯器VSCode、PyCharm等它們對代碼提示、調(diào)試支持很好。在VSCode中配置Python環(huán)境也很簡單安裝Python擴展即可。瀏覽器開發(fā)者工具這是爬蟲工程師的“眼睛”。F12打開在Network網(wǎng)絡選項卡中查看頁面加載過程中的所有請求XHR/Fetch類型尤其重要是找到真實數(shù)據(jù)接口的關(guān)鍵。3. 核心細節(jié)解析與實操要點3.1 逆向分析找到數(shù)據(jù)源頭這是爬蟲項目中最關(guān)鍵、也最體現(xiàn)技術(shù)含量的部分。我們不能直接去下載網(wǎng)頁上播放器里的mp4文件因為那個地址通常是臨時的、有鑒權(quán)的。我們需要找到B站提供視頻信息的原始API。操作過程實錄打開一個B站視頻頁面例如https://www.bilibili.com/video/BV1xx411c7mD。按F12打開開發(fā)者工具切換到Network網(wǎng)絡選項卡。刷新頁面在紛繁復雜的請求列表中過濾XHR或Fetch類型的請求。仔細觀察你會發(fā)現(xiàn)一個包含web?aid或x/web-interface/view等字樣的請求。點擊它在Preview預覽或Response響應標簽頁里就能看到結(jié)構(gòu)清晰的JSON數(shù)據(jù)里面包含了視頻的標題、分P信息、cid每一P的唯一標識等。繼續(xù)尋找有一個包含playurl或x/player/wbi/playurl的請求這個請求的響應里就藏著不同清晰度如1080p、720p對應的視頻和音頻的m4s文件地址或直接的flv/mp4鏈接。這就是我們需要的真實下載地址。核心要點bvid和cidB站視頻有兩個重要ID。bvid如BV1xx411c7mD是視頻的唯一標識用于前端展示。cid是每一P視頻的內(nèi)部標識用于后端接口獲取流信息。通常需要先用bvid通過第一個API拿到該視頻所有分P的cid列表。接口參數(shù)這些API請求通常帶有大量參數(shù)如bvid、cid、qn清晰度標識、fnval流格式標識、fourk是否4K等。我們需要在代碼中模擬這些參數(shù)。請求頭Headers必須模擬瀏覽器的請求頭至少包含User-Agent、Referer通常設置為視頻頁面URL。有時還需要Cookie特別是登錄后才能看的視頻但出于合規(guī)考慮練習項目應避免處理需要個人登錄Cookie的內(nèi)容。3.2 構(gòu)建請求與處理反爬拿到API地址和參數(shù)后我們需要用Python的requests庫來模擬這個請求。import requests import json headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: https://www.bilibili.com, # 通常Referer是必須的 } def get_video_info(bvid): 根據(jù)bvid獲取視頻基本信息標題分P列表 info_url fhttps://api.bilibili.com/x/web-interface/view?bvid{bvid} try: resp requests.get(info_url, headersheaders, timeout10) resp.raise_for_status() # 檢查請求是否成功 data resp.json() if data[code] 0: return data[data] else: print(f獲取視頻信息失敗: {data[message]}) return None except requests.exceptions.RequestException as e: print(f請求視頻信息時發(fā)生錯誤: {e}) return None # 示例獲取BV1xx411c7mD的信息 video_data get_video_info(BV1xx411c7mD) if video_data: title video_data[title] pages video_data[pages] # 分P信息列表 for page in pages: print(f分P{page[page]}: {page[part]}, cid: {page[cid]})避坑技巧超時設置務必為requests.get設置timeout參數(shù)如10秒防止因網(wǎng)絡問題導致程序長時間卡死。異常處理使用try...except包裹網(wǎng)絡請求并檢查返回的JSON中code字段B站API通常0表示成功。頻率控制在循環(huán)請求多個視頻時務必在請求間添加隨機延時如time.sleep(random.uniform(1, 3))這是對目標網(wǎng)站最基本的尊重也能有效避免因請求過快被暫時封禁IP。User-Agent輪換可以準備一個User-Agent列表每次請求隨機選擇一個增加一些隨機性。3.3 解析并獲取下載鏈接拿到cid后下一步就是獲取指定清晰度的播放地址。def get_play_url(bvid, cid, quality80): 根據(jù)bvid和cid獲取視頻播放地址 quality: 清晰度標識80表示1080P64表示720P32表示480P play_url_api https://api.bilibili.com/x/player/playurl params { bvid: bvid, cid: cid, qn: quality, # 清晰度 fnval: 80, # 指定獲取dash格式流包含分開的視頻和音頻 fourk: 1, # 允許請求4K視頻 } try: resp requests.get(play_url_api, paramsparams, headersheaders, timeout10) data resp.json() if data[code] 0: dash data[data][dash] # dash格式下video和audio是分開的 video_url dash[video][0][baseUrl] # 通常取第一個即最高畫質(zhì) audio_url dash[audio][0][baseUrl] return video_url, audio_url else: print(f獲取播放地址失敗: {data[message]}) return None, None except Exception as e: print(f解析播放地址出錯: {e}) return None, None關(guān)鍵解析fnval參數(shù)這是一個位掩碼參數(shù)。fnval80十進制或0x80十六進制表示請求DASH格式流。DASH格式將視頻和音頻分離通常能獲得更好的畫質(zhì)和更小的文件體積因為可以只下載你需要的清晰度。fnval1則請求FLV格式已逐漸淘汰。fnval16請求MP4格式。本項目選擇80獲取DASH流。返回的video_url和audio_url就是.m4s文件的直鏈。我們需要分別下載它們?nèi)缓笥霉ぞ呷鏵fmpeg合并或者尋找直接返回mp4格式的接口可能清晰度受限。實操心得直接請求fnval16有時可以拿到直接的mp4鏈接更方便但清晰度選項可能不全。DASH流是未來的趨勢雖然多了一步合并操作但更靈活、畫質(zhì)更好。在代碼中我們可以提供一個選項讓用戶選擇。4. 實操過程與核心環(huán)節(jié)實現(xiàn)4.1 實現(xiàn)單視頻下載函數(shù)有了視頻和音頻的直鏈我們就可以實現(xiàn)下載功能了。這里實現(xiàn)一個支持進度顯示的流式下載函數(shù)。def download_file(url, filepath, sessionNone): 下載文件并顯示進度 session: 可傳入一個requests.Session()對象以保持連接 if session is None: session requests.Session() headers.update({Referer: https://www.bilibili.com}) # 下載時Referer也很重要 try: resp session.get(url, headersheaders, streamTrue, timeout30) resp.raise_for_status() total_size int(resp.headers.get(content-length, 0)) downloaded 0 with open(filepath, wb) as f: for chunk in resp.iter_content(chunk_size8192): if chunk: f.write(chunk) downloaded len(chunk) if total_size 0: percent downloaded / total_size * 100 print(f\r下載中: {filepath} - {percent:.2f}% ({downloaded}/{total_size} bytes), end) print(f\n下載完成: {filepath}) return True except Exception as e: print(f\n下載失敗 {url}: {e}) return False4.2 視頻與音頻的合并下載完DASH流的.m4s文件后我們需要將它們合并成一個完整的.mp4文件。最常用的工具是ffmpeg。方法一使用subprocess調(diào)用系統(tǒng)ffmpeg命令推薦確保你的系統(tǒng)已安裝ffmpeg并添加到環(huán)境變量PATH中。import subprocess import os def merge_audio_video(video_path, audio_path, output_path): 使用ffmpeg合并音視頻 # 清理可能存在的舊文件 if os.path.exists(output_path): os.remove(output_path) cmd [ ffmpeg, -i, video_path, -i, audio_path, -c:v, copy, # 視頻流直接復制不重新編碼速度極快 -c:a, aac, # 音頻流編碼為aac或copy但有時需要統(tǒng)一格式 -strict, experimental, output_path ] try: subprocess.run(cmd, checkTrue, capture_outputTrue, textTrue) print(f合并成功: {output_path}) # 可選刪除臨時的.m4s文件 os.remove(video_path) os.remove(audio_path) return True except subprocess.CalledProcessError as e: print(f合并失敗: {e.stderr}) return False方法二使用moviepy庫純Python但較重如果不想依賴外部工具可以安裝moviepy庫pip install moviepy但它處理大文件較慢且功能可能不如ffmpeg全面。4.3 實現(xiàn)批量爬取邏輯現(xiàn)在我們將上述所有環(huán)節(jié)串聯(lián)起來實現(xiàn)批量處理。核心邏輯是輸入一個包含多個B站視頻ID或一個合集URL的列表程序遍歷列表對每個視頻執(zhí)行“獲取信息 - 獲取鏈接 - 下載 - 合并”的流程。import time import random from concurrent.futures import ThreadPoolExecutor, as_completed def process_single_video(bvid, quality80, save_dir./downloads): 處理單個視頻的完整流程 # 1. 創(chuàng)建保存目錄 os.makedirs(save_dir, exist_okTrue) # 2. 獲取視頻基本信息 print(f\n開始處理視頻: {bvid}) video_info get_video_info(bvid) if not video_info: return False title video_info[title].replace(/, _).replace(\\, _)[:100] # 清理非法文件名 pages video_info[pages] session requests.Session() # 為這個視頻創(chuàng)建一個會話 for page in pages: page_num page[page] part_title page[part] cid page[cid] # 生成文件名 if len(pages) 1: file_base_name f{title}_P{page_num}_{part_title} else: file_base_name title print(f 正在處理分P{page_num}: {part_title}) # 3. 獲取播放地址 video_url, audio_url get_play_url(bvid, cid, quality) if not video_url or not audio_url: print(f 獲取分P{page_num}播放地址失敗跳過。) continue # 4. 下載視頻和音頻 video_temp_path os.path.join(save_dir, f{file_base_name}_video.m4s) audio_temp_path os.path.join(save_dir, f{file_base_name}_audio.m4s) output_path os.path.join(save_dir, f{file_base_name}.mp4) if os.path.exists(output_path): print(f 文件已存在跳過: {output_path}) continue print(f 開始下載視頻流...) if not download_file(video_url, video_temp_path, session): continue time.sleep(random.uniform(0.5, 1.5)) # 請求間延時 print(f 開始下載音頻流...) if not download_file(audio_url, audio_temp_path, session): continue # 5. 合并 print(f 合并音視頻...) if merge_audio_video(video_temp_path, audio_temp_path, output_path): print(f ? 分P{page_num}處理完成: {output_path}) else: print(f ? 分P{page_num}合并失敗。) return True def batch_download(bvid_list, quality80, save_dir./downloads, max_workers3): 批量下載視頻支持并發(fā) with ThreadPoolExecutor(max_workersmax_workers) as executor: future_to_bvid {executor.submit(process_single_video, bvid, quality, save_dir): bvid for bvid in bvid_list} for future in as_completed(future_to_bvid): bvid future_to_bvid[future] try: success future.result() if success: print(f\n視頻 {bvid} 所有分P處理完畢。) except Exception as e: print(f\n處理視頻 {bvid} 時發(fā)生未預期錯誤: {e}) # 每個視頻任務完成后添加一個較長延時避免對服務器造成集中壓力 time.sleep(random.uniform(3, 7)) if __name__ __main__: # 示例下載兩個視頻 my_bvid_list [BV1xx411c7mD, BV1Bf4y1U7QP] batch_download(my_bvid_list, quality80, save_dir./bilibili_videos, max_workers2)代碼邏輯解讀process_single_video函數(shù)封裝了處理一個視頻可能包含多P的完整流水線。batch_download函數(shù)利用ThreadPoolExecutor實現(xiàn)并發(fā)下載。max_workers控制并發(fā)數(shù)建議不要設置過高如3-5以免對目標服務器造成過大壓力或觸發(fā)反爬。在主程序中將要下載的視頻bvid放入列表調(diào)用batch_download即可。5. 常見問題與排查技巧實錄在實際運行過程中你肯定會遇到各種各樣的問題。下面是我在開發(fā)和運行這個腳本時遇到的一些典型問題及解決方法。5.1 問題獲取視頻信息或播放地址時返回-403或-404錯誤碼可能原因1請求頭不完整或錯誤。排查用瀏覽器開發(fā)者工具對比你的Python腳本發(fā)送的請求頭與瀏覽器發(fā)送的請求頭。重點檢查User-Agent、Referer有時還需要Origin。解決確保headers字典盡可能模擬瀏覽器。Referer通常必須設置為https://www.bilibili.com或具體的視頻頁面URL?？赡茉?接口參數(shù)已更新或需要額外的鑒權(quán)參數(shù)。排查B站的API接口可能會更新。重新用開發(fā)者工具抓包查看最新的playurl接口請求參數(shù)。特別注意是否有w_rid和wts這類動態(tài)簽名參數(shù)這是B站一種常見的反爬機制。解決如果發(fā)現(xiàn)需要w_rid和wts說明接口已升級為WBI簽名鑒權(quán)。你需要找到生成這兩個參數(shù)的JavaScript代碼并用Python實現(xiàn)其算法或者尋找其他無需簽名的替代接口有時舊版接口仍可用。這是一個進階挑戰(zhàn)需要一定的JS逆向能力?？赡茉?視頻需要大會員或地區(qū)限制。排查在瀏覽器中確認該視頻是否需要登錄或大會員才能觀看你想要的清晰度。解決對于需要登錄的視頻必須在請求頭中攜帶有效的Cookie。但請注意獲取和使用他人Cookie涉及隱私和安全問題且違反B站用戶協(xié)議。本練習項目強烈建議僅處理公開、無限制的視頻?？梢試L試獲取低清晰度如360p的流這些通常無需鑒權(quán)。5.2 問題下載下來的.m4s文件用ffmpeg合并失敗可能原因1視頻或音頻文件本身下載不完整或損壞。排查檢查下載的.m4s文件大小是否異常小比如只有幾KB。用文本編輯器打開看看如果里面是JSON格式的錯誤信息如{code:-404, message:Not Found}說明下載鏈接本身就有問題。解決回到上一步確保獲取到的video_url和audio_url是有效的?？赡苁乔逦葏?shù)qn不支持嘗試換一個清晰度如64代表720p?？赡茉?ffmpeg命令參數(shù)問題或版本不兼容。排查手動在命令行執(zhí)行合并命令看具體的錯誤信息。有時-c:a copy音頻流復制會導致問題因為源音頻格式可能比較特殊。解決將合并命令中的-c:a copy改為-c:a aac強制轉(zhuǎn)碼為AAC格式。確保你安裝的ffmpeg版本不是太舊。5.3 問題并發(fā)下載時部分任務失敗或程序卡死可能原因1并發(fā)數(shù)過高觸發(fā)服務器的頻率限制或連接被重置。解決降低max_workers的值比如從5降到2或3。在每個視頻任務之間以及每個下載請求之間增加隨機的、更長的延時time.sleep?？赡茉?網(wǎng)絡不穩(wěn)定或單個任務超時。解決在download_file函數(shù)中增加重試機制。例如用循環(huán)包裹下載邏輯失敗后重試2-3次。同時確保timeout參數(shù)設置合理如30-60秒。5.4 問題如何爬取一個UP主的所有視頻或一個合集思路我們的核心函數(shù)process_single_video需要的是bvid。所以首先要解決的是如何從一個UP主空間或合集頁面提取出所有視頻的bvid列表。方法分析頁面結(jié)構(gòu)打開一個UP主主頁如https://space.bilibili.com/123456/videoF12查看其加載視頻列表的API。通常是一個返回JSON的接口里面包含了視頻列表和對應的bvid。編寫列表提取函數(shù)寫一個新的函數(shù)get_video_list_by_mid(mid)其中mid是UP主的ID。這個函數(shù)模仿瀏覽器去請求那個API解析JSON返回一個bvid的列表。集成到主流程先調(diào)用get_video_list_by_mid獲取列表再將這個列表傳遞給batch_download函數(shù)。注意合集和頻道的頁面邏輯類似都需要先找到其對應的數(shù)據(jù)接口。這又是一個逆向分析的過程但原理和獲取單個視頻信息是相通的。5.5 性能與優(yōu)化建議會話保持在process_single_video函數(shù)中我為每個視頻創(chuàng)建了一個requests.Session()。Session可以復用TCP連接在下載同一個視頻的多P時能稍微提升效率。斷點續(xù)傳當前的下載函數(shù)不支持斷點續(xù)傳。對于超大文件可以考慮實現(xiàn)它。思路是檢查本地已下載文件大小在請求頭中加入Range: bytesstart-end來請求剩余部分。但這需要服務器支持。更優(yōu)雅的進度條可以使用第三方庫tqdm來替代自己打印的進度信息它會顯示一個美觀的進度條和預估剩余時間。配置化將清晰度、保存路徑、并發(fā)數(shù)、請求頭等參數(shù)提取到配置文件如config.ini或命令行參數(shù)中使腳本更靈活。最后我想說的是爬蟲技術(shù)是一把雙刃劍。這個“B站視頻批量爬取”項目作為一個Python練習極大地鍛煉了我的網(wǎng)絡編程、數(shù)據(jù)分析和問題解決能力。但在實際使用中請務必牢記遵守robots.txt查看目標網(wǎng)站的robots.txt文件尊重網(wǎng)站管理員的意愿?？刂普埱箢l率這是最重要的道德和技術(shù)準則。過快的請求等同于攻擊。尊重版權(quán)下載的內(nèi)容僅限個人學習、研究使用切勿用于商業(yè)傳播或任何侵犯創(chuàng)作者權(quán)益的行為。關(guān)注接口變更網(wǎng)站前端和后端隨時在變今天能用的代碼明天可能就失效了。保持學習理解原理HTTP請求、數(shù)據(jù)解析比記住某個具體的API地址更重要。這個項目的源碼雖然叫“練習源碼”但其中涉及的思路和技巧是通用的。希望這份超詳細的拆解能幫你不僅完成這個練習更能理解爬蟲項目從設計到實現(xiàn)的完整脈絡。如果在復現(xiàn)過程中遇到新問題多利用開發(fā)者工具觀察、多思考、多搜索解決問題的過程本身就是最好的學習。本文還有配套的精品資源點擊獲取