開篇這個(gè)題目到底在做什么值不值得做圖書數(shù)據(jù)爬取和可視化分析是近幾年課程設(shè)計(jì)和畢業(yè)設(shè)計(jì)里出現(xiàn)頻率特別高的一類題目。它考察的東西非常綜合網(wǎng)絡(luò)請(qǐng)求、HTML解析、數(shù)據(jù)清洗、數(shù)據(jù)庫(kù)存儲(chǔ)、圖表展示再加上一個(gè)簡(jiǎn)單的Web界面把這些串起來基本上就把Python數(shù)據(jù)分析的完整鏈路走了一遍。這也是為什么很多老師愿意出這個(gè)題因?yàn)槟隳茉谶@個(gè)項(xiàng)目里展示的技能點(diǎn)足夠多寫進(jìn)簡(jiǎn)歷也拿得出手。這個(gè)系統(tǒng)實(shí)際能做的事情也很直觀從圖書網(wǎng)站上抓取一批圖書信息比如書名、作者、出版社、價(jià)格、評(píng)分、評(píng)論數(shù)然后存下來再?gòu)牟煌S度做統(tǒng)計(jì)分析和可視化展示比如價(jià)格分布、出版社排行、出版年份趨勢(shì)、評(píng)分區(qū)間占比等等。最終交付的形態(tài)通常是一個(gè)Flask或者Django搭建的本地Web頁(yè)面里面嵌入了各種交互式圖表用戶可以在頁(yè)面上直觀地看到分析結(jié)果。如果你正在準(zhǔn)備課程設(shè)計(jì)、畢設(shè)或者想用一個(gè)小項(xiàng)目把爬蟲到可視化的技能串起來這篇內(nèi)容就是給你寫的。我不打算泛泛地講概念而是按照一個(gè)真實(shí)可落地的方案把系統(tǒng)怎么拆、代碼怎么寫、坑在哪里、答辯可能會(huì)被問到什么一條條給你捋清楚。1. 系統(tǒng)整體設(shè)計(jì)與架構(gòu)拆解先想明白再動(dòng)手很多人拿到這個(gè)題目就開始寫爬蟲寫完爬蟲再想可視化最后發(fā)現(xiàn)數(shù)據(jù)和圖表對(duì)不上或者頁(yè)面展示邏輯一團(tuán)糟。這個(gè)項(xiàng)目最忌諱的就是“邊寫邊想”因?yàn)樗哪K跨度大每個(gè)環(huán)節(jié)的產(chǎn)出都會(huì)影響下一個(gè)環(huán)節(jié)必須先把架構(gòu)想清楚。1.1 核心功能模塊拆解按照數(shù)據(jù)流動(dòng)的方向這個(gè)系統(tǒng)可以清晰地拆成四個(gè)模塊數(shù)據(jù)采集模塊負(fù)責(zé)向目標(biāo)網(wǎng)站發(fā)起HTTP請(qǐng)求獲取HTML頁(yè)面解析出結(jié)構(gòu)化字段如書名、作者、出版社、價(jià)格、出版日期、評(píng)分、評(píng)論數(shù)、分類等。數(shù)據(jù)存儲(chǔ)模塊將解析后的數(shù)據(jù)清洗、去重然后寫入本地存儲(chǔ)。一般用CSV配合SQLite或MySQLCSV方便直接查看和論文展示數(shù)據(jù)庫(kù)方便后續(xù)做查詢統(tǒng)計(jì)。數(shù)據(jù)分析與可視化模塊從存儲(chǔ)中讀取數(shù)據(jù)通過統(tǒng)計(jì)聚合生成圖表配置輸出HTML格式的交互式圖表。Web展示模塊使用Flask搭建輕量級(jí)Web應(yīng)用將圖表嵌入頁(yè)面形成完整的可視化系統(tǒng)界面。這四個(gè)模塊之間的依賴關(guān)系非常明確上一層的輸出就是下一層的輸入。所以在一開始就應(yīng)該把數(shù)據(jù)字段定義好比如你打算爬哪幾個(gè)字段、每個(gè)字段的類型是什么、缺失值怎么處理這些一旦確定后面所有的模塊都圍繞它展開。1.2 技術(shù)選型背后的取舍邏輯技術(shù)選型是這個(gè)項(xiàng)目里最能體現(xiàn)水平的地方也是答辯時(shí)老師最喜歡問的環(huán)節(jié)。我直接說結(jié)論再講為什么。爬蟲框架requests BeautifulSoup而不是Scrapy。雖然Scrapy的性能和架構(gòu)更好但課程設(shè)計(jì)場(chǎng)景要的是“看得懂、能講清、好維護(hù)”用Scrapy寫出來的分布式爬蟲反而容易把自己繞暈。requests BeautifulSoup足夠完成幾千條數(shù)據(jù)的采集而且代碼直觀每一行都好解釋。當(dāng)然如果你爬取的數(shù)據(jù)量非常大或者想展示異步處理能力Scrapy也是加分項(xiàng)只是復(fù)雜度會(huì)明顯上升。數(shù)據(jù)存儲(chǔ)CSV SQLite。CSV文件可以直接打開看也方便在論文里截圖展示數(shù)據(jù)樣本。SQLite是一個(gè)單文件數(shù)據(jù)庫(kù)不需要安裝數(shù)據(jù)庫(kù)服務(wù)對(duì)本地項(xiàng)目非常友好也能順便體現(xiàn)你懂SQL。不建議一上來就上MySQL沒必要?？梢暬痯yecharts而不是matplotlib。matplotlib生成的圖片是靜態(tài)的交互性差而且默認(rèn)樣式比較“學(xué)術(shù)”。pyecharts生成的是基于ECharts的交互式HTML圖表有懸停提示、縮放、圖例篩選這些功能放在頁(yè)面上看起來專業(yè)很多而且可以直接嵌入Flask頁(yè)面。用過的學(xué)生基本都說好。Web框架Flask。它足夠輕量一個(gè)文件就能啟動(dòng)服務(wù)模板渲染和靜態(tài)資源管理也簡(jiǎn)單。Django那種重型框架對(duì)這個(gè)項(xiàng)目來說過于龐大了。表格總結(jié)一下選型對(duì)比模塊推薦選擇備選方案推薦理由爬蟲requests BeautifulSoupScrapy、httpx簡(jiǎn)單直觀易解釋易維護(hù)存儲(chǔ)CSV SQLiteMySQL、MongoDB零配置方便展示和查詢可視化pyechartsmatplotlib、Plotly交互式圖表樣式現(xiàn)代Web展示FlaskDjango、FastAPI輕量靈活適合小項(xiàng)目這一步其實(shí)就是整個(gè)系統(tǒng)的設(shè)計(jì)藍(lán)圖定下來之后后面的工作就是按部就班地填代碼。2. 爬蟲模塊詳解從頁(yè)面分析到數(shù)據(jù)落庫(kù)爬蟲是整個(gè)系統(tǒng)的數(shù)據(jù)源頭也是技術(shù)含量最集中的地方。很多同學(xué)的爬蟲寫得能用但很脆弱換一個(gè)頁(yè)面結(jié)構(gòu)就掛了。核心問題在于沒有做好頁(yè)面分析和異常處理。這一節(jié)我把完整流程走一遍包括目標(biāo)站點(diǎn)分析、請(qǐng)求解析翻頁(yè)三步走、數(shù)據(jù)清洗與存儲(chǔ)。2.1 目標(biāo)站點(diǎn)分析與數(shù)據(jù)字段規(guī)劃我用的例子是當(dāng)當(dāng)網(wǎng)的圖書頻道因?yàn)樗捻?yè)面結(jié)構(gòu)相對(duì)規(guī)整反爬強(qiáng)度適中也不要求登錄非常適合做教學(xué)案例。相比之下豆瓣的反爬比較嚴(yán)格頻繁請(qǐng)求容易觸發(fā)驗(yàn)證碼京東的反爬機(jī)制也更復(fù)雜。課程設(shè)計(jì)階段能穩(wěn)定跑通比挑戰(zhàn)高難度更重要。打開當(dāng)當(dāng)網(wǎng)圖書頻道后按F12進(jìn)入開發(fā)者工具用元素選擇器選中一本書的標(biāo)題你會(huì)看到類似這樣的結(jié)構(gòu)div classcon p classname a title書名 href... target_blank書名/a /p p classauthor作者/p p classpublisher出版社/p p classprice span classprice_n￥28.40/span /p p classstar span classlevel stylewidth:80%;/span span classstar_count1342條評(píng)論/span /p /div當(dāng)然不同的圖書列表頁(yè)結(jié)構(gòu)會(huì)有差異你以實(shí)際的頁(yè)面為準(zhǔn)。分析的目的是確認(rèn)你要爬的字段能否在HTML里找到以及選擇器怎么寫才穩(wěn)定。我建議優(yōu)先基于class屬性和標(biāo)簽層級(jí)來定位盡量少用絕對(duì)路徑因?yàn)轫?yè)面改版時(shí)絕對(duì)路徑最容易失效。根據(jù)分析結(jié)果我規(guī)劃了這些字段書名后續(xù)分析的核心維度必須非空作者可能為空出版社用于出版社排行統(tǒng)計(jì)出版日期解析字符串中的年份用于年份趨勢(shì)分析價(jià)格需要從“￥28.40”這樣的字符串中提取數(shù)字然后轉(zhuǎn)成float評(píng)分用于評(píng)分區(qū)間分析取值范圍0到5可能為空評(píng)論數(shù)從“1342條評(píng)論”中提取數(shù)字轉(zhuǎn)為int分類從頁(yè)面分類導(dǎo)航讀取用于分類占比統(tǒng)計(jì)把字段規(guī)劃清楚之后后面寫代碼就變成體力活了。2.2 請(qǐng)求、解析、翻頁(yè)三步走的完整實(shí)現(xiàn)爬蟲的核心邏輯其實(shí)就是三步請(qǐng)求頁(yè)面、解析HTML、翻頁(yè)循環(huán)。用代碼寫出來大概是這樣的import requests from bs4 import BeautifulSoup import time import random def get_page_html(url, headers): 請(qǐng)求頁(yè)面并返回HTML文本帶超時(shí)和重試 for attempt in range(3): try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding return resp.text except Exception as e: print(f第{attempt 1}次請(qǐng)求失敗: {e}) time.sleep(2) return None def parse_book_list(html): 從HTML中解析圖書信息 soup BeautifulSoup(html, html.parser) books [] items soup.select(ul.bigimg li) for item in items: name_node item.select_one(.name a) if not name_node: continue book { title: name_node.get(title) or name_node.get_text(stripTrue), author: item.select_one(.author) .get_text(stripTrue) if item.select_one(.author) else , publisher: item.select_one(.publisher) .get_text(stripTrue) if item.select_one(.publisher) else , price: parse_price(item), comment_count: parse_comment_count(item), publish_date: parse_publish_date(item), } books.append(book) return books def parse_price(item): 從價(jià)格節(jié)點(diǎn)提取浮點(diǎn)數(shù) price_node item.select_one(.price_n) if not price_node: return None text price_node.get_text(stripTrue) return float(text.replace(￥, ).replace(元, ).strip()) def parse_comment_count(item): 從評(píng)論節(jié)點(diǎn)提取數(shù)字 comment_node item.select_one(.star_count) if not comment_node: return 0 text comment_node.get_text(stripTrue) return int(.join(filter(str.isdigit, text))) if any(c.isdigit() for c in text) else 0這里有兩個(gè)關(guān)鍵細(xì)節(jié)值得展開講第一是resp.encoding resp.apparent_encoding。中文網(wǎng)頁(yè)最常見的亂碼問題就是因?yàn)檎?qǐng)求頭里聲明的編碼和實(shí)際返回的編碼不一致。apparent_encoding是從頁(yè)面內(nèi)容里檢測(cè)編碼能有效避免“錕斤拷”這類亂碼。但要注意它并不是100%準(zhǔn)確如果發(fā)現(xiàn)解析出來的字符串還是有亂碼可以手動(dòng)指定為resp.encoding gbk因?yàn)椴簧匐娚叹W(wǎng)站用的還是GBK編碼。第二是選擇器.name a這種鏈?zhǔn)綄懛?。它表示“class為name的節(jié)點(diǎn)內(nèi)部的a標(biāo)簽”比直接寫a.title更保險(xiǎn)因?yàn)橛行﹫D書沒有副標(biāo)題或者頁(yè)面結(jié)構(gòu)微調(diào)會(huì)讓屬性丟失。寫選擇器的時(shí)候盡量考慮最穩(wěn)定的路徑。翻頁(yè)邏輯也很簡(jiǎn)單當(dāng)當(dāng)?shù)膱D書列表頁(yè)URL有規(guī)律可循h(huán)ttp://category.dangdang.com/pg{頁(yè)碼}-cp01.54.00.00.00.00.html。所以只需要在循環(huán)里拼接頁(yè)碼即可def crawl_pages(max_pages20): base_url http://category.dangdang.com/pg{page}-cp01.54.00.00.00.00.html headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: http://category.dangdang.com/ } all_books [] for page in range(1, max_pages 1): url base_url.format(pagepage) print(f正在爬取第{page}頁(yè)...) html get_page_html(url, headers) if not html: continue books parse_book_list(html) print(f第{page}頁(yè)解析到{len(books)}本書) all_books.extend(books) time.sleep(random.uniform(2, 4)) # 隨機(jī)延時(shí)防止請(qǐng)求過快 return all_books這里我特意加了time.sleep(random.uniform(2, 4))隨機(jī)延時(shí)2到4秒。這個(gè)操作有兩個(gè)作用一是降低對(duì)目標(biāo)站點(diǎn)的請(qǐng)求壓力避免被封IP二是體現(xiàn)你了解爬蟲的規(guī)范邊界這在答辯時(shí)是加分項(xiàng)。隨機(jī)比固定延時(shí)更好因?yàn)楣潭ǖ拈g隔反而容易被反爬策略識(shí)別。2.3 數(shù)據(jù)清洗與存儲(chǔ)別把臟數(shù)據(jù)丟進(jìn)數(shù)據(jù)庫(kù)爬下來的數(shù)據(jù)不能直接入庫(kù)必須先清洗。根據(jù)我的經(jīng)驗(yàn)圖書數(shù)據(jù)最常見的臟數(shù)據(jù)問題就幾類價(jià)格異常有的節(jié)點(diǎn)提取出來是空字符串有的是“暫無報(bào)價(jià)”直接轉(zhuǎn)float會(huì)報(bào)錯(cuò)評(píng)論數(shù)異常有的圖書沒有評(píng)論節(jié)點(diǎn)有的評(píng)論數(shù)節(jié)點(diǎn)解析出來是空串作者和出版社字段有些節(jié)點(diǎn)存在但內(nèi)容為空重復(fù)數(shù)據(jù)翻頁(yè)循環(huán)中偶爾會(huì)重復(fù)采集到同一本書我的處理方式是寫一個(gè)清洗函數(shù)對(duì)每條記錄做類型轉(zhuǎn)換和空值處理def clean_books(books): cleaned [] seen_titles set() for book in books: title book.get(title, ).strip() if not title or title in seen_titles: continue seen_titles.add(title) # 價(jià)格清洗空值填充為None后續(xù)分析時(shí)排除 if book.get(price) is not None: book[price] round(float(book[price]), 2) # 評(píng)論數(shù)字段強(qiáng)制轉(zhuǎn)為int book[comment_count] int(book.get(comment_count) or 0) # 出版年份提取比如從2023年01月中提取2023 publish_date book.get(publish_date) or match re.search(r(19|20)\d{2}, publish_date) book[publish_year] match.group(0) if match else None cleaned.append(book) return cleaned存儲(chǔ)方面我一般先存CSV再導(dǎo)入SQLite。CSV的好處是任何人都能用Excel打開也方便論文里放截圖。SQLite的建表和插入語(yǔ)句也很簡(jiǎn)單import sqlite3 import csv def save_to_csv(books, filenamebooks.csv): with open(filename, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[title, author, publisher, price, comment_count, publish_year, publish_date]) writer.writeheader() writer.writerows(books) def save_to_sqlite(books, db_namebooks.db): conn sqlite3.connect(db_name) cursor conn.cursor() cursor.execute( CREATE TABLE IF NOT EXISTS books ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, author TEXT, publisher TEXT, price REAL, comment_count INTEGER, publish_year TEXT, publish_date TEXT ) ) cursor.executemany( INSERT INTO books (title, author, publisher, price, comment_count, publish_year, publish_date) VALUES (:title, :author, :publisher, :price, :comment_count, :publish_year, :publish_date) , books) conn.commit() conn.close()注意CSV寫入時(shí)用了encodingutf-8-sig這個(gè)編碼比utf-8多了一個(gè)BOM頭Excel打開才不會(huì)中文亂碼。這種細(xì)節(jié)都是實(shí)操中踩過坑才知道的。3. 可視化分析與展示讓圖表自己會(huì)說話數(shù)據(jù)有了接下來要做的是把冷冰冰的數(shù)字變成讓老師和答辯評(píng)委眼前一亮的圖表。這一節(jié)講清楚分析維度怎么定、圖表怎么配、頁(yè)面怎么搭建。3.1 分析維度設(shè)計(jì)從數(shù)據(jù)中挖掘什么結(jié)論可視化的目的不是把所有字段都畫一遍圖表而是圍繞“讀者關(guān)心的問題”來設(shè)計(jì)分析維度。我做圖書分析時(shí)主要圍繞這幾個(gè)問題展開價(jià)格分布大部分圖書的價(jià)格集中在什么區(qū)間這直接決定價(jià)格直方圖和區(qū)間占比餅圖。出版社集中度哪些出版社出版的圖書數(shù)量最多用條形圖或者詞云展示Top10出版社。出版年份趨勢(shì)近幾年出版圖書的數(shù)量走勢(shì)如何用折線圖展示可以反映數(shù)據(jù)的時(shí)間分布特征。評(píng)分分布圖書評(píng)分的整體水平如何集中在高分還是低分用餅圖或直方圖展示。評(píng)論數(shù)與價(jià)格的關(guān)系評(píng)論數(shù)高的書價(jià)格是否一定更低用散點(diǎn)圖可以嘗試探索相關(guān)性。設(shè)計(jì)分析維度時(shí)有一個(gè)原則每個(gè)圖表都要能講出一個(gè)結(jié)論。比如“評(píng)分分布餅圖”能得出結(jié)論“大部分圖書評(píng)分集中在4到5分之間”這就是一個(gè)有意義的發(fā)現(xiàn)。相反如果畫一個(gè)“作者名字長(zhǎng)度分布”的直方圖就沒什么實(shí)際價(jià)值老師看了只會(huì)覺得你在湊數(shù)。3.2 pyecharts圖表配置與數(shù)據(jù)對(duì)接pyecharts 最方便的地方在于它是鏈?zhǔn)秸{(diào)用代碼寫起來很順暢。下面是我常用的三個(gè)圖表的完整示例包括價(jià)格分布直方圖、出版社Top10條形圖和出版年份折線圖。先準(zhǔn)備好從數(shù)據(jù)庫(kù)讀取數(shù)據(jù)的輔助函數(shù)import sqlite3 import pandas as pd def load_data(db_namebooks.db): conn sqlite3.connect(db_name) df pd.read_sql_query(SELECT * FROM books, conn) conn.close() return df df load_data()然后分別創(chuàng)建圖表。第一個(gè)是價(jià)格分布直方圖from pyecharts import options as opts from pyecharts.charts import Bar def create_price_histogram(df): # 將價(jià)格分成0-20, 20-40, 40-60, 60-80, 80-100五檔 bins [0, 20, 40, 60, 80, 100, 200] labels [0-20, 20-40, 40-60, 60-80, 80-100, 100] df[price_range] pd.cut(df[price], binsbins, labelslabels, rightFalse) price_counts df[price_range].value_counts().sort_index() bar ( Bar() .add_xaxis(price_counts.index.tolist()) .add_yaxis(圖書數(shù)量, price_counts.values.tolist()) .set_global_opts( title_optsopts.TitleOpts(title圖書價(jià)格分布), xaxis_optsopts.AxisOpts(name價(jià)格區(qū)間(元)), yaxis_optsopts.AxisOpts(name圖書數(shù)量), ) ) return bar第二個(gè)是出版社Top10條形圖def create_publisher_bar(df): publisher_counts df[publisher].value_counts().nlargest(10) bar ( Bar() .add_xaxis(publisher_counts.index.tolist()) .add_yaxis(圖書數(shù)量, publisher_counts.values.tolist()) .reversal_axis() # 橫向條形圖出版社名字太長(zhǎng)時(shí)更好看 .set_global_opts( title_optsopts.TitleOpts(title出版社圖書數(shù)量Top10), xaxis_optsopts.AxisOpts(name圖書數(shù)量), yaxis_optsopts.AxisOpts(name出版社), ) ) return bar第三個(gè)是出版年份折線圖from pyecharts.charts import Line def create_year_trend(df): year_counts df.dropna(subset[publish_year]) year_counts year_counts[publish_year].value_counts().sort_index() line ( Line() .add_xaxis(year_counts.index.tolist()) .add_yaxis(圖書數(shù)量, year_counts.values.tolist()) .set_global_opts( title_optsopts.TitleOpts(title出版年份趨勢(shì)), xaxis_optsopts.AxisOpts(name年份), yaxis_optsopts.AxisOpts(name圖書數(shù)量), ) ) return line這些圖表生成之后可以用.render(templates/chart.html)輸出為獨(dú)立的HTML文件。pyecharts生成的文件自帶完整的ECharts腳本雙擊就能打開。在寫論文或者準(zhǔn)備答辯的時(shí)候可以先截幾張圖表的效果圖放進(jìn)文檔非常方便。這里必須提醒一個(gè)坑pyecharts生成圖表時(shí)如果不設(shè)置高度和寬度默認(rèn)可能只占頁(yè)面的一小塊區(qū)域。建議在生成圖表前統(tǒng)一設(shè)置一下bar Bar(init_optsopts.InitOpts(width900px, height500px))另外圖表標(biāo)題、坐標(biāo)軸名稱這些不要偷懶一定要配置完整。答辯展示時(shí)老師第一眼看到的就是圖表的完整度和美觀度這直接影響第一印象。3.3 Flask搭建展示頁(yè)面把圖表串成完整系統(tǒng)圖表一個(gè)個(gè)單獨(dú)看還行但真正像一個(gè)“系統(tǒng)”肯定是要有一個(gè)統(tǒng)一的Web頁(yè)面把所有圖表整合起來。Flask在這一步顯得特別順手。我在項(xiàng)目里通常這樣組織文件結(jié)構(gòu)project/ ├── app.py # Flask主程序 ├── books.db # SQLite數(shù)據(jù)庫(kù) ├── spider.py # 爬蟲腳本 ├── analysis.py # 數(shù)據(jù)分析和圖表生成 ├── templates/ │ ├── index.html # 總覽頁(yè)面 │ └── charts.html # 圖表詳情頁(yè)面 └── static/ └── images/ # 存放圖表的備份圖片app.py的核心代碼很簡(jiǎn)單from flask import Flask, render_template import pandas as pd import sqlite3 from analysis import create_price_histogram, create_publisher_bar, create_year_trend app Flask(__name__) def get_data(): conn sqlite3.connect(books.db) df pd.read_sql_query(SELECT * FROM books, conn) conn.close() return df app.route(/) def index(): df get_data() total_count len(df) avg_price round(df[price].mean(), 2) if df[price].notna().any() else 0 top_publisher df[publisher].value_counts().index[0] if len(df) else 暫無數(shù)據(jù) return render_template( index.html, total_counttotal_count, avg_priceavg_price, top_publishertop_publisher, ) app.route(/charts) def charts(): df get_data() price_chart create_price_histogram(df).render_embed() publisher_chart create_publisher_bar(df).render_embed() year_chart create_year_trend(df).render_embed() return render_template( charts.html, price_chartprice_chart, publisher_chartpublisher_chart, year_chartyear_chart, ) if __name__ __main__: app.run(debugTrue)注意render_embed()這個(gè)方法它會(huì)把圖表所需的所有JS和HTML全部?jī)?nèi)嵌進(jìn)返回結(jié)果不像render()那樣生成獨(dú)立文件。這樣在Flask的模板里就能直接用一個(gè)變量承載整個(gè)圖表不需要額外處理靜態(tài)文件路由對(duì)新手來說是最省事的方案。模板里接收?qǐng)D表變量后在HTML中直接用{{ price_chart|safe }}輸出即可。safe過濾器是必須的否則Jinja2會(huì)轉(zhuǎn)義HTML標(biāo)簽圖表就顯示不出來。在index.html里我還會(huì)放一個(gè)簡(jiǎn)單的統(tǒng)計(jì)卡片區(qū)把數(shù)據(jù)總量、平均價(jià)格、Top1出版社這些指標(biāo)展示出來讓總覽頁(yè)面看起來更飽滿。這樣整個(gè)系統(tǒng)就分成了“數(shù)據(jù)總覽”和“圖表分析”兩個(gè)頁(yè)面邏輯清晰演示的時(shí)候也方便引導(dǎo)老師的視線。4. 常見問題與排查技巧實(shí)錄這一節(jié)的內(nèi)容全部來自我實(shí)操過程中踩過的坑。網(wǎng)上很多教程只講正確的路不講彎路但恰恰是彎路能幫你省最多時(shí)間。4.1 高頻報(bào)錯(cuò)與解決方案速查表我把這個(gè)項(xiàng)目里最常見的問題整理成了一張表你可以直接對(duì)照排查報(bào)錯(cuò)信息或現(xiàn)象常見原因解決方案requests.exceptions.ConnectionError目標(biāo)網(wǎng)站拒絕連接或IP被臨時(shí)限制檢查網(wǎng)絡(luò)降低請(qǐng)求頻率換User-Agent增加延時(shí)UnicodeDecodeError: gbk codec cant decode編碼判斷失誤設(shè)置resp.encoding resp.apparent_encoding或手動(dòng)指定utf-8/gbk解析結(jié)果為空列表選擇器寫錯(cuò)或頁(yè)面結(jié)構(gòu)動(dòng)態(tài)加載用開發(fā)者工具重新定位選擇器檢查是否登錄才能看到內(nèi)容ValueError: could not convert string to float價(jià)格字段包含非數(shù)字字符清洗時(shí)用正則提取數(shù)字先re.sub再floatpandasKeyError字段名不匹配檢查SQLite表字段名和DataFrame列名是否一致pyecharts圖表在頁(yè)面中不顯示模板中忘了 safe 過濾器SQLite數(shù)據(jù)庫(kù)文件無法打開表結(jié)構(gòu)創(chuàng)建失敗或數(shù)據(jù)沒提交確認(rèn)執(zhí)行了conn.commit()檢查CREATE TABLE是否在插入之前執(zhí)行最容易被忽略的是“解析結(jié)果為空列表”這個(gè)問題。有些圖書列表頁(yè)看起來是靜態(tài)HTML實(shí)際上部分字段是通過JS異步加載的直接拿requests請(qǐng)求下來的HTML里根本沒有這些內(nèi)容。遇到這種情況一個(gè)簡(jiǎn)單的驗(yàn)證方法在瀏覽器中右鍵查看網(wǎng)頁(yè)源代碼按CtrlF搜索你想要的字段值如果搜不到說明內(nèi)容是JS動(dòng)態(tài)渲染的需要考慮用Selenium模擬瀏覽器或者分析Network面板里的XHR接口直接請(qǐng)求數(shù)據(jù)接口。課程設(shè)計(jì)階段優(yōu)先推薦后者更輕量也不容易觸發(fā)反爬。4.2 反爬機(jī)制的合理應(yīng)對(duì)與邊界問題圖書網(wǎng)站的常規(guī)反爬手段主要是User-Agent檢測(cè)、請(qǐng)求頻率限制、IP封禁、驗(yàn)證碼。前兩種是家常便飯應(yīng)對(duì)也很成熟維護(hù)一個(gè)User-Agent池每次請(qǐng)求隨機(jī)取一個(gè)隨機(jī)延時(shí)而不是固定延時(shí)如果遇到503或者頻繁的驗(yàn)證碼立刻停止爬取等幾小時(shí)再繼續(xù)IP封禁這個(gè)層面一般不需要?jiǎng)佑么沓匾驗(yàn)槟菢訒?huì)涉及一些灰色工具。我做這個(gè)項(xiàng)目時(shí)的經(jīng)驗(yàn)是控制總量和頻率才是根本。幾百本到幾千本的數(shù)據(jù)規(guī)模完全可以在不驚動(dòng)對(duì)方的情況下拿到。合規(guī)層面我有幾條自己一直遵守的原則只爬公開可訪問的數(shù)據(jù)不碰需要登錄、有權(quán)限控制的內(nèi)容嚴(yán)格遵守robots協(xié)議如果站點(diǎn)聲明不允許爬取就換一個(gè)公開數(shù)據(jù)源爬取頻率控制在人類正常瀏覽速度之內(nèi)不給目標(biāo)服務(wù)器制造壓力爬取的公開數(shù)據(jù)僅用于個(gè)人學(xué)習(xí)、學(xué)術(shù)研究不用于商業(yè)用途不要把爬蟲腳本用于任何惡意用途比如DDoS、數(shù)據(jù)倒賣、批量注冊(cè)說實(shí)話這些原則不僅是底線問題也是答辯時(shí)的加分項(xiàng)。當(dāng)老師問“你怎么保證你的爬蟲合規(guī)”時(shí)你能說出robots協(xié)議、請(qǐng)求頻率控制、數(shù)據(jù)僅用于學(xué)習(xí)這幾個(gè)關(guān)鍵點(diǎn)比支支吾吾解釋半天要強(qiáng)得多。4.3 答辯高頻問題與思路參考這幾類問題基本每次答辯都會(huì)被問到提前準(zhǔn)備好現(xiàn)場(chǎng)就不慌。問題一為什么選這個(gè)數(shù)據(jù)源數(shù)據(jù)是怎么來的回答思路先說明數(shù)據(jù)源是公開可訪問的圖書網(wǎng)站頁(yè)面然后講你已經(jīng)分析了頁(yè)面的HTML結(jié)構(gòu)確認(rèn)所需字段都存在于靜態(tài)HTML中所以決定用requestsBeautifulSoup做靜態(tài)解析。再提一下你對(duì)robots協(xié)議和反爬策略的了解說明自己設(shè)置了合理的請(qǐng)求頻率。問題二如果數(shù)據(jù)量擴(kuò)大100倍架構(gòu)上怎么擴(kuò)展回答思路把requests替換成Scrapy框架利用它的并發(fā)能力和去重機(jī)制存儲(chǔ)層從SQLite升級(jí)到MySQL或PostgreSQL爬蟲節(jié)點(diǎn)可以分布式部署用消息隊(duì)列來調(diào)度任務(wù)。這部分不需要真的實(shí)現(xiàn)但能講出思路就能展示你思考過系統(tǒng)的擴(kuò)展性。問題三怎么保證爬取數(shù)據(jù)的準(zhǔn)確性回答思路從三層說第一層是請(qǐng)求層校驗(yàn)響應(yīng)狀態(tài)碼和頁(yè)面編碼第二層是解析層字段提取后立即做類型轉(zhuǎn)換和空值處理第三層是存儲(chǔ)層在寫入前做去重和清洗。如果有多頁(yè)數(shù)據(jù)還可以做重復(fù)檢查比如按書名去重、按ISBN去重。5. 最后補(bǔ)幾句做這個(gè)項(xiàng)目的心得很多人以為這個(gè)系統(tǒng)的難點(diǎn)在爬蟲實(shí)際上我做完一遍下來的體會(huì)是爬蟲只占三分之一的時(shí)間數(shù)據(jù)清洗和調(diào)試占了另外三分一剩下的時(shí)間全都花在“讓圖表和頁(yè)面看起來更完整”上了。所以如果你現(xiàn)在正準(zhǔn)備動(dòng)手我建議你把時(shí)間分配表放在案頭別在爬蟲上戀戰(zhàn)。另外有個(gè)非常實(shí)用的建議在寫報(bào)告和準(zhǔn)備答辯前一定把所有圖表用render()生成一份獨(dú)立的HTML文件存到項(xiàng)目里。因?yàn)榇疝q現(xiàn)場(chǎng)的投影環(huán)境偶爾會(huì)出問題Web服務(wù)可能因?yàn)槎丝谡加弥惖男」收掀鸩粊磉@時(shí)直接雙擊提前渲染好的圖表HTML文件至少能保證核心內(nèi)容正常展示。這種細(xì)節(jié)看似不起眼但在現(xiàn)場(chǎng)就是救命的稻草。最后再分享一個(gè)數(shù)據(jù)源的小技巧如果當(dāng)當(dāng)或者其他站點(diǎn)的頁(yè)面結(jié)構(gòu)改版導(dǎo)致選擇器失效不用慌張。網(wǎng)格上的頁(yè)面無論怎么變書名、作者、價(jià)格這類信息幾乎一定會(huì)出現(xiàn)在HTML里只是class名變了?；◣追昼娪瞄_發(fā)者工具重新定位一下改一下選擇器即可代碼邏輯本身不需要?jiǎng)?。這類“小修小補(bǔ)”的能力恰恰是爬蟲項(xiàng)目里最值錢的動(dòng)手能力。