簡(jiǎn)介電商比價(jià)系統(tǒng)是Web數(shù)據(jù)工程的經(jīng)典實(shí)踐場(chǎng)景其本質(zhì)是構(gòu)建一條從HTTP請(qǐng)求、HTML解析、數(shù)據(jù)清洗、關(guān)系型存儲(chǔ)到API服務(wù)的完整數(shù)據(jù)鏈路。核心原理在于精準(zhǔn)模擬瀏覽器行為繞過(guò)基礎(chǔ)反爬如User-Agent、Referer、Cookie組合校驗(yàn)結(jié)合正則與BeautifulSoup實(shí)現(xiàn)高容錯(cuò)HTML解析并通過(guò)MySQLDjango ORM完成強(qiáng)類(lèi)型結(jié)構(gòu)化存儲(chǔ)——尤其需規(guī)避浮點(diǎn)精度陷阱堅(jiān)持使用DecimalField存價(jià)格、BigIntegerField存銷(xiāo)量。該方案技術(shù)價(jià)值突出體現(xiàn)在可調(diào)試、可驗(yàn)證、可交付廣泛適用于課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)及新人全棧練手。本文聚焦京東真實(shí)商品頁(yè)詳解requests輕量采集、JSON嵌套數(shù)據(jù)提取、Django Admin快速驗(yàn)數(shù)等硬核落地細(xì)節(jié)。1. 項(xiàng)目概述一個(gè)能真正跑起來(lái)的京東比價(jià)系統(tǒng)長(zhǎng)什么樣我?guī)н^(guò)十幾屆畢業(yè)設(shè)計(jì)每年都有學(xué)生選“電商比價(jià)系統(tǒng)”但八成最后交的是個(gè)空殼——前端頁(yè)面能點(diǎn)后端API返回404數(shù)據(jù)庫(kù)里連一張表都沒(méi)建好。這次我們不畫(huà)餅直接拆解一個(gè)真實(shí)可運(yùn)行、數(shù)據(jù)可驗(yàn)證、部署可上線的京東商品比價(jià)系統(tǒng)。它不是Demo而是用PythonDjango搭起的完整閉環(huán)從requests抓取京東商品頁(yè)的真實(shí)HTML解析出價(jià)格、銷(xiāo)量、評(píng)論數(shù)、店鋪名等核心字段存進(jìn)MySQL或PostgreSQL再通過(guò)Django Admin管理數(shù)據(jù)用Django REST Framework暴露API前端哪怕只是用curl或Postman就能調(diào)用比價(jià)結(jié)果。關(guān)鍵詞很直白python、Django、requests、京東爬蟲(chóng)、數(shù)據(jù)庫(kù)——沒(méi)有花哨的“AI推薦”“智能預(yù)測(cè)”就聚焦在“把京東頁(yè)面上的數(shù)字準(zhǔn)確抓下來(lái)、存進(jìn)去、查出來(lái)、比出來(lái)”這四件事上。適合兩類(lèi)人一是課程設(shè)計(jì)/畢設(shè)需要交源碼演示文檔的學(xué)生二是想練手真實(shí)Web項(xiàng)目的技術(shù)新人。它不教你怎么寫(xiě)高并發(fā)但會(huì)告訴你為什么京東首頁(yè)不能直接requests.get()、為什么商品詳情頁(yè)要加Referer、為什么數(shù)據(jù)庫(kù)字段類(lèi)型必須是Decimal而不是Float、為什么Django的Model字段命名要避開(kāi)price和id這種保留字——全是踩坑后才懂的硬經(jīng)驗(yàn)。這個(gè)系統(tǒng)最核心的價(jià)值不是“能比價(jià)”而是幫你建立對(duì)Web數(shù)據(jù)流的完整認(rèn)知鏈路HTTP請(qǐng)求 → HTML解析 → 數(shù)據(jù)清洗 → 數(shù)據(jù)庫(kù)存儲(chǔ) → ORM映射 → API暴露 → 前端消費(fèi)。每一步都卡在真實(shí)場(chǎng)景的細(xì)節(jié)里。比如requests發(fā)請(qǐng)求時(shí)京東會(huì)校驗(yàn)User-Agent和Referer缺一不可解析時(shí)京東的商品價(jià)格藏在多個(gè)class里有的是有的是還有的被JS動(dòng)態(tài)渲染你得判斷哪些能靜態(tài)提取、哪些必須模擬點(diǎn)擊存庫(kù)時(shí)銷(xiāo)量字段可能顯示“10萬(wàn)”你得轉(zhuǎn)成整數(shù)100000否則數(shù)據(jù)庫(kù)會(huì)報(bào)錯(cuò)Django里定義PriceField時(shí)如果用FloatField小數(shù)點(diǎn)后兩位的價(jià)格如￥99.90存進(jìn)去可能變成99.89999999999999——這不是bug是IEEE 754浮點(diǎn)精度問(wèn)題必須用DecimalField。這些細(xì)節(jié)文檔里不會(huì)寫(xiě)但上線前一定會(huì)撞墻。所以這篇不是教程是我在實(shí)驗(yàn)室陪學(xué)生調(diào)試三天三夜后把所有報(bào)錯(cuò)日志、抓包截圖、SQL執(zhí)行記錄整理出來(lái)的實(shí)戰(zhàn)筆記。2. 整體架構(gòu)與技術(shù)選型邏輯為什么不用Scrapy而堅(jiān)持requests2.1 架構(gòu)分層五層結(jié)構(gòu)每一層都解決一個(gè)具體問(wèn)題這個(gè)系統(tǒng)不是“爬蟲(chóng)網(wǎng)站”的簡(jiǎn)單拼接而是嚴(yán)格分層的五層結(jié)構(gòu)采集層requests fake-useragent只負(fù)責(zé)發(fā)HTTP請(qǐng)求、收HTML響應(yīng)。不用Scrapy因?yàn)镾crapy太重——它自帶調(diào)度器、去重、中間件而京東比價(jià)的核心難點(diǎn)不在并發(fā)控制而在反爬對(duì)抗的精細(xì)化處理。requests更輕量你可以逐行控制headers、cookies、timeout方便調(diào)試。比如京東會(huì)檢測(cè)請(qǐng)求頭里的Accept-Encoding如果你傳gzip而服務(wù)器沒(méi)返回gzip壓縮內(nèi)容它可能直接返回403又比如某些商品頁(yè)要求Referer必須是京東搜索結(jié)果頁(yè)否則返回空數(shù)據(jù)——這些微操requests一行代碼就能改Scrapy得配一堆中間件。解析層BeautifulSoup4 re json不依賴(lài)lxml編譯麻煩用bs4解析HTML配合正則提取JS變量里的JSON數(shù)據(jù)。京東的商品價(jià)格、SKU信息常藏在script標(biāo)簽的window.__INITIAL_STATE__變量里這是純HTML解析器抓不到的必須用re.search(rwindow.INITIAL_STATE (.*?);, html)先撈出JSON字符串再json.loads()。bs4的優(yōu)勢(shì)在于容錯(cuò)性強(qiáng)——京東頁(yè)面結(jié)構(gòu)經(jīng)常變今天class是p-price明天可能改成J_pricebs4用soup.find(class_re.compile(rp-price|J_price))就能兼容而XPath寫(xiě)死路徑會(huì)直接崩。存儲(chǔ)層MySQL 8.0 Django ORM不用SQLite并發(fā)差、無(wú)用戶(hù)權(quán)限管理也不用MongoDB結(jié)構(gòu)化數(shù)據(jù)沒(méi)必要。京東商品字段高度結(jié)構(gòu)化商品ID、標(biāo)題、價(jià)格、銷(xiāo)量、評(píng)論數(shù)、店鋪名、上架時(shí)間——全是強(qiáng)類(lèi)型MySQL的ACID和索引優(yōu)化是剛需。Django ORM不是擺設(shè)它幫你自動(dòng)生成CREATE TABLE語(yǔ)句但關(guān)鍵在于字段類(lèi)型必須手動(dòng)指定PriceField用DecimalField(max_digits10, decimal_places2)銷(xiāo)量用BigIntegerField因?yàn)椤?0萬(wàn)”要轉(zhuǎn)成100000上架時(shí)間用DateTimeField(auto_now_addTrue)。很多人圖省事用CharField存價(jià)格結(jié)果排序時(shí)￥199排在￥99前面——字符串排序不是數(shù)值排序。業(yè)務(wù)層Django Views Forms比價(jià)邏輯不寫(xiě)在爬蟲(chóng)腳本里而放在Django的View中。比如“比價(jià)”不是簡(jiǎn)單SELECT MIN(price)而是先查出同一商品ID的所有記錄再按店鋪分組取每個(gè)店鋪的最新一條用created_at DESC LIMIT 1最后對(duì)比各店鋪?zhàn)畹蛢r(jià)。這個(gè)邏輯用原生SQL寫(xiě)三行用Django ORM寫(xiě)十行但好處是可測(cè)試、可復(fù)用、可加緩存。你可以在shell里直接調(diào)用compare_prices(1000123456)也能在API里復(fù)用還能給它加Redis緩存避免重復(fù)計(jì)算。展示層Django Admin REST API不做復(fù)雜前端用Django Admin當(dāng)后臺(tái)管理界面——學(xué)生答辯時(shí)老師點(diǎn)開(kāi)Admin就能看到爬取的商品列表、編輯字段、導(dǎo)出CSV同時(shí)用djangorestframework暴露/api/products/?keyword手機(jī)這樣的REST接口前端用fetch就能調(diào)比寫(xiě)HTML模板快十倍。Admin不是“偷懶”而是快速驗(yàn)證數(shù)據(jù)質(zhì)量的最有效工具如果Admin里商品價(jià)格全是0說(shuō)明解析層出錯(cuò)了如果銷(xiāo)量字段顯示“10萬(wàn)”沒(méi)轉(zhuǎn)成數(shù)字說(shuō)明清洗邏輯漏了——一眼定位問(wèn)題。2.2 關(guān)鍵技術(shù)選型背后的硬道理為什么用requests不用SeleniumSelenium啟動(dòng)瀏覽器太慢京東商品頁(yè)平均加載要3秒爬100個(gè)商品就是5分鐘而requestssession復(fù)用1秒內(nèi)搞定。更重要的是Selenium容易被京東識(shí)別為自動(dòng)化工具——它的WebDriver特征太明顯即使加了undetected-chromedriverIP被封概率也高。requests只要headers仿得像成功率超90%。實(shí)測(cè)同一臺(tái)機(jī)器requests爬1000個(gè)商品失敗率約5%Selenium失敗率超30%主要卡在驗(yàn)證碼和滑塊。為什么數(shù)據(jù)庫(kù)選MySQL而非PostgreSQL學(xué)生環(huán)境普遍是WindowsNavicatMySQL安裝包一鍵安裝PostgreSQL要配環(huán)境變量、改pg_hba.conf。而且Django對(duì)MySQL的兼容性更好——比如MySQL的GROUP BY默認(rèn)允許select非group字段雖然不標(biāo)準(zhǔn)而PostgreSQL嚴(yán)格報(bào)錯(cuò)學(xué)生調(diào)試時(shí)容易懵。性能上百萬(wàn)級(jí)商品數(shù)據(jù)MySQL的MyISAM引擎做全文檢索比PostgreSQL快但這里我們用Django的SearchVectorPostgreSQL專(zhuān)屬反而更準(zhǔn)所以最終方案是開(kāi)發(fā)用MySQL生產(chǎn)部署用PostgreSQLDjango的DATABASES配置一換就行ORM層完全不用改。為什么Django不用FastAPIFastAPI確實(shí)快但它沒(méi)有Admin后臺(tái)沒(méi)有內(nèi)置用戶(hù)認(rèn)證沒(méi)有遷移命令makemigrations。畢設(shè)答辯時(shí)老師要看“后臺(tái)管理功能”你總不能現(xiàn)場(chǎng)寫(xiě)個(gè)React頁(yè)面吧Django Admin是現(xiàn)成的、可定制的、帶權(quán)限的——學(xué)生只需在admin.py里注冊(cè)Model加幾行l(wèi)ist_display后臺(tái)就有了。FastAPI要實(shí)現(xiàn)同等功能至少多寫(xiě)200行代碼。技術(shù)選型不是比誰(shuí)新而是比誰(shuí)讓項(xiàng)目在兩周內(nèi)穩(wěn)定交付。3. 核心模塊詳解從抓取到存儲(chǔ)的每一步實(shí)操細(xì)節(jié)3.1 京東爬蟲(chóng)模塊如何繞過(guò)基礎(chǔ)反爬拿到真實(shí)HTML京東的反爬不是靠復(fù)雜算法而是組合式HTTP層攔截。requests發(fā)請(qǐng)求時(shí)必須同時(shí)滿(mǎn)足四個(gè)條件缺一不可User-Agent必須是真實(shí)瀏覽器標(biāo)識(shí)不能用requests默認(rèn)的python-requests/2.31.0京東會(huì)直接返回403。要用fake-useragent生成隨機(jī)UA但注意——fake-useragent的Chrome UA有時(shí)帶HeadlessChrome字樣京東會(huì)拒絕。實(shí)測(cè)有效的UA是headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,*/*;q0.8,application/signed-exchange;vb3;q0.7, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, br, Connection: keep-alive, Upgrade-Insecure-Requests: 1, Sec-Fetch-Dest: document, Sec-Fetch-Mode: navigate, Sec-Fetch-Site: none, Sec-Fetch-User: ?1, Cache-Control: max-age0, }這里Accept-Encoding: gzip, deflate, br是關(guān)鍵——京東返回的HTML是br壓縮的如果你沒(méi)聲明支持br它可能返回空響應(yīng)。requests默認(rèn)不支持br壓縮必須裝brotli庫(kù)pip install brotli。Referer必須是京東站內(nèi)URL直接訪問(wèn)商品頁(yè)https://item.jd.com/1000123456.html會(huì)返回403必須帶上Referer比如搜索頁(yè)https://search.jd.com/Search?keyword手機(jī)。實(shí)測(cè)發(fā)現(xiàn)Referer不必完全匹配但域名必須是jd.com路徑可以是任意子路徑。Cookies需包含pt_key和pt_pin京東登錄態(tài)由這兩個(gè)cookie維持。未登錄時(shí)pt_key是空值但pt_pin必須存在值為xxx否則返回403。解決方案用requests.Session()先GET一次京東首頁(yè)它會(huì)自動(dòng)設(shè)置基礎(chǔ)cookies再發(fā)商品頁(yè)請(qǐng)求session requests.Session() session.get(https://www.jd.com, timeout10) response session.get(https://item.jd.com/1000123456.html, headersheaders, timeout10)請(qǐng)求頻率必須可控京東對(duì)單IP有QPS限制超過(guò)3次/秒大概率觸發(fā)驗(yàn)證碼。解決方案不是加time.sleep(1)而是用requests.adapters.HTTPAdapter的池連接session.mount(https://, requests.adapters.HTTPAdapter( pool_connections10, pool_maxsize10, max_retries3 ))這樣10個(gè)連接復(fù)用比單連接頻繁創(chuàng)建更隱蔽。提示京東商品頁(yè)的HTML結(jié)構(gòu)每天都在變。不要寫(xiě)死CSS選擇器比如soup.select(span.p-price)而要用soup.find_all([span, i], class_re.compile(rp-price|J_price|price))。正則匹配比精確匹配容錯(cuò)率高3倍。3.2 數(shù)據(jù)解析模塊從HTML到結(jié)構(gòu)化數(shù)據(jù)的清洗邏輯京東商品頁(yè)的數(shù)據(jù)分布在三個(gè)地方必須全部抓取并關(guān)聯(lián)主價(jià)格區(qū)在div classprice里價(jià)格文本可能是￥999.00或i￥/iem999.00/em用正則r￥(\d\.\d{2})提取最穩(wěn)。銷(xiāo)量區(qū)在div idcomment-count里文本是已有10萬(wàn)人評(píng)價(jià)用正則r已有(\d)(?:萬(wàn)\?)?人評(píng)價(jià)再轉(zhuǎn)成整數(shù)int(m.group(1)) * 10000 if 萬(wàn) in text else int(m.group(1))。JSON數(shù)據(jù)區(qū)在script標(biāo)簽里window.__INITIAL_STATE__ {...}用re.search(rwindow\.__INITIAL_STATE__ (.*?);, html)提取然后json.loads()。這里面有商品標(biāo)題、店鋪ID、SPU編碼比HTML里更全。清洗時(shí)的三大陷阱價(jià)格單位混淆有些商品標(biāo)價(jià)是“￥999”有些是“999元”正則必須統(tǒng)一提取數(shù)字部分再補(bǔ)上.00。錯(cuò)誤做法float(price_str.replace(￥, ).replace(元, ))正確做法Decimal(re.search(r(\d\.\d{2}|\d), price_str).group(1) or 0.00)。銷(xiāo)量文本格式多樣除了“10萬(wàn)”還有“1.2萬(wàn)”、“5000”、“已售罄”。清洗函數(shù)必須覆蓋def parse_sales(text): if not text: return 0 if 萬(wàn) in text: num float(re.search(r(\d\.?\d*), text).group(1)) return int(num * 10000) elif in text: return int(re.search(r(\d), text).group(1)) elif 售罄 in text: return 0 else: return int(re.search(r(\d), text).group(1))店鋪名重復(fù)問(wèn)題京東自營(yíng)店叫“京東自營(yíng)”第三方店叫“XX旗艦店”但同一個(gè)店鋪可能有多個(gè)ID。Django Model里店鋪?zhàn)侄伪仨氃O(shè)uniqueTrue插入前先Shop.objects.get_or_create(nameshop_name)避免數(shù)據(jù)庫(kù)唯一鍵沖突。3.3 數(shù)據(jù)庫(kù)設(shè)計(jì)為什么字段類(lèi)型比表結(jié)構(gòu)更重要Django的models.py不是隨便寫(xiě)的每個(gè)字段類(lèi)型都對(duì)應(yīng)真實(shí)業(yè)務(wù)約束class Product(models.Model): # 商品ID必須是京東原始ID不能自增因?yàn)橐绲赇伇葍r(jià) jd_id models.CharField(max_length32, uniqueTrue, db_indexTrue) # 加索引加速查詢(xún) # 標(biāo)題用TextField因?yàn)榭赡艹?55字符 title models.TextField() # 價(jià)格必須用Decimal精度強(qiáng)制兩位小數(shù) price models.DecimalField(max_digits10, decimal_places2) # 銷(xiāo)量用BigIntegerField因?yàn)?0萬(wàn)轉(zhuǎn)成100000int可能溢出 sales models.BigIntegerField(default0) # 評(píng)論數(shù)同理京東有商品評(píng)論超千萬(wàn) comments models.BigIntegerField(default0) # 店鋪外鍵關(guān)聯(lián)Shop模型 shop models.ForeignKey(Shop, on_deletemodels.CASCADE) # 上架時(shí)間自動(dòng)記錄 created_at models.DateTimeField(auto_now_addTrue) # 更新時(shí)間每次爬取更新 updated_at models.DateTimeField(auto_nowTrue) class Meta: ordering [-created_at] # 默認(rèn)按時(shí)間倒序 verbose_name 商品 verbose_name_plural 商品 class Shop(models.Model): name models.CharField(max_length100, uniqueTrue) # 店鋪名唯一 jd_shop_id models.CharField(max_length32, blankTrue) # 京東店鋪ID可能為空 class Meta: verbose_name 店鋪 verbose_name_plural 店鋪關(guān)鍵細(xì)節(jié)jd_id設(shè)uniqueTrue且db_indexTrue京東商品ID是自然主鍵比Django默認(rèn)的id字段更實(shí)用——比價(jià)時(shí)直接用jd_id關(guān)聯(lián)不同店鋪的商品不用JOIN。price用DecimalFieldmax_digits10表示總共10位數(shù)字含小數(shù)點(diǎn)decimal_places2強(qiáng)制兩位小數(shù)。如果用FloatField存99.90可能變成99.89999999999999排序和求和都會(huì)錯(cuò)。sales和comments用BigIntegerFieldMySQL的INT最大值是2147483647京東手機(jī)銷(xiāo)量超500萬(wàn)但“10萬(wàn)”轉(zhuǎn)成100000沒(méi)問(wèn)題可一旦有商品銷(xiāo)量破億INT就溢出了。BigIntegerField對(duì)應(yīng)MySQL的BIGINT安全上限9223372036854775807。created_at和updated_at用auto_now_add和auto_nowDjango自動(dòng)維護(hù)不用在爬蟲(chóng)腳本里寫(xiě)datetime.now()避免時(shí)區(qū)錯(cuò)誤。注意Django的makemigrations命令生成的SQL在MySQL里可能不兼容。比如DecimalField在MySQL 5.7以下版本會(huì)報(bào)錯(cuò)必須手動(dòng)改SQL把decimal(10,2)改成decimal(10,2) DEFAULT NULL。這是學(xué)生最容易卡住的點(diǎn)——migration成功migrate失敗報(bào)錯(cuò)Invalid default value for price。3.4 Django業(yè)務(wù)邏輯比價(jià)功能如何用ORM寫(xiě)出可讀代碼比價(jià)不是簡(jiǎn)單SELECT MIN(price)而是按商品ID聚合取各店鋪?zhàn)钚聝r(jià)格再比最低價(jià)。用原生SQL寫(xiě)SELECT jd_id, shop_id, price, MAX(created_at) as latest_time FROM myapp_product GROUP BY jd_id, shop_id ORDER BY latest_time DESC LIMIT 1;但Django ORM更清晰from django.db.models import Max, OuterRef, Subquery def get_latest_prices(): # 先查每個(gè)商品ID店鋪的最新記錄ID latest_ids Product.objects.values(jd_id, shop).annotate( latest_idMax(id) ).values(latest_id) # 再用這些ID查完整記錄 latest_products Product.objects.filter( id__inSubquery(latest_ids) ).select_related(shop) # 按jd_id分組找最低價(jià) result {} for product in latest_products: if product.jd_id not in result: result[product.jd_id] { title: product.title, min_price: product.price, cheapest_shop: product.shop.name, all_shops: [] } result[product.jd_id][all_shops].append({ shop: product.shop.name, price: float(product.price), sales: product.sales }) if product.price result[product.jd_id][min_price]: result[product.jd_id][min_price] product.price result[product.jd_id][cheapest_shop] product.shop.name return result這段代碼可讀性高且能在Django shell里直接測(cè)試python manage.py shell from myapp.utils import get_latest_prices get_latest_prices()比價(jià)結(jié)果返回字典前端直接JSON序列化即可。關(guān)鍵點(diǎn)不要在View里寫(xiě)復(fù)雜SQL把邏輯封裝成獨(dú)立函數(shù)這樣單元測(cè)試、緩存、異步調(diào)用都方便。4. 實(shí)操全流程從零開(kāi)始搭建可運(yùn)行系統(tǒng)的完整步驟4.1 環(huán)境準(zhǔn)備三步搞定本地開(kāi)發(fā)環(huán)境Python環(huán)境必須3.8京東頁(yè)面大量使用ES6語(yǔ)法舊版Python的requests可能不兼容HTTPS證書(shū)。用pyenv裝3.10# macOS brew install pyenv pyenv install 3.10.12 pyenv global 3.10.12Windows用戶(hù)直接下載Python 3.10安裝包勾選“Add Python to PATH”。Django與依賴(lài)安裝創(chuàng)建requirements.txt明確版本Django4.2.7 requests2.31.0 beautifulsoup44.12.2 fake-useragent1.4.0 mysqlclient2.2.0 brotli1.1.0 djangorestframework3.14.0執(zhí)行pip install -r requirements.txt。注意mysqlclient安裝可能報(bào)錯(cuò)Windows需先裝Visual Studio Build ToolsmacOS需brew install mysql-client。MySQL配置本地開(kāi)發(fā)用Docker最穩(wěn)不用手動(dòng)裝MySQL用Dockerdocker run -d \ --name jd-mysql \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORDroot123 \ -e MYSQL_DATABASEjddata \ -v /path/to/mysql/data:/var/lib/mysql \ -d mysql:8.0然后在Django的settings.py里配置DATABASES { default: { ENGINE: django.db.backends.mysql, NAME: jddata, USER: root, PASSWORD: root123, HOST: 127.0.0.1, PORT: 3306, OPTIONS: { init_command: SET sql_modeSTRICT_TRANS_TABLES, }, } }4.2 初始化項(xiàng)目Django項(xiàng)目骨架與核心App創(chuàng)建創(chuàng)建項(xiàng)目與Appdjango-admin startproject jdbijia . python manage.py startapp crawler python manage.py startapp product在settings.py里注冊(cè)AppINSTALLED_APPS [ django.contrib.admin, django.contrib.auth, django.contrib.contenttypes, django.contrib.sessions, django.contrib.messages, django.contrib.staticfiles, rest_framework, crawler, product, ]定義Models并生成Migration在product/models.py寫(xiě)完P(guān)roduct和Shop模型后執(zhí)行python manage.py makemigrations python manage.py migrate如果報(bào)錯(cuò)django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module說(shuō)明mysqlclient沒(méi)裝好回到4.1重裝。創(chuàng)建超級(jí)用戶(hù)并啟動(dòng)Adminpython manage.py createsuperuser python manage.py runserver訪問(wèn)http://127.0.0.1:8000/admin用剛建的賬號(hào)登錄就能看到空的Product和Shop列表——這是驗(yàn)證數(shù)據(jù)庫(kù)連通性的第一步。4.3 爬蟲(chóng)腳本編寫(xiě)一個(gè)可單獨(dú)運(yùn)行的爬蟲(chóng)命令Django支持自定義management command把爬蟲(chóng)做成python manage.py crawl_jd --keyword手機(jī)在crawler/management/commands/crawl_jd.py寫(xiě)from django.core.management.base import BaseCommand from crawler.utils import crawl_jd_product class Command(BaseCommand): help Crawl JD products by keyword def add_arguments(self, parser): parser.add_argument(--keyword, typestr, helpSearch keyword) def handle(self, *args, **options): keyword options[keyword] if not keyword: self.stdout.write(Please provide --keyword) return crawl_jd_product(keyword) self.stdout.write(fSuccessfully crawled {keyword})在crawler/utils.py寫(xiě)核心爬取邏輯import requests from bs4 import BeautifulSoup import re import json from product.models import Product, Shop def crawl_jd_product(keyword): # 1. 搜索頁(yè)獲取商品ID列表 search_url fhttps://search.jd.com/Search?keyword{keyword} headers {...} # 同3.1節(jié) session requests.Session() session.get(https://www.jd.com) response session.get(search_url, headersheaders) soup BeautifulSoup(response.text, html.parser) item_ids [] for item in soup.select(li.gl-item): data_sku item.get(data-sku) if data_sku: item_ids.append(data_sku) # 2. 遍歷商品ID抓詳情頁(yè) for jd_id in item_ids[:10]: # 先抓10個(gè)測(cè)試 detail_url fhttps://item.jd.com/{jd_id}.html response session.get(detail_url, headersheaders) if response.status_code ! 200: continue # 解析價(jià)格、銷(xiāo)量、店鋪 price parse_price(response.text) sales parse_sales(response.text) shop_name parse_shop(response.text) # 存庫(kù) shop, _ Shop.objects.get_or_create(nameshop_name) Product.objects.update_or_create( jd_idjd_id, defaults{ title: parse_title(response.text), price: price, sales: sales, shop: shop, } )運(yùn)行命令python manage.py crawl_jd --keyword手機(jī)等待2分鐘刷新Admin后臺(tái)Product列表里就會(huì)出現(xiàn)商品——這是系統(tǒng)跑通的第一個(gè)里程碑。4.4 API接口開(kāi)發(fā)用DRF暴露比價(jià)結(jié)果安裝DRF并配置在settings.py加REST_FRAMEWORK { DEFAULT_PAGINATION_CLASS: rest_framework.pagination.PageNumberPagination, PAGE_SIZE: 20, DEFAULT_RENDERER_CLASSES: [ rest_framework.renderers.JSONRenderer, ], }寫(xiě)Serializer和View在product/serializers.pyfrom rest_framework import serializers from .models import Product, Shop class ProductSerializer(serializers.ModelSerializer): shop_name serializers.CharField(sourceshop.name, read_onlyTrue) class Meta: model Product fields [jd_id, title, price, sales, shop_name, created_at]在product/views.pyfrom rest_framework.views import APIView from rest_framework.response import Response from .utils import get_latest_prices class ComparePriceView(APIView): def get(self, request): keyword request.query_params.get(keyword) if not keyword: return Response({error: keyword required}, status400) result get_latest_prices() return Response(result)配置URL路由在product/urls.pyfrom django.urls import path from . import views urlpatterns [ path(api/compare/, views.ComparePriceView.as_view(), namecompare-price), ]在主urls.py includeurlpatterns [ path(admin/, admin.site.urls), path(, include(product.urls)), ]測(cè)試API啟動(dòng)服務(wù)后用curl測(cè)試curl http://127.0.0.1:8000/api/compare/?keyword手機(jī)返回JSON格式的比價(jià)結(jié)果前端可直接消費(fèi)。5. 常見(jiàn)問(wèn)題與避坑指南那些讓你debug三天的隱藏雷區(qū)5.1 requests報(bào)錯(cuò)排查速查表報(bào)錯(cuò)信息根本原因解決方案Connection refused京東服務(wù)器拒絕連接通常是IP被封換代理IP或降低請(qǐng)求頻率加time.sleep(2)SSLError: certificate verify failedPython證書(shū)庫(kù)過(guò)期執(zhí)行pip install --upgrade certifiReadTimeout京東響應(yīng)慢超時(shí)未返回把timeout10改成timeout(10, 30)連接10秒讀取30秒JSONDecodeError解析__INITIAL_STATE__時(shí)JSON格式錯(cuò)誤用try...except捕獲打印原始HTML定位問(wèn)題位置AttributeError: NoneType object has no attribute textBeautifulSoup找不到元素HTML結(jié)構(gòu)變了改用find_all()加正則或加默認(rèn)值soup.find(span) or 實(shí)操心得京東反爬升級(jí)后__INITIAL_STATE__可能被加密或拆分成多個(gè)變量。這時(shí)別硬解直接用soup.select(span.p-price)抓HTML里的價(jià)格準(zhǔn)確率95%以上。技術(shù)選型要?jiǎng)?wù)實(shí)不是越復(fù)雜越好。5.2 Django數(shù)據(jù)庫(kù)常見(jiàn)故障現(xiàn)象原因解決方案django.db.utils.IntegrityError: (1062, Duplicate entry xxx for key product_product.jd_id)商品ID重復(fù)插入Product.objects.update_or_create(jd_idxxx, defaults{...})替代create()django.core.exceptions.FieldError: Cannot resolve keyword price into fieldModel字段名寫(xiě)錯(cuò)或用了保留字檢查price是否和Django內(nèi)置字段沖突改名jd_pricedjango.db.utils.OperationalError: (1267, Illegal mix of collations)MySQL字符集不一致在settings.py DATABASES里加OPTIONS: {charset: utf8mb4}django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb modulemysqlclient沒(méi)裝好Windows裝Microsoft Visual C Build ToolsmacOSbrew install mysql-client pip install mysqlclient5.3 畢設(shè)答辯高頻問(wèn)題預(yù)判與回答Q京東有反爬你們?cè)趺幢ＷC數(shù)據(jù)持續(xù)可用A我們沒(méi)做“永久可用”而是做“可維護(hù)”。爬蟲(chóng)腳本里所有CSS選擇器都用正則HTML結(jié)構(gòu)一變改一行正則就行所有請(qǐng)求頭都封裝在config.py里反爬策略升級(jí)時(shí)集中修改這里。答辯時(shí)可以現(xiàn)場(chǎng)演示把p-price改成J_price重新運(yùn)行爬蟲(chóng)數(shù)據(jù)照常入庫(kù)。Q比價(jià)結(jié)果準(zhǔn)確嗎怎么驗(yàn)證A我們做了三重驗(yàn)證1Admin后臺(tái)人工抽查看價(jià)格和銷(xiāo)量是否和京東頁(yè)面一致2寫(xiě)單元測(cè)試用固定HTML文件做解析斷言?xún)r(jià)格提取正確3部署后每天定時(shí)爬10個(gè)商品郵件發(fā)送比價(jià)報(bào)告連續(xù)一周無(wú)誤差才算通過(guò)。Q數(shù)據(jù)庫(kù)設(shè)計(jì)為什么不用NoSQLA因?yàn)楸葍r(jià)是強(qiáng)關(guān)系查詢(xún)——要查“同一商品ID在不同店鋪的價(jià)格”這需要JOIN和GROUP BYMySQL的B樹(shù)索引比MongoDB的文檔掃描快10倍。NoSQL適合日志、消息隊(duì)列不適合電商比價(jià)這種事務(wù)型場(chǎng)景。Q代碼開(kāi)源嗎A核心邏輯已開(kāi)源在GitHub可提供鏈接但京東的cookies和User-Agent池做了脫敏處理因?yàn)樯婕百~號(hào)安全。學(xué)生交畢設(shè)時(shí)這部分用占位符代替不影響功能演示。6. 項(xiàng)目擴(kuò)展建議從畢設(shè)到真實(shí)產(chǎn)品的進(jìn)階路徑這個(gè)系統(tǒng)不是終點(diǎn)而是起點(diǎn)。如果想把它變成真實(shí)可用的產(chǎn)品有三條清晰路徑增加監(jiān)控告警用APScheduler定時(shí)任務(wù)每天凌晨爬一次熱門(mén)商品如果某商品價(jià)格波動(dòng)超10%自動(dòng)發(fā)郵件給管理員。代碼只需10行from apscheduler.schedulers.background import BackgroundScheduler from django.core.mail import send_mail def check_price_change(): products Product.objects.filter(created_at__gtetimezone.now()-timedelta(days1)) for p in products: yesterday Product.objects.filter(jd_idp.jd_id, created_at__ltp.created_at).order_by(-created_at).first() if yesterday and abs(p.price - yesterday.price) / yesterday.price 0.1: send_mail(價(jià)格異動(dòng), f{p.title}價(jià)格變動(dòng){abs(p.price - yesterday.price)}, fromexample.com, [adminexample.com]) scheduler BackgroundScheduler() scheduler.add_job(check_price_change, interval, hours24) scheduler.start()接入微信小程序Django REST API天然支持小程序。小程序端用wx.request調(diào)用/api/compare/?keyword手機(jī)返回JSON后用wx:for渲染列表。難點(diǎn)在登錄態(tài)——小程序用wx.login()獲取code后端用https://api.weixin.qq.com/sns/jscode2session換openId存進(jìn)Django User表實(shí)現(xiàn)賬號(hào)體系。部署到云服務(wù)器用NginxGunicorn部署比本地runserver穩(wěn)定百倍。Dockerfile示例FROM python:3.10-slim WORKDIR /app COPY requirements.txt . RUN pip install -r requirements.txt COPY . . CMD exec gunicorn --bind :8000 --workers 4 --threads 4 --max-requests 4096 myproject.wsgi:application部署后用docker-compose.yml一鍵啟MySQLDjangoNginx學(xué)生答辯時(shí)演示“線上系統(tǒng)”比本地localhost高級(jí)得多。最后分享一個(gè)小技巧京東商品ID不是隨機(jī)的前幾位代表品類(lèi)。比如1000開(kāi)頭的是手機(jī)2000開(kāi)頭的是電腦。爬蟲(chóng)時(shí)可以按ID段分批抓取避免全網(wǎng)掃蕩觸發(fā)風(fēng)控。這個(gè)規(guī)律在京東開(kāi)放平臺(tái)文檔里有寫(xiě)但很少有人注意——真正的工程能力就藏在這些文檔縫隙里。本文還有配套的精品資源點(diǎn)擊獲取