【Python爬蟲框架scrapy是如何運(yùn)行的？爬蟲框架Scrapy執(zhí)行流程詳解】很多學(xué)習(xí)python爬蟲的小伙伴都知道Scrapy這個(gè)框架并且使用它，但其實(shí)很多人都只是會(huì)使用集成開發(fā)工具創(chuàng)建出這個(gè)框架搭建的任務(wù)然后編寫代碼而已，對(duì)于它背后的具體執(zhí)行過(guò)程卻不是很了解 。這篇文章要來(lái)介紹的就是python爬蟲框架Scrapy詳細(xì)執(zhí)行流程，往下看看吧 。

一、Scrapy框架結(jié)構(gòu)
那么要學(xué)習(xí)Scrapy框架的執(zhí)行流程，首先就是得知道它是由哪些結(jié)構(gòu)所組成的 。該框架由引擎、調(diào)度器、下載器、爬蟲、管道下載中間件以及爬蟲中間件這六個(gè)部分結(jié)構(gòu)所組成的 。而整個(gè)框架的運(yùn)作就從就是在這六個(gè)結(jié)構(gòu)之間流轉(zhuǎn)，叢而得到結(jié)果返回到程序中 。
二、Scrapy框架執(zhí)行流程
既然知道該框架有哪些部分結(jié)構(gòu)組成之后，也就能夠來(lái)學(xué)習(xí)它的執(zhí)行流程了，開始需要明白python爬蟲整個(gè)的運(yùn)行過(guò)程都是在請(qǐng)求以及返回之間來(lái)完成的 。
那么引擎作為整個(gè)Scrapy框架的核心點(diǎn)，它所負(fù)責(zé)的工作是各個(gè)組件間的通訊 。引擎接收到網(wǎng)頁(yè)訪問(wèn)requests請(qǐng)求之后將其發(fā)送給調(diào)度器，而進(jìn)行隊(duì)列排序處理完成自后由會(huì)返回到引擎 。此時(shí)引擎會(huì)在有需要時(shí)將其交給下載器，下載器就是會(huì)從網(wǎng)頁(yè)上獲取到數(shù)據(jù)并且返回response響應(yīng) 。
然后響應(yīng)又會(huì)回到引擎中，引擎再將其交給爬蟲，而爬蟲所執(zhí)行的工作就是對(duì)響應(yīng)數(shù)據(jù)進(jìn)行分析處理得到實(shí)際所需的數(shù)據(jù) 。之后進(jìn)入到管道中來(lái)將數(shù)據(jù)進(jìn)行更加細(xì)致的分類和處理，最后將其給保存在文件或者數(shù)據(jù)庫(kù)中 。
以上就是Scrapy爬蟲框架完整的執(zhí)行流程了，在其中中間件的作用就是需要開發(fā)者自行根據(jù)需求去設(shè)定，它們分別是在請(qǐng)求和響應(yīng)過(guò)程中起作用的 。

猜你喜歡

• Python如何使用第三方庫(kù)xpath？Python爬蟲怎么實(shí)現(xiàn)網(wǎng)頁(yè)節(jié)點(diǎn)解析
• Python怎么設(shè)置表格整體樣式？Python如何用pandas更改表格樣式
• Python怎么判斷IP是否有效？Python爬蟲如何檢測(cè)IP地址符合規(guī)范
• Python函數(shù)可以賦值給變量嗎？Python怎么用變量接收函數(shù)
• python安裝路徑怎么找？查看python安裝路徑的方法有哪些？
• Python編程界面是什么樣的？如何打開Python編程的代碼界面？
• Python怎么獲取電腦ip？Linux系統(tǒng)如何獲取本機(jī)ip
• Python運(yùn)行的按鈕在哪？Python代碼輸入完之后如何運(yùn)行？
• pycharm怎么設(shè)置python執(zhí)行環(huán)境？在pycharm中設(shè)置python執(zhí)行環(huán)境的教程
• 如何設(shè)置Python開發(fā)環(huán)境IDLE的字符縮進(jìn)量？ IDLE編輯器設(shè)置Tab鍵縮進(jìn)為四個(gè)空格