[Scrapy 爬蟲] 如何設置 Job 以分段爬蟲任務?

[Scrapy 爬蟲] 如何設置 Job 以分段爬蟲任務?

[Scrapy 爬蟲] 如何設置 Job 以分段爬蟲任務?

在爬取大型網站時,常會需要將爬取任務分段,所幸我們可以在Scrapy中透過 -s JOBDIR=DIR 暫停及回復任務(Job)暫停,讓頭痛的任務管理留給Scrapy 處理。

  • Sun 13 Mar 2016
回到最上面