[Scrapy 爬蟲] 如何從蘋果新聞的清單聯結抓取下一層的內容頁面?

  • 大數學堂
  • 2016年2月23日 16:14

取得第一頁的清單聯結後,我們可以在scrapy 爬蟲中使用yield 產生器(generator) 產生一個scrapy 請求以抓取下一層的內容頁面,並用BeautifulSoup 剖析內容後,得到內容頁的標題資訊。