[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

  • 大數學堂
  • Sept. 28, 2020, 2:47 p.m.

利用Python 網路爬蟲抓取一些會鎖IP 的網站 (例如:GoodInfo, 證交所 ),就需要一些免費的Proxy 當成跳板,規避網路爬蟲被封鎖的風險。因此我們先抓取Free Proxy List 上的頁面,再利用正規表達法蒐集所有的IP 清單,最後再透過 ipify 做測試,如此反覆操作,我們就很快能累積出屬於我們自己的Python 網路爬蟲跳板(Proxy)清單摟!

影片: https://largitdata.com/course/133/

程式碼:https://github.com/ywchiu/largitdata/blob/master/code/Course_133.ipynb

#Python網路爬蟲
#Proxy
#ipify
#跳板
#免費IP