[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

[爬蟲實戰] 如何快速蒐集免費IP作為Python 網路爬蟲跳板Proxy?

利用Python 網路爬蟲抓取一些會鎖IP 的網站 (例如:GoodInfo, 證交所 ),就需要一些免費的Proxy 當成跳板,規避網路爬蟲被封鎖的風險。因此我們先抓取Free Proxy List (https://free-proxy-list.net/) 上的頁面,再利用正規表達法蒐集所有的IP 清單,最後再透過 ipify (https://www.ipify.org/) 做測試,如此反覆操作,我們就很快能累積出屬於我們自己的Python 網路爬蟲跳板(Proxy)清單摟! 影片: https://largitdata.com/course/133/ 程式碼:https://github.com/ywchiu/largitdata/blob/master/code/Course_133.ipynb #Python網路爬蟲 #Proxy #ipify #跳板 #免費IP

  • 星期一 28 九月 2020
回到最上面