[爬蟲實戰] 如何突破證交所的限制,穩穩抓取最新成交資訊?

  • 大數學堂
  • 2023年7月26日 14:34

最近證交所的頁面更新,除了讓人有耳目一新的感覺,也帶給爬蟲(Python Crawler)全新的挑戰!尤其很多人發現,只要頻繁抓取該網站頁面資訊,最終都會面臨無法繼續連上證交所的窘境;這其實一切都是網頁伺服器的rate limiting 在作祟。

因此,我們只要讓抓取之間能夠讓爬蟲小睡(Sleep)個幾秒,便能擺脫IP被封鎖的命運,讓爬蟲重振雄風,順利抓取您想抓取的資料!

程式碼: https://github.com/ywchiu/largitdata/blob/master/code/Course_100.ipynb