[爬蟲實戰] 如何突破蝦皮拍賣的重重限制以順利抓取拍賣商品資訊?

  • 大數學堂
  • July 26, 2023, 3:52 p.m.

又回到爬蟲實戰的課題了,這次要抓時下最夯的蝦皮拍賣(https://shopee.tw/)。

蝦皮的抓取方法:

第一步 先找到放在XHR 的請求連結
第二步 接下來必須連同json 格式的參數一同透過POST做傳輸,方能送出正確的請求出去。
第三步 如果今天發出請求後,如何都拿不到正確回應時,便要思考是不是有少帶哪些標頭(Headers)資訊,此時只要一一嘗試,總會找到一個正確的組合取得商品資訊。

當然,有些標頭資訊是很難以取得的,此時再搭配Selenium 取得正確Cookie,任何難解的網站都可以迎刃而解!