大數軟體 X 大數學堂

[爬蟲實戰] 如何極速擷取1111購物狂歡節的特價商品資訊?

大數學堂
2016年11月10日 14:34

本文介紹了如何使用Python網路爬蟲來抓取天貓特價商品資料。使用Python的requests模組抓取商品頁面，再使用BeautifulSoup4抓取特價商品的資料區塊，最後使用json.loads將資料轉換成字典結構。這樣就可以在1111購物狂歡節期間，同時享受購物樂趣，又顧好自己的錢包了。程式碼可以在文章中提供的GitHub連結中找到。

開始上課

[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

大數學堂
2016年10月10日 15:27

本文介紹了作者對於更新淘寶爬蟲的一些方法。他提到以前的爬蟲只需要獲取Document下的連結即可獲取商品價格資訊，但淘寶現在使用了AJAX的方式填充頁面內容。為了解決這個問題，作者建議從XHR和JS入手，使用正則表達式來解析重要資訊，以便在雙十一節中獲取淘寶資訊更容易。

開始上課

[實價登錄分析] 如何使用Python Pandas 整併歷年實價登錄資訊?

大數學堂
2016年9月14日 16:29

文章中提到，僅整理一季的資料無法完整進行房價分析，因此需要將歷年的實價登錄資訊存放在不同的目錄夾中。接著，使用Pandas的Data Frame將各季的資料讀入，再使用Concat指令合併所有的Data Frame。以此，可以選擇使用describe指令獲得敘述性統計，或使用to_excel功能將資料寫入Excel檔案中。

開始上課