[Scrapy 爬蟲] 如何使用items.py整理Scrapy 爬取下來的資料並輸出成JSON檔?

• 大數學堂
• 2016年2月24日 15:26

Scrapy 的 items.py 可以將爬蟲爬取到的資料結構化，爬蟲主程式隨後可建立物件來存放爬取下來的資料。最後，透過指令 "scrapy crawl apple -o

開始上課

如何使用RJDBC 連結到MySQL?

• 大數學堂
• 2015年7月6日 16:23

本文介紹了在使用程式語言連結到資料庫時可使用的兩種方法：ODBC和JDBC。同樣地，R語言也提供了RODBC和RJDBC兩種方法供使用者選擇。本文將教您如何下載JAR檔和設定連線資訊，使得R可以通過RJDBC連結到資料庫，並獲取資料庫中存放的三大法人買賣資訊。

開始上課

[交易系統] 如何操作SQLite ?

• 大數學堂
• 2015年5月3日 16:10

本文介紹了如何使用Firefox的SQLite Manager擴充插件來操作SQLite數據庫，以儲存爬取的三大法人統計資訊。相較於安裝和配置MySQL PostgreSQL等數據庫，SQLite Manager的簡單易用讓資料儲存變得輕鬆方便。SQLite Manager提供了一個直觀的用戶界面，讓您可以輕鬆創建 編輯和查詢數據庫表格，並支持導入和導出數據等功能。讀者可以通過本文學習如何使用SQLite Manager進行數據庫操作，輕鬆管理爬取資料。

開始上課

[交易系統] 如何清理爬蟲所抓取下來的金額資訊?

• 大數學堂
• 2015年5月5日 15:29

這篇文章主要介紹了如何處理金額資料中的千進位逗號符號。作者提到可以使用split和join的技巧來輕鬆地進行金額轉換。無論何時需要將金額從不帶有千進位逗號的字串轉換回包含千進位逗號的格式，這個技巧都非常有用。這個方法可以讓我們方便地處理金額資料並將其存儲到資料庫中。

開始上課

[RPA] 如何透過 Line 發送最新一集的漫畫?

• 大數學堂
• 2019年10月24日 15:30

本文章介紹了如何將整個漫畫自動發送流程串接起來，先將漫畫集數存放至SQLite，再透過爬蟲結果比對取得尚未抓取的集數，利用Selenium爬取新集數後，使用Line Notify發送最新的漫畫圖片。這樣可以讓看漫畫變得簡單有趣。文章中還附有相關影片和程式碼來幫助讀者。提到的技術有SQLite LineNotify Selenium RPA和Python自動化。

開始上課

[爬蟲實戰] 如何透過網路爬蟲將網路圖片存放至SQLite之中?

• 大數學堂
• 2015年5月4日 17:02

本文介紹了網路爬蟲的另一個功能，即抓取並存儲網路上的圖片。作者透過設定stream = TRUE後，使用shutil的copyfileobj功能將圖片存儲為檔案，並建立一個能夠存儲blob資料的資料表。這樣，我們便能夠將圖片存儲到資料庫中。

開始上課