[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?

• 大數學堂
• 2016年2月26日 15:27

scrapy是一個用於抓取網頁數據的框架，它通過pipelines來處理抓取到的數據。在pipelines中，我們可以清理數據 驗證數據的有效性 去除重複數據，並將數據存儲到數據庫中。在範例中，我們在pipelines.py中設置open_spider在開始時建立數據庫連接並創建表格，close_spider在結束時提交交易並關閉數據庫連接，process_item則將數據保存到sqlite數據庫中。最後，在settings.py中啟用pipelines的設置。

開始上課

[交易系統] 如何操作SQLite ?

• 大數學堂
• 2015年5月3日 16:10

本文介紹了如何使用Firefox的SQLite Manager擴充插件來操作SQLite數據庫，以儲存爬取的三大法人統計資訊。相較於安裝和配置MySQL PostgreSQL等數據庫，SQLite Manager的簡單易用讓資料儲存變得輕鬆方便。SQLite Manager提供了一個直觀的用戶界面，讓您可以輕鬆創建 編輯和查詢數據庫表格，並支持導入和導出數據等功能。讀者可以通過本文學習如何使用SQLite Manager進行數據庫操作，輕鬆管理爬取資料。

開始上課

[交易系統] 如何透過Python 操作SQLite3?

• 大數學堂
• 2015年5月7日 16:31

本章教學了如何使用Python指令和sqlite3模組來操作finance.sqlite資料庫，並成功將清理完的資訊存入表格中。

開始上課

[交易系統] 如何透過Python 將抓取下來的金額資訊存入資料庫中?

• 大數學堂
• 2015年5月8日 14:49

這篇文章講述學會使用Python將資料存入資料庫並準備進行資料分析的最後一步。作者指出，他們可以將抓取的三大法人統計資訊存入finance.sqlite資料庫中，這樣就能開始進行分析了。整篇文章提供了構建分析所需的基本步驟和資訊。

開始上課

[RPA] 如何透過 Line 發送最新一集的漫畫?

• 大數學堂
• 2019年10月24日 15:30

本文章介紹了如何將整個漫畫自動發送流程串接起來，先將漫畫集數存放至SQLite，再透過爬蟲結果比對取得尚未抓取的集數，利用Selenium爬取新集數後，使用Line Notify發送最新的漫畫圖片。這樣可以讓看漫畫變得簡單有趣。文章中還附有相關影片和程式碼來幫助讀者。提到的技術有SQLite LineNotify Selenium RPA和Python自動化。

開始上課

[爬蟲實戰] 如何使用Pandas 函式將台灣銀行的牌告匯率存進資料庫中?

• 大數學堂
• 2016年12月22日 16:12

使用Excel管理匯率資料不方便，因此我們建議使用資料庫來儲存資料。使用Pandas可以輕鬆將資料儲存到資料庫中，並使用read_sql_query函式將資料讀回。這樣可以增加資料的可維護性。

開始上課