[深度學習] 如何建構深度學習模型分辨誰是屈中恆、宋少卿、鈕承澤 (1)?

• 大數學堂
• 2018年12月11日 15:14

最近爆出鈕承澤一案，引起人們對於屈中恆 宋少卿和鈕承澤的驗證碼的關注。為此，研究人員提出利用深度學習的卷積神經網絡讓電腦自動識別圖片中的人物。他們使用Python網絡爬蟲從Google圖片搜索中抓取這三位明星的圖片，並存檔。然後，他們使用這些素材來建構人臉識別模型。你可以查看他們的程式碼。

開始上課

[Scrapy 爬蟲] 如何使用items.py整理Scrapy 爬取下來的資料並輸出成JSON檔?

• 大數學堂
• 2016年2月24日 15:26

Scrapy 的 items.py 可以將爬蟲爬取到的資料結構化，爬蟲主程式隨後可建立物件來存放爬取下來的資料。最後，透過指令 "scrapy crawl apple -o

開始上課

[Selenium] 如何使用 Selenium 撰寫網路爬蟲?

• 大數學堂
• 2018年8月15日 13:53

這篇文章介紹了如何使用Selenium和BeautifulSoup進行網頁爬取。使用Selenium的page_source屬性可以抓取當前頁面的原始碼，並透過BeautifulSoup處理，使得能夠爬取任何瀏覽器瀏覽的網頁。同時提供了程式碼以供參考。

開始上課

[交易系統] 如何產生不同天期的交易資訊?

• 大數學堂
• 2015年4月30日 15:35

這篇文章介紹了如何使用timedelta來生成不同的日期資訊，這對於接下來的資料爬取非常重要。透過timedelta，讀者可以學會在程式碼中設定不同的日期範圍，以方便後續的資料處理。

開始上課

[交易系統] 如何操作SQLite ?

• 大數學堂
• 2015年5月3日 16:10

本文介紹了如何使用Firefox的SQLite Manager擴充插件來操作SQLite數據庫，以儲存爬取的三大法人統計資訊。相較於安裝和配置MySQL PostgreSQL等數據庫，SQLite Manager的簡單易用讓資料儲存變得輕鬆方便。SQLite Manager提供了一個直觀的用戶界面，讓您可以輕鬆創建 編輯和查詢數據庫表格，並支持導入和導出數據等功能。讀者可以通過本文學習如何使用SQLite Manager進行數據庫操作，輕鬆管理爬取資料。

開始上課

[資料產品實作] 如何跟vonvon一樣取得在臉書中最難忘的相片?

• 大數學堂
• 2015年12月11日 15:30

vonvon最近推出了一個服務，讓使用者取得臉書中最難忘的照片，我們可以利用爬蟲技術做出類似的服務。這堂課程會教你如何取得自己在Facebook上的相片和按讚統計，然後按照按讚數量排序，將所有最難忘的臉書照片下載下來。

開始上課

[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?

• 大數學堂
• 2016年3月1日 16:49

Scrapy的CrawlSpider類別可實現多網頁爬取。只需讓爬蟲繼承CrawlSpider類別，並在rules清單中增加抓取規則，透過LinkExtractor中的分頁抓取規則，即可輕鬆爬取符合條件的蘋果新聞資料。

開始上課

[ChatGPT] 如何結合Python網路爬蟲和GPTs打造你自己的財經新聞聚合應用程式！

• 大數學堂
• 2022年11月19日 16:00

🔍 想知道如何從頭開始建立自己的財經新聞聚合器嗎？我們的最新影片將一步步指引您如何運用 Python 網路爬蟲技術來擷取、整理財經新聞，並且展示如何將這些數據轉換成 CSV 檔案格式，進一步應用於 GPTs。 📈 此外，我們也將探討如何利用 GPTs 的強大功能，將您的財經新聞聚合器提升至一個新層次，提供更深入、更客製化的財經資訊。

開始上課

[Scrapy 爬蟲] 如何設置 Job 以分段爬蟲任務?

• 大數學堂
• 2016年3月13日 16:42

Scrapy提供了一個方便的功能，可以在爬取大型網站時暫停和回復任務。透過指定 -s JOBDIR=DIR 的方法，我們可以讓Scrapy處理繁瑣的任務管理，方便地分段進行爬取任務。這使得爬取大型網站變得更加輕鬆和高效。

開始上課

[交易系統] 如何透過Python 操作SQLite3?

• 大數學堂
• 2015年5月7日 16:31

本章教學了如何使用Python指令和sqlite3模組來操作finance.sqlite資料庫，並成功將清理完的資訊存入表格中。

開始上課

[RPA] 如何透過 Line 發送最新一集的漫畫?

• 大數學堂
• 2019年10月24日 15:30

本文章介紹了如何將整個漫畫自動發送流程串接起來，先將漫畫集數存放至SQLite，再透過爬蟲結果比對取得尚未抓取的集數，利用Selenium爬取新集數後，使用Line Notify發送最新的漫畫圖片。這樣可以讓看漫畫變得簡單有趣。文章中還附有相關影片和程式碼來幫助讀者。提到的技術有SQLite LineNotify Selenium RPA和Python自動化。

開始上課

[爬蟲實戰] 如何抓取591租屋網的資訊?

• 大數學堂
• 2015年4月29日 15:52

這篇文章介紹了如何觀察和爬取使用AJAX換頁的網頁中的資訊，同時也講解了如何使用Python的json套件將json內容轉換為字典。

開始上課

[爬蟲實戰] 如何抓取某知名財報網站的資訊 ?

• 大數學堂
• 2015年5月30日 09:40

縱使針對網站進行多層保護，但只要爬取資料的思路正確，破解任意網站只是時間問題。就像這個知名財經網站，儘管檢查使用者是否使用爬蟲或內嵌iframe，仍無法逃脫被爬取的命運。

開始上課

[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

• 大數學堂
• 2016年10月10日 15:27

本文介紹了作者對於更新淘寶爬蟲的一些方法。他提到以前的爬蟲只需要獲取Document下的連結即可獲取商品價格資訊，但淘寶現在使用了AJAX的方式填充頁面內容。為了解決這個問題，作者建議從XHR和JS入手，使用正則表達式來解析重要資訊，以便在雙十一節中獲取淘寶資訊更容易。

開始上課

[財經爬蟲] 如何透過Python 網路爬蟲抓取Goodinfo 台灣股市資訊網?

• 大數學堂
• 2020年8月2日 14:08

Goodinfo台灣股市資訊網為投資者提供重要股票資訊，作者使用Python網路爬蟲自動化爬取各股票的歷年經營績效。作者通過設定user-agent以規避Goodinfo的防爬蟲機制，並使用Pandas整理資料。這樣的資料結構可以幫助投資者做出更好的投資決策。詳細的影片和程式碼連結都有提供。

開始上課

[爬蟲實戰] 如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例

• 大數學堂
• 2015年7月21日 15:45

這篇文章介紹了如何使用Selenium來解決爬取司法院法學檢索系統的問題。由於該系統使用了Iframe來嵌入檢索結果，常常造成爬蟲無法正確獲取內容。作者建議使用Selenium IDE來自動記錄抓取步驟，並將步驟轉換為Python腳本，使得抓取過程變得更加簡單。

開始上課

[爬蟲實戰] 如何在1111購物狂歡節 快速爬取淘寶上的商品資訊?

• 大數學堂
• 2019年10月30日 13:39

這篇文章介紹了如何快速寫一個淘寶爬蟲程式。現在的電商網頁都有提供API，可以方便地將商品資訊下載下來。只要透過Chrome的開發人員工具找到API的端口，然後使用requests將JSON格式資料爬取下來。再搭配Pandas的資料整理功能，就可以將商品資訊整理成表格，方便閱覽和分析。文章最後提供了相關影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何在1212購物狂歡節快速爬取momo購物網上的商品資訊?

• 大數學堂
• 2019年12月11日 14:00

這篇文章介紹如何撰寫momo購物網的爬蟲程式碼，並給予了相關影片和程式碼的連結。文章提到，momo購物網有防爬蟲機制，但只要加入headers，就能騙過防護系統，從而快速搜刮特價品資訊。該文章還提到，momo購物網有兩個購物狂歡節，其中一個是雙12。

開始上課

[爬蟲實戰] 如何撰寫網路爬蟲快速爬取微博上所有關於新冠肺炎的輿情?

• 大數學堂
• 2020年2月4日 13:27

一個關於使用Python網路爬蟲快速爬取微博手機版上的疫情訊息的教學文章。這個方法可以讓人們及時獲取最新的疫情訊息，並提供了相關影片和程式碼連結。文章也列出了一些相關的標籤，如Python網路爬蟲 武漢肺炎 2019-nCoV 微博和weibo。

開始上課

[爬蟲實戰] 如何使用Pandas快速分析上市櫃公司員工的薪資水平?

• 大數學堂
• 2020年7月5日 14:16

證交所公佈了上市與上櫃公司非擔任主管職務的全時員工薪資資訊，介紹了使用Python的requests和pandas來爬取和分析這些公司的薪資水平。以往只提供薪資平均值，而今年則加入了中位數的資訊，以更客觀地反映薪資水平。影片和程式碼連結也提供在文章中。

開始上課

[爬蟲實戰] 如何使用 PANDAS 快速爬取財報表格?

• 大數學堂
• 2015年12月30日 17:14

表格是一種常見的數據呈現格式，使用BeautifulSoup4和PANDAS可以很方便地對表格進行解析和爬取。PANDAS的read_html方法可以將復雜的網絡表格信息快速轉換為DataFrame，成為股票分析的數據來源之一。

開始上課

[財經爬蟲] 如何透過Python 網路爬蟲爬取香港交易所最新成交資訊?

• 大數學堂
• 2021年6月22日 14:47

這篇文章介紹了如何使用Python網路爬蟲來快速獲取香港交易所股票成交資訊，以便讓交易機器人能夠在行情發動時第一時間進出場。文章提供了影片和程式碼的連結，方便讀者學習和實踐。關鍵詞有Python網路爬蟲 交易機器人 香港交易所 大數學堂和大數軟體。

開始上課

[爬蟲實戰] 如何設定工作排程自動將牌告匯率存進資料庫之中?

• 大數學堂
• 2016年12月23日 16:17

本文介紹了如何使用爬蟲定期執行爬取工作，以實現工作自動化。對於Windows使用者，可以利用工作排程器功能進行每天的資料庫更新，特別是匯率資料，以便後續進行投資時能提供準確的資訊。對於MAC或Linux使用者，可以參考Crontab的用法來設定定時執行爬蟲任務。

開始上課

[爬蟲實戰] 如何使用 Pyppeteer抓取 PCHOME 商品價格資訊?

• 大數學堂
• 2021年10月16日 09:55

這篇文章介紹了在處理由Javascript渲染的網頁資料時，無法直接使用requests，需要使用Pyppeteer作為解決方案。Pyppeteer是一個Python接合Chromium API的工具，可以輕鬆讀取Javascript渲染的頁面資料，使網頁爬取更加直覺。文章還提供了相關的視頻和程式碼連結，並標籤了PCHOME爬蟲 Pyppeteer Puppeteer和Python網路爬蟲。

開始上課

[爬蟲實戰] 如何利用Python網路爬蟲爬取有道翻譯打造自動化翻譯系統

• 大數學堂
• 2022年6月30日 14:14

這篇文章介紹了如何使用Playwright撰寫Python網路爬蟲程式，以爬取有道翻譯的翻譯結果。透過自動化程式，可以省下許多時間和麻煩，無需重複複製貼上文字。此外，文章還宣布大數軟體正在徵求一位資深前端工程師，成功推薦人的將獲得獎金。最後，文章提供了一些相關連結，包括徵才網頁 影片 程式碼和學習資源。

開始上課

[爬蟲實戰] 英鎊暴跌! 如何利用Python 網路爬蟲進行全球商品比價、撿便宜

• 大數學堂
• 2022年10月5日 03:03

這篇文章提到最近英鎊暴跌，作者建議在高通膨時代要想辦法省錢。他介紹了一個利用Python網路爬蟲來爬取Burberry商品在不同市場價格的方法，來看看貨幣競貶是否會產生價差。他還附上了相關的影片和程式碼供讀者參考。文章標籤包括python網路爬蟲 比價爬蟲 英鎊暴跌 貨幣競貶和撿便宜。

開始上課

[爬蟲實戰] 如何快速爬取天貓TMALL 雙11 特價商品資訊?

• 大數學堂
• 2017年11月9日 14:08

這篇文章介紹如何使用Python的Requests套件 BeautifulSoup4和Pandas來進行天貓網路爬蟲。作者分享了他們如何抓取天貓商城的商品資訊，並使用這些工具來整理和儲存數據。此外，文章還提供了相應的程式碼連結。

開始上課