[Selenium] 如何使用 Selenium 開啟 Chrome 瀏覽器?

• 大數學堂
• 2018年5月11日 15:09

本篇文章介紹了Selenium的基礎教程，Selenium是一種能夠進行人機互動操作的工具，可以自動打開瀏覽器 瀏覽網頁，對於不擅長觀察資料連結的爬蟲開發者來說非常有用。文章提供了一段程式碼，詳細介紹了如何使用Selenium的基本指令來開啟Chrome瀏覽器並自動瀏覽網頁。具體的程式碼則可以在文章中提供的連結中找到。

開始上課

[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

• 大數學堂
• 2023年6月25日 09:23

本教學將教您如何使用Selenium自動瀏覽Expedia網站，並利用LangChain和ChatGPT的Extraction功能，自動解析半結構化資料。最後，使用Pandas將半結構化資料轉換為結構化資訊。透過ChatGPT和LangChain的幫助，我們可以省去編寫網路爬蟲時需要觀察元素的麻煩。再加上Selenium可以模擬人類操作，我們能夠簡化網路爬蟲的過程，輕鬆地獲取所需的網頁資訊。期待著中秋節的到來，並希望能在日圓跌至新低的時候，節省機票費用，享受一趟愉快的旅程。

開始上課

[爬蟲實戰] 如何抓取591租屋網的資訊?

• 大數學堂
• 2015年4月29日 15:52

這篇文章介紹了如何觀察和爬取使用AJAX換頁的網頁中的資訊，同時也講解了如何使用Python的json套件將json內容轉換為字典。

開始上課

[爬蟲實戰] 如何使用 Selenium 以及 Python 輕鬆抓取 Agoda 的旅館資訊?

• 大數學堂
• 2023年7月26日 15:44

這堂免費課介紹了使用Selenium和BeautifulSoup4來抓取以Ajax生成的網頁的方法。傳統上，抓取這樣的網頁需要很多耐心觀察，才能找到抓取的切入點。但是使用Selenium可以自動點擊和載入Ajax生成的頁面，使得抓取變得簡單。然後，配合BeautifulSoup4的強大解析功能，使用Python抓取網頁就變得非常簡單了。

開始上課

[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

• 大數學堂
• 2021年6月1日 14:59

在疫情期間的居家隔離中，大家都感到非常無聊。有人提到了網易雲的性格主導色心理測驗，並探討了該測驗中還有哪些顏色性格以及哪種性格最特別。透過網路爬蟲工具和Python的正規表達法，可以快速列出所有的性格色。作者分享了自己的性格色是橙+粉，並分享了觀察Python網路爬蟲常見的開發人員工具和Python的正規表達法的方法。該文章還提供了相關的影片和程式碼連結，以及性格主導色的完整資料的鏈接。

開始上課

[爬蟲實戰] 如何用Python網路爬蟲抓取台灣運彩上的世界杯足球賠率?

• 大數學堂
• 2022年12月4日 10:19

這篇文章主要是介紹如何透過突破台彩網站的防爬蟲機制，使用開發者工具觀察網頁並使用Python快速撰寫網路爬蟲，抓取世界杯足球賠率。文中也提到，台彩還有其他防範機制阻止抓取正確的數據，如果讀者對此有興趣，可以在文章下方留言，未來或許會再開視頻專門解說。文章中也附上了相關的影片和程式碼連結。

開始上課

[爬蟲實戰] 如何使用Python 爬蟲 (Python Crawler) 下載Youtube 影片

• 大數學堂
• 2023年7月26日 14:00

這堂免費課介紹了如何使用Python爬蟲抓取YouTube影片並進行下載。不同於一般的爬蟲，要抓取實體影片連結，需要使用正規表達式和查詢字符串解析函數。接著，使用二進制編碼的方式，可以下載Girl's day Expectation的音樂影片串流。這篇文章提供了一個實際的例子來示範如何下載YouTube影片。

開始上課

[爬蟲實戰] 如何使用Python 模擬登入淘寶並成功抓取淘寶指數?

• 大數學堂
• 2015年8月17日 16:51

文章指出了了解市場必須先取得市場相關數據的重要性。說明在中國，可以參考Google Trend，但只能使用淘寶指數。然而，淘寶指數需要先登入才能取得相關資訊，但透過耐心觀察並使用Python抓取，仍然可以取得所需的資料。

開始上課