[Selenium] 如何使用 Selenium 開啟 Chrome 瀏覽器?

  • 大數學堂
  • May 11, 2018, 3:09 p.m.
[Selenium] 如何使用 Selenium 開啟 Chrome 瀏覽器?

本篇文章介紹了Selenium的基礎教程,Selenium是一種能夠進行人機互動操作的工具,可以自動打開瀏覽器 瀏覽網頁,對於不擅長觀察資料連結的爬蟲開發者來說非常有用。文章提供了一段程式碼,詳細介紹了如何使用Selenium的基本指令來開啟Chrome瀏覽器並自動瀏覽網頁。具體的程式碼則可以在文章中提供的連結中找到。

開始上課

[ChatGPT] 如何使用Python 網路爬蟲強化ChatGPT 的問答能力?

  • 大數學堂
  • Feb. 5, 2023, 1:20 p.m.
[ChatGPT] 如何使用Python 網路爬蟲強化ChatGPT 的問答能力?

這篇文章介紹了使用ChatGPT時遇到的問題,即當ChatGPT不知道答案時,它會胡說八道。作者建議使用Selenium和Python網路爬蟲來獲取Google搜索的準確結果,並將其提供給ChatGPT,這樣ChatGPT就能夠回答更符合預期的答案。文末還提供了相關影片和課程的連結,以供讀者參考。

開始上課

[Selenium] 如何使用 Selenium 查找元素定位?

  • 大數學堂
  • June 26, 2018, 3:42 p.m.
[Selenium] 如何使用 Selenium 查找元素定位?

這篇文章介紹了使用Selenium開啟瀏覽器後,如何尋找網頁元素定位並進行操作。其中,文中提到了幾個常用的定位方法,包括使用元素的id class名稱 name CSS selector以及XPath。若要查看完整的程式碼,可以點擊連結進入GitHub頁面。

開始上課

[Selenium] 如何使用 Selenium 操作網頁元素?

  • 大數學堂
  • Aug. 1, 2018, 2:37 p.m.
[Selenium] 如何使用 Selenium 操作網頁元素?

這篇文章介紹了如何使用Selenium點擊網頁按鈕和送出內容,並提供了相關程式碼的連結。同時,文章還提到正在尋找網站可靠工程師的招募訊息,並提供了應徵連結。

開始上課

[Selenium] 如何使用 Selenium 撰寫網路爬蟲?

  • 大數學堂
  • Aug. 15, 2018, 1:53 p.m.
[Selenium] 如何使用 Selenium 撰寫網路爬蟲?

這篇文章介紹了如何使用Selenium和BeautifulSoup進行網頁爬取。使用Selenium的page_source屬性可以抓取當前頁面的原始碼,並透過BeautifulSoup處理,使得能夠爬取任何瀏覽器瀏覽的網頁。同時提供了程式碼以供參考。

開始上課

[Selenium] 如何設定 Selenium 中的隱含等待(Implicit Wait)?

  • 大數學堂
  • Oct. 30, 2018, 3:05 p.m.
[Selenium] 如何設定 Selenium 中的隱含等待(Implicit Wait)?

Selenium在抓取資料時,有時會遇到頁面尚未完全載入的問題,導致NoSuchElementException的錯誤。為了避免此問題,可以使用implicit_wait功能,讓程式在執行後續動作之前等待頁面完全載入。附上程式碼範例的連結。

開始上課

如何使用RSelenium 抓取 PTT Food版的內容?

  • 大數學堂
  • June 29, 2015, 3:41 p.m.
如何使用RSelenium 抓取PTT Food版的內容?

R可以搭配Web自動化測試工具Selenium進行網頁抓取,只要使用RSelenium進行安裝和使用,就能在Firefox瀏覽器中使用R腳本抓取網頁內容。這樣的功能不僅僅只有Python才能實現。

開始上課

[RPA] 如何使用 Selenium 自動下載漫畫 (1)?

  • 大數學堂
  • Aug. 12, 2019, 3:20 p.m.
[RPA] 如何使用 Selenium  自動下載漫畫 (1)?

這篇文章介紹了一個使用Python爬蟲的專題,目的是為了自動化閱讀漫畫的過程。文章提到了使用Selenium來自動開啟漫畫頁面,然後使用BeautifulSoup解析圖片位置,最後使用Requests下載圖片。作者分享了相關的影片和程式碼連結。整篇文章展示了使用爬蟲技術來達到自動化閱讀漫畫的目標,展現了黑客精神。

開始上課

[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

  • 大數學堂
  • June 25, 2023, 9:23 a.m.
[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

本教學將教您如何使用Selenium自動瀏覽Expedia網站,並利用LangChain和ChatGPT的Extraction功能,自動解析半結構化資料。最後,使用Pandas將半結構化資料轉換為結構化資訊。透過ChatGPT和LangChain的幫助,我們可以省去編寫網路爬蟲時需要觀察元素的麻煩。再加上Selenium可以模擬人類操作,我們能夠簡化網路爬蟲的過程,輕鬆地獲取所需的網頁資訊。期待著中秋節的到來,並希望能在日圓跌至新低的時候,節省機票費用,享受一趟愉快的旅程。

開始上課

[RPA] 如何透過 Line 發送最新一集的漫畫?

  • 大數學堂
  • Oct. 24, 2019, 3:30 p.m.
[RPA] 如何透過 Line 發送最新一集的漫畫?

本文章介紹了如何將整個漫畫自動發送流程串接起來,先將漫畫集數存放至SQLite,再透過爬蟲結果比對取得尚未抓取的集數,利用Selenium爬取新集數後,使用Line Notify發送最新的漫畫圖片。這樣可以讓看漫畫變得簡單有趣。文章中還附有相關影片和程式碼來幫助讀者。提到的技術有SQLite LineNotify Selenium RPA和Python自動化。

開始上課

[爬蟲實戰] 如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例

  • 大數學堂
  • July 21, 2015, 3:45 p.m.
[爬蟲實戰] 如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例

這篇文章介紹了如何使用Selenium來解決爬取司法院法學檢索系統的問題。由於該系統使用了Iframe來嵌入檢索結果,常常造成爬蟲無法正確獲取內容。作者建議使用Selenium IDE來自動記錄抓取步驟,並將步驟轉換為Python腳本,使得抓取過程變得更加簡單。

開始上課

[爬蟲實戰] 如何使用 Selenium 以及 Python 輕鬆抓取 Agoda 的旅館資訊?

  • 大數學堂
  • July 26, 2023, 3:44 p.m.
[爬蟲實戰] 如何使用 Selenium 以及 Python 輕鬆抓取 Agoda 的旅館資訊?

這堂免費課介紹了使用Selenium和BeautifulSoup4來抓取以Ajax生成的網頁的方法。傳統上,抓取這樣的網頁需要很多耐心觀察,才能找到抓取的切入點。但是使用Selenium可以自動點擊和載入Ajax生成的頁面,使得抓取變得簡單。然後,配合BeautifulSoup4的強大解析功能,使用Python抓取網頁就變得非常簡單了。

開始上課

[爬蟲實戰] 如何使用Selenium 抓取驗證碼?

  • 大數學堂
  • Oct. 24, 2017, 3:22 p.m.
[爬蟲實戰] 如何使用Selenium 抓取驗證碼?

使用selenium抓取驗證碼圖片並非難事,只需要先存取頁面快照,然後找到圖片位置,然後根據位置和大小,就能成功從頁面中擷取出驗證碼。接著,只需要將驗證碼交給機器學習引擎辨識,就能輕鬆讓電腦為我們自動訂票。可以參考這篇程式碼來實踐:<a href="https://github.com/ywchiu/largitdata/blob/master/code/Course_95.ipynb">https://github.com/ywchiu/largitdata/blob/master/code/Course_95.ipynb</a>

開始上課

[Selenium] 如何使用 Selenium 自動預購PS5?

  • 大數學堂
  • Nov. 26, 2020, 1:31 p.m.
[Selenium] 如何使用 Selenium  自動預購PS5?

這篇文章介紹了如何用Python和Selenium撰寫網路爬蟲來快速預購PS5。只需輸入商品網址,程式便會自動點擊購買PS5的連結,並在MOMO購物網上幫忙購買。相關影片和程式碼連結也提供在文章中。

開始上課

[爬蟲實戰] 如何突破蝦皮拍賣的重重限制以順利抓取拍賣商品資訊?

  • 大數學堂
  • July 26, 2023, 3:52 p.m.
[爬蟲實戰] 如何突破蝦皮拍賣的重重限制以順利抓取拍賣商品資訊?

本堂課介紹了如何使用爬蟲抓取時下最夯的蝦皮拍賣網站。要抓取蝦皮的資料,必須先找到XHR請求連結,然後使用POST傳輸json格式的參數。如果無法正確獲得回應,可能是缺少一些標頭資訊,此時可以嘗試不同的組合來取得正確的商品資訊。如果無法獲得某些標頭資訊,可以使用Selenium搭配正確的Cookie來解決這個問題。

開始上課

[爬蟲實戰] 如何在1111購物狂歡節快速爬取蝦皮限時特賣的商品折扣資訊?

  • 大數學堂
  • Nov. 10, 2020, 1:50 p.m.
[爬蟲實戰] 如何在1111購物狂歡節快速爬取蝦皮限時特賣的商品折扣資訊?

這篇文章介紹了如何在蝦皮購物的1111購物狂歡節活動中,使用Selenium透過API偷看特賣商品的折扣資訊。因為蝦皮在API存取上有限制,所以藉由取得Cookie和csrf token等資訊,來繞過限制。文章中還附上了相關的影片和程式碼連結,方便讀者參考使用。這篇文章討論了1111購物狂歡節 蝦皮API 蝦皮特賣商品折扣 Selenium和Python網路爬蟲等主題。

開始上課

[爬蟲實戰] 如何使用 Pyppeteer抓取 PCHOME 商品價格資訊?

  • 大數學堂
  • Oct. 16, 2021, 9:55 a.m.
[爬蟲實戰] 如何使用 Pyppeteer抓取 PCHOME 商品價格資訊?

這篇文章介紹了在處理由Javascript渲染的網頁資料時,無法直接使用requests,需要使用Pyppeteer作為解決方案。Pyppeteer是一個Python接合Chromium API的工具,可以輕鬆讀取Javascript渲染的頁面資料,使網頁爬取更加直覺。文章還提供了相關的視頻和程式碼連結,並標籤了PCHOME爬蟲 Pyppeteer Puppeteer和Python網路爬蟲。

開始上課

[爬蟲實戰] 如何不寫任何一行程式碼透過低代碼Low-Code / No-Code 工具 Playwright撰寫網頁自動化瀏覽程式

  • 大數學堂
  • Nov. 10, 2021, 1:47 p.m.
[爬蟲實戰] 如何不寫任何一行程式碼透過低代碼Low-Code / No-Code 工具 Playwright撰寫網頁自動化瀏覽程式

Playwright是一個低代碼/無代碼開源工具,可以讓不懂編寫程式的人快速撰寫Python腳本進行自動化操作。使用Playwright,使用者可以輕鬆地對網頁進行複雜操作,無論多麼繁瑣,只需極短的時間就能完成。這對需要自動化的工作流程非常方便。使用者可以在提供的影片和程式碼鏈接中了解更多詳細信息。

開始上課

[爬蟲實戰] 1111 不購物?! 來用Python網路爬蟲每天簽到領蝦幣

  • 大數學堂
  • Nov. 11, 2022, 12:53 p.m.
[爬蟲實戰] 1111 不購物?! 來用Python網路爬蟲每天簽到領蝦幣

這篇文章介紹了使用Python網路爬蟲自動搶購1111最優惠商品,同時也可以自動化搶蝦幣的過程。文章提到使用Selenium腳本可以輕鬆填入帳號密碼並點擊領蝦幣的按鈕,再透過工作排程的設定,可以天天躺著領蝦幣。文章中還附上了相關影片和程式碼供參考,此外也推薦了其他學習資料科學的資源。

開始上課