Spyder 操作簡介

  • 大數學堂
  • May 23, 2022, midnight
Spyder 操作簡介

本文介紹了Spyder作為一個針對資料科學家所設計的整合開發環境(IDE)的功能。從安裝和設定開始,探索Spyder的介面和佈局,並介紹了新建 開啟 儲存和執行Python檔案的方法。此外,還介紹了變數瀏覽器 錯誤檢查 調試功能以及使用內置控制台進行交互式編寫和測試的方法。最後,聚焦於Spyder的潛力,提高資料科學工作效率和加速開發和測試過程。

開始上課

PyCharm 安裝與操作簡介

  • 大數學堂
  • May 23, 2022, midnight
PyCharm 安裝與操作簡介

本文介紹了在「給資料科學家的Python課程」中,第一章的內容,該章節主要介紹了PyCharm的安裝與操作。PyCharm是一個功能強大的Python集成開發環境,它提供了許多提升開發效率的功能。文章首先介紹了如何下載和安裝PyCharm,並提供了不同環境下的安裝步驟。接著,文章介紹了如何建立新的Python項目並編寫第一個Python程式。然後,文章詳細介紹了PyCharm的編輯器功能,包括代碼自動完成 語法檢查和代碼重構工具。此外,還介紹了如何使用調試器進行錯誤排除和跟踪代碼執行,以及如何使用版本控制工具來管理程式碼。整體而言,本章節提供了全面的指南,讓讀者能夠開始使用PyCharm來開發和執行Python程式。

開始上課

Buzz Alert - Social Media Based Disaster Alert Map

  • 大數學堂
  • Oct. 13, 2015, 11:44 p.m.
Buzz Alert - Social Media Based Disaster Alert Map

透過採集社群網絡的即時訊息和緊急中心的位置資訊,我們可以建立一個即時的災害預警系統,從而拯救更多人的生命。如果政府能夠建立起這樣的系統,許多人就可以從毀滅性的災害中得救。現在,由於社群網絡的普及,人們可以更容易地傳播即時訊息,如此一來,我們就可以向政府報告國內發生的災害情況。此外,我們還可以整合開放數據的資訊,使人們可以找到最近的緊急中心或避難所尋求幫助。因此,我們建立了Buzz Alert,一個基於社群媒體的預警地圖系統,可以自動從社群網絡收集意見數據,並將災害訊息標示為地圖上的亮點。同時,我們還從開放數據中收集官方緊急中心 醫院和消防機構的位置資訊,並標示在地圖上。我們最大的願望是,全球的政府都能使用Buzz Alert來拯救未來任何災害中的人們。

開始上課

如何使用Jupyter 操作 Spark?

  • 大數學堂
  • May 31, 2015, 3:19 p.m.
如何使用Jupyter 操作 Spark?

這篇文章介紹了ISpark這個解決方案,讓使用者能夠在Ubuntu 14.04中使用Jupyter和Spark建立開發環境。這樣可以像Python一樣方便地記錄開發內容,提供了一個簡易好用的開發環境。

開始上課

[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?

  • 大數學堂
  • Feb. 26, 2016, 3:27 p.m.
[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?

scrapy是一個用於抓取網頁數據的框架,它通過pipelines來處理抓取到的數據。在pipelines中,我們可以清理數據 驗證數據的有效性 去除重複數據,並將數據存儲到數據庫中。在範例中,我們在pipelines.py中設置open_spider在開始時建立數據庫連接並創建表格,close_spider在結束時提交交易並關閉數據庫連接,process_item則將數據保存到sqlite數據庫中。最後,在settings.py中啟用pipelines的設置。

開始上課

[AI人工智慧] EasyOCR v.s. PaddleOCR 誰才是圖片轉文字(OCR)的最佳神器?!

  • 大數學堂
  • Oct. 1, 2023, 5:30 p.m.
[AI人工智慧] EasyOCR v.s. PaddleOCR 誰才是圖片轉文字(OCR)的最佳神器?!

光學字元辨識(OCR)能夠將紙上文字數位化,使得資訊管理變得更加方便,例如:將書籍掃描成電子版、識別及翻譯外國的路標或菜單,以及將手寫筆記快速轉化成文字檔。本文介紹如何透過 Python使用EasyOCR和PaddleOCR兩種開源工具,可以簡單地識別圖片中的文字。同時,影片中亦比較了兩個套件與不同類型文字的識別準確率。

開始上課

[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

  • 大數學堂
  • June 25, 2023, 9:23 a.m.
[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

本教學將教您如何使用Selenium自動瀏覽Expedia網站,並利用LangChain和ChatGPT的Extraction功能,自動解析半結構化資料。最後,使用Pandas將半結構化資料轉換為結構化資訊。透過ChatGPT和LangChain的幫助,我們可以省去編寫網路爬蟲時需要觀察元素的麻煩。再加上Selenium可以模擬人類操作,我們能夠簡化網路爬蟲的過程,輕鬆地獲取所需的網頁資訊。期待著中秋節的到來,並希望能在日圓跌至新低的時候,節省機票費用,享受一趟愉快的旅程。

開始上課

[ChatGPT] 運用微調之力!如何將 ChatGPT 訓練成公司的客服助理

  • 大數學堂
  • Aug. 27, 2023, 9:30 p.m.
[ChatGPT] 運用微調之力!如何將 ChatGPT 訓練成公司的客服助理

解密微調:定制專屬於你的大型語言模型!🚀 想知道如何提升ChatGPT模型性能、節省成本,還能獲得更快的回應速度嗎?透過微調(Fine-Tuning),我們為你展現客製化模型的強大之處,讓你掌握產生高品質回應的關鍵技術!不要錯過這場關於AI革命的探索之旅,立即點擊觀看!

開始上課

[爬蟲實戰] 如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例

  • 大數學堂
  • July 21, 2015, 3:45 p.m.
[爬蟲實戰] 如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例

這篇文章介紹了如何使用Selenium來解決爬取司法院法學檢索系統的問題。由於該系統使用了Iframe來嵌入檢索結果,常常造成爬蟲無法正確獲取內容。作者建議使用Selenium IDE來自動記錄抓取步驟,並將步驟轉換為Python腳本,使得抓取過程變得更加簡單。

開始上課