[資料產品實作] 如何取得臉書使用頻率最高的文字 (Part 1)?

• 大數學堂
• 2015年11月25日 13:07

文章介紹了最近vonvon的人氣臉書文字分析服務，並提供了使用網路爬蟲（Python Crawler）來抓取用戶在Facebook上留下的所有訊息內容的教程。

開始上課

[AI人工智慧] 你也能成為編曲大師！探索如何運用 AudioCraft 以文字創造音樂

• 大數學堂
• 2023年8月6日 16:30

現今人工智慧的進步為我們的生活帶來了前所未有的變革。你或許已熟悉使用ChatGPT創作文章、寫信、翻譯或是使用MidJourney、DALL-E以文字產生千變萬化的圖片，但今天，我們要談論的不僅僅是生文、生圖，我們要談論的是如何利用文字生成音樂！有了AudioCraft，現在你不需要專業的音樂背景，只要提供文字，AudioCraft就能為您生成旋律，音樂家可以獲取新的靈感，而中小企業主也可以輕鬆地為他們的廣告增加配樂，相信有了AudioCraft，再搭配自己的音樂品味，相信在不久的將來，大家都可以成為音樂創作大師！

開始上課

[ChatGPT] 用說的也會通！如何用語音與ChatGPT 對話

• 大數學堂
• 2023年1月15日 07:50

本文介紹了如何使用revChatGPT接出ChatGPT API並透過Python的SpeechRecognition與gTTS，創造一個能夠透過語音與ChatGPT對話的介面。這個方法讓使用者能夠與ChatGPT進行真正的對談，不僅限於使用官方介面或GPT3 API。文章提供了相關的影片和程式碼連結，並引用了其他與語音文字轉換相關的資源。整體而言，該方法能夠讓使用者在無人陪伴的時刻找到一個人工智慧好夥伴與之對話。

開始上課

[Selenium] 如何使用 Selenium 開啟 Chrome 瀏覽器?

• 大數學堂
• 2018年5月11日 15:09

本篇文章介紹了Selenium的基礎教程，Selenium是一種能夠進行人機互動操作的工具，可以自動打開瀏覽器 瀏覽網頁，對於不擅長觀察資料連結的爬蟲開發者來說非常有用。文章提供了一段程式碼，詳細介紹了如何使用Selenium的基本指令來開啟Chrome瀏覽器並自動瀏覽網頁。具體的程式碼則可以在文章中提供的連結中找到。

開始上課

Anaconda安裝與簡介

• 大數學堂
• 2022年5月23日 00:00

本章介紹了Anaconda的安裝與簡介。Anaconda是一個功能強大的Python資料科學平台，提供許多預裝的資料科學工具和套件。本章中，我們將介紹如何下載 安裝Anaconda，以及探索Anaconda所提供的各種功能。

開始上課

[ChatGPT] 如何使用Python 網路爬蟲強化ChatGPT 的問答能力?

• 大數學堂
• 2023年2月5日 13:20

這篇文章介紹了使用ChatGPT時遇到的問題，即當ChatGPT不知道答案時，它會胡說八道。作者建議使用Selenium和Python網路爬蟲來獲取Google搜索的準確結果，並將其提供給ChatGPT，這樣ChatGPT就能夠回答更符合預期的答案。文末還提供了相關影片和課程的連結，以供讀者參考。

開始上課

Jupyter Notebook 操作簡介

• 大數學堂
• 2022年5月23日 00:00

Jupyter Notebook是一個交互式程式開發環境，能夠支援多種程式語言，並能在同一個環境中整合程式碼 文字和圖片。它使用單元格作為開發基礎，使用者可以根據需要新增 刪除 移動這些單元格，並即時執行程式碼並進行調試。Jupyter Notebook還提供了自動完成 代碼提示 內容搜索等功能，提高程式撰寫效率。此外，它還支援共享到網路上

開始上課

Spyder 操作簡介

• 大數學堂
• 2022年5月23日 00:00

本文介紹了Spyder作為一個針對資料科學家所設計的整合開發環境(IDE)的功能。從安裝和設定開始，探索Spyder的介面和佈局，並介紹了新建 開啟 儲存和執行Python檔案的方法。此外，還介紹了變數瀏覽器 錯誤檢查 調試功能以及使用內置控制台進行交互式編寫和測試的方法。最後，聚焦於Spyder的潛力，提高資料科學工作效率和加速開發和測試過程。

開始上課

PyCharm 安裝與操作簡介

• 大數學堂
• 2022年5月23日 00:00

本文介紹了在「給資料科學家的Python課程」中，第一章的內容，該章節主要介紹了PyCharm的安裝與操作。PyCharm是一個功能強大的Python集成開發環境，它提供了許多提升開發效率的功能。文章首先介紹了如何下載和安裝PyCharm，並提供了不同環境下的安裝步驟。接著，文章介紹了如何建立新的Python項目並編寫第一個Python程式。然後，文章詳細介紹了PyCharm的編輯器功能，包括代碼自動完成 語法檢查和代碼重構工具。此外，還介紹了如何使用調試器進行錯誤排除和跟踪代碼執行，以及如何使用版本控制工具來管理程式碼。整體而言，本章節提供了全面的指南，讓讀者能夠開始使用PyCharm來開發和執行Python程式。

開始上課

Colab 操作與簡介

• 大數學堂
• 2022年5月23日 00:00

Colab是由Google提供的基於瀏覽器的Python環境，旨在為數據科學家和機器學習研究者提供便利。使用者可以在雲端一鍵執行Python程式碼，無需安裝任何軟體或配置硬體。Colab支援Python 2和Python 3，內建許多熱門的Python庫。同時，Colab也支援GPU和TPU加速，可以提高運算速度。操控Colab非常容易，只需登錄Google帳戶，即可使用Google Drive儲存和管理代碼和數據，還能創建 編輯和共享Colab筆記本。

開始上課

Covid19 分析案例

• 大數學堂
• 2022年5月23日 00:00

本章介紹Python進行Covid19分析的案例，從相關數據集中提取信息，使用數據科學工具進行分析和視覺化。透過案例，學習使用Python進行數據清理 聚合 統計分析和預測模型建立等任務，了解Covid19的傳播情況和趨勢。

開始上課

Python數字、字串與輸入輸出概論

• 大數學堂
• 2022年5月23日 00:00

《Python數字 字串與輸入輸出概論》是針對資料科學家的Python課程的第一個章節。該章節介紹了使用Python進行數字計算的基本概念和技巧，同時也解釋了如何處理字串以及讀取和顯示輸入和輸出的資料。這是一個重要的基礎知識，對於學習Python的人來說非常有幫助。

開始上課

數字(Numeric)

• 大數學堂
• 2022年5月23日 00:00

本文介紹了在Python中使用數字的基本操作和常用函數。Python提供了整數 浮點數和複數等不同的數字型別。文章還介紹了數字的基本操作（如加法 減法 乘法 除法）和常用函數（如絕對值 四捨五入 取整）。同時，文章還介紹了如何使用數字解決實際問題，例如計算平均值 標準差

開始上課

[Open Jarvis] 如何讓Python 自動將語音轉譯成文字?

• 大數學堂
• 2017年2月13日 15:18

Open Jarvis Project… 使用Python的SpeechRecognition套件，透過語音辨識API幫助將語音轉譯成文字。

開始上課

[交易系統] 如何抓取三大法人買賣金額統計表(Part 1)?

• 大數學堂
• 2015年4月26日 13:51

本篇文章介紹了如何使用Python的Requests模組來抓取三大法人買賣金額統計表。這是建立自己交易系統前需要的資料之一，作者提供了一步步的教學來引導讀者完成這個任務。這個教學對於想要學習如何使用Python來獲取金融相關資料的人來說很有幫助。

開始上課

為什麼要使用版本控制系統?

• 大數學堂
• 2015年4月12日 15:59

本文介紹了在客戶不斷修改需求的情況下，如何進行版本管理，以及在多人共同開發項目中，如何解決同一個檔案的合併問題。作者提出了使用版本控制管理系統的解決方法，並預告了接下來將介紹如何使用git進行版本控制。

開始上課

[實價登錄分析] 如何使用Python Pandas 讀取實價登錄網的資料?

• 大數學堂
• 2016年9月9日 16:25

這篇文章講述了使用實價登錄資料來分析房市景氣的方法，並介紹了如何使用Python Pandas和Linux工具iconv進行資料讀取 編碼轉換和清理的步驟。

開始上課

[資料產品實作] 如何取得臉書使用頻率最高的文字 (Part 2)?

• 大數學堂
• 2015年11月25日 13:53

為了獲得Facebook貼文的詞頻，我們需要對貼文進行斷詞，對於英文資料，只需要根據空格斷句即可，但中文需要依賴分詞工具。我們可以使用Python套件jieba來進行分詞，然後排序，就能獲得Facebook貼文中最常使用的詞頻。

開始上課

[Scrapy 爬蟲] 如何撰寫第一支Scrapy 爬蟲以抓取蘋果即時新聞?

• 大數學堂
• 2016年2月1日 16:12

這篇文章介紹了如何使用Scrapy爬蟲框架進行網站爬蟲的步驟。首先，我們需要在spiders目錄下建立一個Python檔案，並在其中定義一個class，指定爬蟲的名稱 起始網址以及解析函數。最後，執行指令"scrapy crawl 爬蟲名稱"來運行爬蟲。

開始上課

數字練習題

• 大數學堂
• 2022年5月23日 00:00

「給資料科學家的Python 課程」的數字練習題專注於幫助資料科學家掌握處理數字資料的技巧。學習者將學習使用Python進行數字運算 數值轉換 數字格式化等技術。這些技術對於資料分析 資料視覺化和統計分析非常重要。通過這些練習，學習者將掌握Python的數學運算符號 數學函數 數學模塊，並學習如何使用內建函數和模塊處理數字類型的資料。

開始上課

[AI人工智慧]如何使用ROOP換臉製作自己的迷因圖？

• 大數學堂
• 2023年11月5日 17:00

夢想成為迷因界的超級巨星嗎？✨ 你的時刻到了！用 #Roop，一切只需點點滑鼠！🚀 忘掉過去使用DeepFaceLab的複雜步驟，現在，只要上傳你的肖像，Roop能在瞬間把你變成任何迷因角色！下次想要輕鬆地吐槽，就來一張個人定製的迷因吧。🤨 為你的疑問加上一點個人風格，讓你的不屑一顧更加生動！👤💬

開始上課

輸出格式(Print Format)

• 大數學堂
• 2022年5月23日 00:00

輸出格式是將數據以特定方式呈現給使用者的方法。Python 提供了多種控制輸出格式的方法，包括使用 print() 函數和格式化輸出。這些技巧能夠幫助資料科學家更好地呈現數據，提高工作效率。

開始上課

輸入與輸出練習題

• 大數學堂
• 2022年5月23日 00:00

這個章節將帶領資料科學家們進行與輸入與輸出相關的練習題。主題包括使用Python的輸入與輸出功能，從檔案中讀取數據 將數據寫入檔案 以及使用標準輸入與輸出。這些練習將讓你瞭解如何處理不同的輸入與輸出情況，並學會將處理後的結果輸出到不同的檔案或終端上。這些技巧對於資料科學家來說非常重要，因為數據的輸入與輸出是資料分析的關鍵一步。

開始上課

清單 (List) 練習題

• 大數學堂
• 2022年5月23日 00:00

本章節指出了練習題的重要性，以加強資料科學家對於Python中清單的熟練度。清單概念在資料科學中佔有重要地位，因此通過這些練習題能夠提升對清單的使用能力。

開始上課

[實價登錄分析] 如何使用Python Pandas 整併歷年實價登錄資訊?

• 大數學堂
• 2016年9月14日 16:29

文章中提到，僅整理一季的資料無法完整進行房價分析，因此需要將歷年的實價登錄資訊存放在不同的目錄夾中。接著，使用Pandas的Data Frame將各季的資料讀入，再使用Concat指令合併所有的Data Frame。以此，可以選擇使用describe指令獲得敘述性統計，或使用to_excel功能將資料寫入Excel檔案中。

開始上課

[Open Jarvis] 如何用Python 讓電腦說話?

• 大數學堂
• 2017年3月28日 16:48

這篇文章介紹了使用gTTS套件將文字轉換成語音，並透過pygame進行音檔播放的方法。作者表示對於這樣的技術非常興奮，並表示自己也可以成為一名資訊編輯。

開始上課

[資料產品實作] 如何取得臉書使用頻率最高的文字 (Part 3)?

• 大數學堂
• 2015年11月26日 14:43

這篇文章探討如何使用Tableau Public快速而簡單地繪製文字雲。比起使用複雜的d3.js，Tableau Public的介面更容易上手。文字雲可以幫助人們一目了然地看到在臉書上最常使用的文字頻率，這對於做社群分析或個人使用都十分有用。

開始上課

[RPA] 如何使用 PyAutoGUI 突破 reCAPTCHA 順利下載櫃買中心券商買賣證券日報表?

• 大數學堂
• 2019年7月29日 14:33

這篇文章介紹了在進行上櫃股票交易時，如何利用PyAutoGUI突破reCAPTCHA的限制，以進行自動化操作。作者分享了一個影片和程式碼，詳細解釋了如何使用PyAutoGUI進行自動化投資。這將有助於投資者更好地理解資金流向，掌握更準確的交易資訊。

開始上課

字典 (Dictionary) 簡介

• 大數學堂
• 2022年5月23日 00:00

字典是Python中一種非常有用的資料結構，它以鍵-值對的形式儲存資料。每個鍵都必須是唯一的，值可以是任意類型的物件。字典可以用於解決許多實際問題，例如建立通訊錄或詞典。

開始上課

[Selenium] 如何使用 Selenium 查找元素定位?

• 大數學堂
• 2018年6月26日 15:42

這篇文章介紹了使用Selenium開啟瀏覽器後，如何尋找網頁元素定位並進行操作。其中，文中提到了幾個常用的定位方法，包括使用元素的id class名稱 name CSS selector以及XPath。若要查看完整的程式碼，可以點擊連結進入GitHub頁面。

開始上課

[Scrapy 爬蟲] 如何從蘋果新聞的清單聯結抓取下一層的內容頁面?

• 大數學堂
• 2016年2月23日 16:14

這篇文章介紹了如何在Scrapy爬蟲中使用yield 產生器來抓取下一層的內容頁面，並使用BeautifulSoup進行剖析，獲取內容頁的標題資訊。

開始上課

如何在Windows上 安裝 RStudio

• 大數學堂
• 2015年5月11日 16:31

RStudio 是一個強大的集成開發環境，專為R語言而設計。它可以提供更豐富的功能和工具，使開發和維護R代碼更加靈活和高效。RStudio的界面友好，使用起來非常方便，同時提供了許多實用的功能，如代碼編輯器 語法高亮顯示 調試工具等。使用RStudio，無論是初學者還是高級用戶，都能更好地管理和執行R程式。

開始上課

字典 (Dictionary) 練習題

• 大數學堂
• 2022年5月23日 00:00

這一章節介紹了資料科學家們可以使用的一些字典練習題。字典是Python中一種重要的資料結構，可以用來保存和組織資料。通過這些練習題，讀者將學到如何使用字典解決不同的問題，並提升對字典的操作能力。

開始上課

元組 (Tuple) 簡介

• 大數學堂
• 2022年5月23日 00:00

元組是Python中的一種序列型別，它是一個有順序 不可變的集合。元組可以包含不同類型的元素，並且這些元素可以通過索引進行訪問。元組的元素不能被修改，使其更適合存儲不應改變的數據。元組使用小括號表示，元素之間用逗號分隔，可以進行索引 切片 迭代 比較和組合等操作。

開始上課

集合 (Set) 簡介

• 大數學堂
• 2022年5月23日 00:00

集合（Set）是Python中的一種結構，由一組唯一且無序的元素組成。可以使用花括號{}或set()函數創建集合。集合中的元素可以是任何不可變的數據類型。集合是可變的，可以添加或刪除元素。可以使用add()方法添加元素，remove()或discard()方法刪除元素。集合可以進行聯集 交集和差集等運算，分別使用| &和-運算符計算。

開始上課

Python 陳述與控制流程速覽

• 大數學堂
• 2022年5月23日 00:00

本文介紹了Python程式語言中的陳述和控制流程，包括賦值陳述 條件陳述 迴圈陳述 例外處理和函式定義等。文章強調這個章節對初學者和有程式基礎的資料科學家都有益處，能幫助讀者更好地理解Python程式中的流程控制和邏輯判斷，並能更有效地編寫Python程式。也提供了進一步閱讀的連結。

開始上課

Python 運算式與陳述

• 大數學堂
• 2022年5月23日 00:00

這個章節將深入探討Python中的運算式和陳述。運算式是由值 運算子和函數組成的程式碼片段，用於執行特定的計算。我們將學習使用算術 比較和邏輯運算子來建立運算式。陳述是以關鍵字和內容為基礎的語句，用於執行特定操作。我們將學習各種陳述，包括條件陳述 迴圈陳述以及函數定義和呼叫。

開始上課

錯誤與例外

• 大數學堂
• 2022年5月23日 00:00

錯誤與例外處理在Python中是一個重要的主題，它允許程式在遇到錯誤時能夠正常運行並提供相應的反饋。錯誤通常分為語法錯誤和執行時錯誤。語法錯誤是在撰寫程式時發生的錯誤，而執行時錯誤是在程式執行過程中發生的錯誤。Python提供了try-except語句來處理這些錯誤，我們可以在try區塊中嘗試執行可能出錯的程式碼，在except區塊中處理錯誤。此外，finally語句可以定義一段無論是否出錯都會執行的代碼，通常用於清理工作或釋放資源。

開始上課

FOR 迴圈

• 大數學堂
• 2022年5月23日 00:00

FOR 迴圈是Python中的一種迭代結構，用於重複執行程式碼，直到滿足特定條件。通常使用在已知遍歷次數的情況下，例如遍歷列表 字串等。

開始上課

[ChatGPT] 如何使用Whisper API 與 ChatGPT API 快速摘要YouTube 影片?

• 大數學堂
• 2023年3月5日 09:26

OpenAI最近發布了自動語音辨識模型Whisper API和ChatGPT API，讓付費企業和開發人員更輕鬆地使用AI模型。這兩個API提供了快速摘要YouTube影片的功能，使用者只需生成API金鑰，下載音頻檔案並將其分割為小檔案後，就可以使用Whisper API將影片轉換為文字，再使用ChatGPT API將文字轉換為摘要。使用AI摘要影片的好處包括節省觀看時間 更準確地捕捉重點，且這兩個API的收費非常便宜。這可以是一個簡單而有效的方法，同時還能創造更多有趣的應用。

開始上課

[交易系統] 如何抓取三大法人買賣金額統計表(Part 2)?

• 大數學堂
• 2015年4月28日 16:04

本教學將透過BeautifulSoup 4和css selector，來抓取三大法人買賣金額統計表的資訊。首先，我們需要導入requests和BeautifulSoup套件。然後，使用requests.get()函式來獲取網頁的HTML內容，將其存儲在一個變數中。接下來，使用BeautifulSoup的select()方法和正確的css選擇器，來定位我們要抓取的元素。最後，遍歷結果，將每個元素的文本打印出來或進一步處理。這樣，我們就可以輕鬆地獲取三大法人買賣金額統計表的資訊了。

開始上課

如何在Windows下開始使用git?

• 大數學堂
• 2015年4月13日 07:55

本文介紹了如何使用Git的三種方法，分別是Git Bash Git GUI和命令提示字元。這些方法可以讓使用者在不同的環境下自由操作Git。學習使用Git是開發者必須熟悉的技能之一。

開始上課

如何使用R 的 Quantmod 套件快速蒐集股價資訊並計算技術指標?

• 大數學堂
• 2015年5月24日 16:22

在R中，使用Quantmod套件可以輕鬆地蒐集股價資訊並計算技術指標。這比自己寫程式更簡單，省去了許多麻煩。

開始上課

[Scrapy 爬蟲] 如何使用items.py整理Scrapy 爬取下來的資料並輸出成JSON檔?

• 大數學堂
• 2016年2月24日 15:26

Scrapy 的 items.py 可以將爬蟲爬取到的資料結構化，爬蟲主程式隨後可建立物件來存放爬取下來的資料。最後，透過指令 "scrapy crawl apple -o

開始上課

在Windows中如何使用金鑰登入Amazon EC2 雲端主機

• 大數學堂
• 2015年5月14日 16:35

本課程旨在提供使用Windows作業系統的用戶在Amazon EC2雲端主機上進行金鑰登入的全面指南。Amazon EC2是一個強大的雲端計算平台，提供可擴展的虛擬機器，而金鑰登入是一種安全且推薦的登入方式，可以取代傳統的使用密碼登入。

開始上課

開始使用Python撰寫網路爬蟲 ( Crawler )

• 大數學堂
• 2015年4月15日 00:49

這篇文章介紹了使用Python編寫網路爬蟲的開始步驟，其中需要安裝兩個Python套件：Requests和BeautifulSoup4。Requests是一個用於網路資源擷取的套件，而BeautifulSoup4則是一個用於HTML剖析的套件。

開始上課

如何透過OpenCV 破解台灣證券交易所買賣日報表的驗證碼(Captcha) (Part 2)?

• 大數學堂
• 2015年5月17日 12:57

本文介紹了破解驗證碼的方法。首先將驗證碼分解成獨立的字母圖片，然後使用OCR技術辨識圖像文字。作者嘗試了使用pytesser進行圖片辨識，但效果不佳，所以使用Word建立基準圖片，並使用Mean Square Error計算兩張圖片的相似度。結果表明，這種簡單的方法可以輕鬆破解驗證碼。並提到若想得到更新訊息，可以至Facebook粉絲團按讚。

開始上課

如何安裝Spark-Notebook 在Ubuntu?

• 大數學堂
• 2015年6月2日 16:11

本文介紹了一個優秀的專案Spark Notebook，該專案可以使用Jupyter Notebook的形式存取Spark並生成可互動的視覺化圖表。除了可以使用WISP來使用d3.js生成SVG圖檔外，還支持使用筆記本形式來進行資料分析。這將為使用者提供更多的工具來進行Spark的操作和視覺化。

開始上課

[深度學習] 如何建構深度學習模型分辨誰是屈中恆、宋少卿、鈕承澤 (3)?

• 大數學堂
• 2018年12月28日 10:49

這篇文章介紹如何使用OpenCV和卷積神經網路來識別和標示圖片中的人臉。作者提到可以透過OpenCV來擷取人物圖片並擷取臉部特徵，然後使用卷積神經網路訓練一個模型來識別這些圖片中的人物。並且還提供了一些相關的線上課程和程式碼供讀者參考。

開始上課

WHILE 迴圈

• 大數學堂
• 2022年5月23日 00:00

WHILE 迴圈是 Python 中的一種重要概念，用於重複執行程式碼塊。只有當條件為真時，程式碼塊才會被執行。WHILE 迴圈的語法非常簡單，只需提供一個條件和要執行的程式碼塊即可。WHILE 迴圈非常有用，特別是在需要根據不同情況執行不同操作的情況下。

開始上課

WHILE 迴圈練習題

• 大數學堂
• 2022年5月23日 00:00

這個Python課程的一個章節專門練習WHILE迴圈，幫助學習者熟練使用它來解決問題。這些練習題涵蓋了WHILE迴圈的基礎應用，包括迴圈初值 終止條件和迭代過程的設定。通過這些練習，學習者可以熟悉WHILE迴圈的語法 邏輯控制和變數的更新。這些題目涉及了數字運算 字串操縱和列表處理等不同應用場景，幫助學習者掌握WHILE迴圈的技巧和思路。透過這些練習，學習者可以提升自己的編程邏輯能力和解決問題的能力，並更好地應用WHILE迴圈進行程序設計。

開始上課

如何安裝 Jupyter (Ipython Notebook)

• 大數學堂
• 2015年5月7日 07:04

Jupyter是一個強大而方便的工具，它提供網頁介面，讓使用者可以使用瀏覽器進行Julia Python或R程式的開發和維護。這個工具相當實用，值得一試。未來我們將陸續介紹它的各種好用功能。

開始上課

迭代器 (Iterator)

• 大數學堂
• 2022年5月23日 00:00

迭代器是Python中的一種機制，用於遍歷容器對象而不需要生成全部元素。每個迭代器都有兩個基本方法：__iter__()和__next__()，分別返回迭代器本身和容器中的下一個元素。使用迭代器可以節省內存空間並提供方便高效的元素訪問方式。

開始上課

函式速覽

• 大數學堂
• 2022年5月23日 00:00

本章節介紹了Python中的函式，函式是獨立的程式區塊，能夠執行一系列操作並返回結果。函式在程式設計中非常重要，可以幫助我們將任務拆分為小塊並重複使用。學習內容包括如何定義和呼叫函式以及處理參數和返回值。同時還討論了函式的語法細節，並介紹了一些常見的使用案例，包括遞迴函式和匿名函式。

開始上課

函式練習題

• 大數學堂
• 2022年5月23日 00:00

「給資料科學家的Python 課程」中的函式練習題章節，提供了幫助資料科學家熟練Python函式使用的機會。這個章節旨在讓資料科學家能夠透過練習和實際應用，更加熟悉函式的概念與用法。這能夠增加他們在資料科學領域中的實用程度，並提升他們的效率。透過這個章節的練習，資料科學家可以學習到許多實用的函式技巧，並將其應用於實際的資料分析和處理中。

開始上課

Jupyter 操作入門 (1)

• 大數學堂
• 2015年5月10日 13:14

本文介紹了在Jupyter中引入pylab進行繪圖 類Linux指令觀看當前目錄的檔案 執行Python程式，以及使用MathJax繪製數學方程式的方法。Jupyter是開發和維護Python程式的好工具。

開始上課

匿名函式 (Lambda)

• 大數學堂
• 2022年5月23日 00:00

匿名函式（lambda函式）是一種輕量級的函式，在Python中可以直接定義和使用，不需要使用def關鍵字。lambda函式的語法簡單，可以使用lambda關鍵字指定參數，並定義函式的運算邏輯。lambda函式常用於單次使用且簡單的函式定義，可以應用於列表排序 過濾和映射等操作，也可以與內建函數如map() filter()等一起使用。

開始上課

巢狀陳述與範圍

• 大數學堂
• 2022年5月23日 00:00

巢狀陳述和範圍是資料科學重要的概念之一，巢狀陳述是指在程式中將一個陳述放在另一個的內部，建立邏輯結構，範圍則是變數的可視範圍，包含全域範圍和區域範圍。了解這兩個概念有助於資料科學家在處理大量數據和複雜邏輯時，建立結構良好且可靠的程式碼。

開始上課

[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?

• 大數學堂
• 2016年2月26日 15:27

scrapy是一個用於抓取網頁數據的框架，它通過pipelines來處理抓取到的數據。在pipelines中，我們可以清理數據 驗證數據的有效性 去除重複數據，並將數據存儲到數據庫中。在範例中，我們在pipelines.py中設置open_spider在開始時建立數據庫連接並創建表格，close_spider在結束時提交交易並關閉數據庫連接，process_item則將數據保存到sqlite數據庫中。最後，在settings.py中啟用pipelines的設置。

開始上課

生成器(Generator)

• 大數學堂
• 2022年5月23日 00:00

生成器是一種特殊的函式，可以逐步生成數據。它使用yield關鍵字返回數據，而不是使用return。這種方式可以節省內存空間，適用於處理大量數據的情況。生成器可以通過for迴圈遍歷數據，也可以使用next()函式獲取下一個數據。每次調用生成器時，它會從上次yield所在位置繼續執行，直到遇到下一個yield或結束。

開始上課

[ChatGPT] Whisper還是剪映？選擇最佳字幕創建工具讓你的影片更專業！

• 大數學堂
• 2023年3月12日 08:31

這篇文章提到隨著YouTube影片的普及，語音轉文字的需求也相應增加。文章介紹了如何使用Python調用Whisper API將YouTube影片轉錄成字幕，並利用Pysrt合併和修改字幕時間。同時還比較了這種轉錄方式與剪映的差異。影片和程式碼也提供了相關連結，以便讀者更深入了解。該文章還以標籤形式列出了相關的主題，如語音識別 YouTube字幕生成等，方便讀者查找相關資訊。

開始上課

如何使用GET 抓取網頁內容?

• 大數學堂
• 2015年4月16日 15:15

這篇文章介紹了如何使用Python編寫三行程式碼來抓取淘寶網的網頁內容。並且提供了一個範例網頁連結供讀者參考。

開始上課

[Selenium] 如何使用 Selenium 撰寫網路爬蟲?

• 大數學堂
• 2018年8月15日 13:53

這篇文章介紹了如何使用Selenium和BeautifulSoup進行網頁爬取。使用Selenium的page_source屬性可以抓取當前頁面的原始碼，並透過BeautifulSoup處理，使得能夠爬取任何瀏覽器瀏覽的網頁。同時提供了程式碼以供參考。

開始上課

類別(Class)

• 大數學堂
• 2022年5月23日 00:00

在Python中，類別（Class）是一種用來創建物件的模板，它封裝了相關的屬性和方法。類別可以看作是一種自定義的數據類型，可以擁有屬性和方法。使用類別可以更方便地組織和管理程式碼，並提供封裝 繼承和多型等特性。要創建一個類別，可以使用class關鍵字，在內部定義屬性和方法。透過點運算符可以訪問類別的屬性和方法。示例中定義了一個名為Person的類別，並創建了該類別的實例，可以透過該實例訪問類別的屬性和方法。

開始上課

物件與類別練習題

• 大數學堂
• 2022年5月23日 00:00

這個章節介紹物件與類別的概念，並提供相關的練習題讓讀者實際應用所學。讀者將學習如何定義類別，並創建物件實例，以及如何在類別中定義屬性和方法並加以使用。練習題的案例將涵蓋人 汽車和動物等真實世界的事物，協助讀者更好地理解物件與類別在程式碼中的映射。

開始上課

繼承(Inheritance)

• 大數學堂
• 2022年5月23日 00:00

繼承是物件導向程式設計中的重要概念，在Python中得到了充分支援。通過繼承，可以創建新的類別並使用現有類別的屬性和方法，促使程式碼重用更容易。繼承中有父類別和子類別的分層組織，子類別可以繼承父類別的屬性和方法，同時還能添加自己的屬性和方法。繼承是一種結構化程式碼的方法，通常將相關功能放在父類別中，可以在多個子類別中共用這些功能，同時還可以在每個子類別中添加不同的行為和特性。

開始上課

如何使用POST 抓取網頁內容?

• 大數學堂
• 2015年4月19日 09:29

本文章介紹了如何使用POST方法在Python中抓取高鐵網頁內容。使用POST方法可以將請求資訊包裝起來，再傳送至伺服器以取得回應資訊。在Python中使用POST方法非常簡單，只需將請求資訊以字典做包裝即可。

開始上課

模組、套件、第三方套件速覽

• 大數學堂
• 2022年5月23日 00:00

本章節將介紹Python中的模組 套件以及第三方套件。模組是一個Python檔案，可以包含變數 函式 類等程式碼，我們可以透過import語句引入使用。套件則是由多個模組組成的集合，方便共享和重複使用程式碼。常見的Python套件有math datetime random等。除了內建的模組和套件外，我們還可以使用第三方套件來擴展Python功能。第三方套件是由其他開發者開發的，可在官方網站或第三方網站下載和安裝。這章節將教你如何使用模組及套件，並安裝和管理第三方套件，提升Python程式開發效率。

開始上課

模組(Module)

• 大數學堂
• 2022年5月23日 00:00

Python中的模組是包含函式 變數和類別的文件，可以組織和重用程式碼，提高可讀性和維護性。使用模組可以簡化程式開發過程，只需導入所需的模組即可。Python內建了許多模組，如math datetime和random，還有許多第三方模組，如numpy pandas和scikit-learn，提供更豐富和專業的功能。

開始上課

[ChatGPT] 如何使用ChatGPT 快速翻譯 PDF 文件?

• 大數學堂
• 2023年7月26日 09:46

【用chatgpt翻譯pdf】我們經常需要閱讀英文文件和論文，但以往將中文複製貼上到Google翻譯，往往得到一些含糊不清的翻譯結果。因此，我們現在要教大家如何使用強大的人工智慧模型 - ChatGPT快速翻譯PDF文件！

開始上課

[AI人工智慧] 探索香港Deepfake詐騙案背後的科技：如何只憑免費Colab與基本Python知識製作深度偽造影片?

• 大數學堂
• 2024年2月7日 21:00

最近香港發生一起利用AI技術的詐騙案，歹徒使用Deepfake技術製作假影片，冒充公司財務長詐騙兩億港幣。這引起了大家對AI模仿能力的疑慮。為展示AI換臉有多麽容易實作，我們將使用Python的Roop套件，並以賈伯斯的照片創造深度偽造影片。希望能用這個範例提高大家對AI詐騙的警覺

開始上課

[ChatGPT] 如何結合Python網路爬蟲和GPTs打造你自己的財經新聞聚合應用程式！

• 大數學堂
• 2022年11月19日 16:00

🔍 想知道如何從頭開始建立自己的財經新聞聚合器嗎？我們的最新影片將一步步指引您如何運用 Python 網路爬蟲技術來擷取、整理財經新聞，並且展示如何將這些數據轉換成 CSV 檔案格式，進一步應用於 GPTs。 📈 此外，我們也將探討如何利用 GPTs 的強大功能，將您的財經新聞聚合器提升至一個新層次，提供更深入、更客製化的財經資訊。

開始上課

[ChatGPT] 用ChatGPT輕鬆掌握外資對台積電法說會的看法

• 大數學堂
• 2023年4月23日 08:25

聽說最近外資對台積電法說會的評價很高，不知道是真的還是假的呢？那麼就讓我ChatGPT來告訴你們答案吧！為了能夠快速探索外資對台積電法說會的看法，我們先蒐集了一堆外資對台積電的投資建議報告，並運用最近話題最熱的兩大神器：langchain 與 llama_index來將所有外資的建議報告索引起來。 而本教學不只是教學如何建立單篇的PDF索引，而是包含多篇PDF的索引服務。當我們將所有報告索引起來後，這項服務就比ChatPDF更加傑出！使用者只需要對索引提問，就可以輕輕鬆鬆得知每家外資對台積電法說會的看法了！

開始上課

[分類實戰] 如何使用Spark 預測客戶是否流失(Part 2)?

• 大數學堂
• 2015年6月18日 16:14

MLlib 提供了決策樹分類的功能，使用DecisionTree.train可以輕鬆建立模型並預測客戶是否流失。此外，也可以使用不同的套件計算準確度和AUC，使用Spark來分析大量的資料非常簡便和迅速。

開始上課

[Scrapy 爬蟲] 如何使用Scrapy 的CrawlSpider 實現多網頁爬取?

• 大數學堂
• 2016年3月1日 16:49

Scrapy的CrawlSpider類別可實現多網頁爬取。只需讓爬蟲繼承CrawlSpider類別，並在rules清單中增加抓取規則，透過LinkExtractor中的分頁抓取規則，即可輕鬆爬取符合條件的蘋果新聞資料。

開始上課

如何使用RJDBC 連結到MySQL?

• 大數學堂
• 2015年7月6日 16:23

本文介紹了在使用程式語言連結到資料庫時可使用的兩種方法：ODBC和JDBC。同樣地，R語言也提供了RODBC和RJDBC兩種方法供使用者選擇。本文將教您如何下載JAR檔和設定連線資訊，使得R可以通過RJDBC連結到資料庫，並獲取資料庫中存放的三大法人買賣資訊。

開始上課

如何使用Python 套件: BeautifulSoup4 剖析網頁內容?

• 大數學堂
• 2015年4月17日 16:19

這篇文章介紹了使用BeautifulSoup4來解析網頁內容的方法。透過幾個簡單的選取動作，我們可以迅速地從非結構化的資料中抓取有價值的部分。有了這些資料，進一步的分析也就離我們不遠了。

開始上課

[Selenium] 如何設定 Selenium 中的隱含等待(Implicit Wait)?

• 大數學堂
• 2018年10月30日 15:05

Selenium在抓取資料時，有時會遇到頁面尚未完全載入的問題，導致NoSuchElementException的錯誤。為了避免此問題，可以使用implicit_wait功能，讓程式在執行後續動作之前等待頁面完全載入。附上程式碼範例的連結。

開始上課

第三方套件 (Third Party Package)

• 大數學堂
• 2022年5月23日 00:00

第三方套件是由非官方開發人員或組織創建和維護的Python套件，可擴展Python的功能。這些套件提供了各種功能和工具，可用於不同的應用。由於Python開源且廣泛使用，對於開發人員來說可以輕鬆獲取並使用這些套件。不同的第三方套件可以提供不同的特性和功能，使得Python更加具有彈性和豐富性。

開始上課

如何使用RSelenium 抓取PTT Food版的內容?

• 大數學堂
• 2015年6月29日 15:41

R可以搭配Web自動化測試工具Selenium進行網頁抓取，只要使用RSelenium進行安裝和使用，就能在Firefox瀏覽器中使用R腳本抓取網頁內容。這樣的功能不僅僅只有Python才能實現。

開始上課

用第三方套件打造"真"對話機器人

• 大數學堂
• 2022年5月23日 00:00

本文介紹如何使用Python中的第三方套件打造一個真實的對話機器人。對話機器人可以進行自然的對話，並根據使用者的輸入提供適當的回應。文章提到可以使用NLTK或spaCy等自然語言處理套件來處理和分析使用者的輸入。同時，可以使用GPT模型等語言模型生成自然流暢的回應。另外，也可以使用SpeechRecognition等語音辨識套件實現語音輸入功能。文章指出，這些套件能夠讓應用程序能與使用者進行自然且有意義的對話。

開始上課

第三方套件練習題 - 運用結巴斷詞

• 大數學堂
• 2022年5月23日 00:00

結巴斷詞（jieba）是一個常用的中文中文字斷詞的Python套件。該套件可以將中文文本進行分割，分離出詞彙的單位，方便進行文本分析 文字處理等自然語言處理任務。想使用結巴斷詞套件，需要先安裝並匯入該套件。以下有安裝指令和匯入代碼的示例。透過結巴斷詞可以將中文句子斷詞為詞彙的單位，方便後續的處理和分析。

開始上課

檔案、Pythonic、Python 總複習

• 大數學堂
• 2022年5月23日 00:00

這段文字介紹了在Python中處理檔案的基本操作，包括打開 讀取 寫入和關閉檔案，並介紹了處理CSV和JSON格式檔案的方法。另外，它還提到了Python語言的哲學和風格，包括編碼風格指南和如何寫出乾淨 易讀且可維護的程式碼。最後，這個章節進行了Python基礎知識的回顧，並透過解決程式設計問題來測試學習者對於Python的理解和應用能力。

開始上課

[爬蟲實戰] 如何抓取心食譜的食譜資訊?

• 大數學堂
• 2015年4月20日 14:01

這篇文章介紹使用CSS Selector的nth-of-type來抓取特定位置的食譜資訊的示範。並且提供了一個示範網頁的連結。

開始上課

Pythonic

• 大數學堂
• 2022年5月23日 00:00

Pythonic是指用Python編寫的程式碼符合Python語言風格和指導原則。這種程式碼利用Python的特色，實現了更簡潔 可讀性高和以Python方式解決問題的程式碼。

開始上課

Python 總複習 - 用Python 分析川普演說文最常出現字詞(Word Count)

• 大數學堂
• 2022年5月23日 00:00

文章介紹了在Python 中使用詞頻統計或字詞計數的方法來分析川普演說文中最常出現的字詞。作者提到了使用Python 的文本處理技術預處理川普演說文的內容，並使用字典資料結構記錄每個字詞的出現次數。透過迴圈和條件判斷式，可以遍歷川普演說文並計算每個字詞的出現次數，最後，可以使用Python 的排序功能將字詞按照出現次數進行排序並進行視覺化。

開始上課

結尾

• 大數學堂
• 2022年5月23日 00:00

這是一個Python課程的結束評價和感謝。該課程涵蓋了Python的基礎知識和資料科學應用，包括常用庫 資料視覺化和網絡爬蟲。重視實踐和應用，並提供了實例和練習。希望學生能夠提升Python技能，應用於資料科學項目。學生可以隨時聯繫課程作者提出問題和建議。最後，感謝學生的參與和支持，並祝願他們在資料科學領域取得成功。

開始上課

如何安裝及使用SparkR?

• 大數學堂
• 2015年6月20日 15:02

Spark最近版本中收錄了R語言的SparkR，這讓R語言的資料分析能夠與Spark進行無縫整合。在RStudio下的安裝過程經過實測後發現，非常簡單且與使用RHadoop撰寫MapReduce非常相似。然而，研究後發現部分機器學習的功能仍需自行撰寫，無法直接呼叫MLlib，這是目前讓人最失望的部分。

開始上課

該如何使用git init 建立程式碼版本的儲存空間?

• 大數學堂
• 2015年4月21日 14:45

這篇文章介紹了如何建立程式碼的儲存庫。使用git init指令，可以設立儲存庫進行版本控制。儲存庫是用來儲存所有版本的空間。

開始上課

如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?

• 大數學堂
• 2015年4月18日 01:59

這篇文章介紹如何使用Python的requests和BeautifulSoup4來完成淘寶網站的爬蟲。作者提到，既然已經了解了如何使用requests抓取網頁內容，並使用BeautifulSoup4來解析有用的資訊，接下來將進入實戰階段，示範如何完成淘寶爬蟲。

開始上課

[AI人工智慧] 快速玩轉AI：使用LM Studio在個人電腦上部署Google新開源大型語言模型Gemma

• 大數學堂
• 2024年2月25日 17:00

Google最近發布了新的開源大型語言模型Gemma，似乎是為了與Meta的Llama2與OpenAI展開競爭。Google 此次提供了2B和7B兩種模型，目的在應用於較低配置的運行環境上離線使用，彰顯了Google想在邊緣AI領域獨佔鰲頭的野心。以下我們將一起探討如何在個人電腦上快速利用LM Studio 部署Gemma 2B，讓大家親身體驗這款先進語言模型的卓越性能吧！

開始上課

[爬蟲實戰] 如何透過 Python 網路爬蟲快速找出1111購物狂歡節折扣最多的商品? (2018年版)

• 大數學堂
• 2018年11月10日 12:43

1111購物狂歡節即將到來，如果你還不知道該買什麼，可以嘗試使用數據來做決策。本課程將使用Python網路爬蟲抓取天貓的商品頁面，再用json和pandas整理商品資訊，最後使用pandas的排序功能，幫助你找出折扣最多的商品。程式碼可參考：https://github.com/ywchiu/largitdata/blob/master/code/Course_108.ipynb

開始上課

[AI人工智慧] 使用 Ollama 調用本地語言模型生成文章並且辨識圖片內容

• 大數學堂
• 2024年3月24日 16:00

Ollama是一款能在個人電腦上輕鬆部署和使用語言模型的工具，透過Ollama，我們便能在終端機使用：1. 聯發科的 Breeze 7b 模型、2. 利用 Python 接合 Ollama 的端口，3. 甚至使用 Llava 模型智慧地重命名文件中的圖片。透過本地端部署的大型語言模型，便能在保障隱私與安全的前提下，有效能夠提高工作效率。

開始上課

[RPA] 如何使用 Selenium 自動下載漫畫 (1)?

• 大數學堂
• 2019年8月12日 15:20

這篇文章介紹了一個使用Python爬蟲的專題，目的是為了自動化閱讀漫畫的過程。文章提到了使用Selenium來自動開啟漫畫頁面，然後使用BeautifulSoup解析圖片位置，最後使用Requests下載圖片。作者分享了相關的影片和程式碼連結。整篇文章展示了使用爬蟲技術來達到自動化閱讀漫畫的目標，展現了黑客精神。

開始上課

探索Facebook 隱藏的秘密: 使用Graph API

• 大數學堂
• 2015年4月22日 09:16

這篇文章介紹了如何使用Facebook Graph API探索個人隱私。透過連結到Facebook Developer Page，可以學習如何使用Graph API進行測試。

開始上課

[RPA] 如何使用 img2pdf 將圖檔合併成 pdf 檔 ?

• 大數學堂
• 2019年8月22日 13:26

本文介紹了如何使用img2pdf將漫畫圖檔合併成PDF，以方便流暢地觀看。同時提供了一個影片和程式碼的連結，用於解釋和實踐這個功能。本文也涉及RPA和Python自動化相關的主題。

開始上課

[ChatGPT] 利用 ChatGPT 打造萬用網路爬蟲追蹤最新機票價格

• 大數學堂
• 2023年6月25日 09:23

本教學將教您如何使用Selenium自動瀏覽Expedia網站，並利用LangChain和ChatGPT的Extraction功能，自動解析半結構化資料。最後，使用Pandas將半結構化資料轉換為結構化資訊。透過ChatGPT和LangChain的幫助，我們可以省去編寫網路爬蟲時需要觀察元素的麻煩。再加上Selenium可以模擬人類操作，我們能夠簡化網路爬蟲的過程，輕鬆地獲取所需的網頁資訊。期待著中秋節的到來，並希望能在日圓跌至新低的時候，節省機票費用，享受一趟愉快的旅程。

開始上課

探索Facebook 隱藏的秘密: 使用Python 存取 Facebook 資訊

• 大數學堂
• 2015年4月22日 15:41

本段文章繼續介紹了如何使用Graph API存取Facebook資訊。只需要取得access token後，將其填入Graph API中，再透過Python的requests模組即可取得個人資訊，包括ID和最喜歡的運動員。

開始上課

[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(一) - YOLO簡介?

• 大數學堂
• 2020年4月13日 15:37

為了減少檢測人力，作者介紹了一個口罩檢測系統的建構方法，使用YOLO (You only look once)來快速檢測是否每個人都有配戴口罩。文章提到了YOLO的介紹以及在Colab上安裝YOLO的步驟。作者也提供了相關的教學影片和程式碼連結。這個系統有助於確保大家的健康，尤其在新冠肺炎持續延燒的情況下。

開始上課

[AI人工智慧] 運用 Whisper 輕鬆打造即時字幕轉錄神器！😎

• 大數學堂
• 2024年4月7日 17:15

今天要帶大家挑戰用 Whisper 和 PyAudio 打造即時字幕轉錄功能！😲 先安裝必要套件，寫個錄音函數把聲音切成小片段，讓 Whisper 辨識語音轉文字，最後用無窮迴圈讓錄音、辨識輪番上陣，就能創造即時語音轉文字的魔法！🎉 最後還用 OpenAI CEO Sam Altman 的片段實測給你看！想要更精準的結果可選用更大的模型，但要有 GPU 硬體才能兼顧速度和準確度喔！😉跟著這個教學，你也可以輕鬆用 Whisper 做出自己的即時語音轉文字應用！

開始上課

[爬蟲實戰 ]如何模擬用戶代理 (User Agent) 成功存取目標網頁內容 (以永慶房屋為例)?

• 大數學堂
• 2015年4月27日 15:29

有些網頁伺服器會檢查用戶代理以限制爬蟲存取頁面內容，但我們可以通過在標頭中增加自己的瀏覽器用戶代理來繞過這種限制，成功獲取網頁內容。這種技術可以用來抓取永慶房屋的房價資訊。

開始上課

[ChatGPT] 網路爬蟲 X MidJourney X ChatGPT 自動化產生吸睛新聞封面 (2/2)

• 大數學堂
• 2023年6月4日 13:36

在上一集中(https://largitdata.com/course/224/)，我們學習了如何運用網路爬蟲 X ChatGPT自動化生成Midjourney的圖片。 而在本集中，我們將教你如何完成最後的自動化步驟，也就是運用Discord Bot 自動下載Midjourney生成的圖片。

開始上課

[交易系統] 如何透過Python 將抓取下來的金額資訊存入資料庫中?

• 大數學堂
• 2015年5月8日 14:49

這篇文章講述學會使用Python將資料存入資料庫並準備進行資料分析的最後一步。作者指出，他們可以將抓取的三大法人統計資訊存入finance.sqlite資料庫中，這樣就能開始進行分析了。整篇文章提供了構建分析所需的基本步驟和資訊。

開始上課

[爬蟲實戰] 如何剖析PTT的網頁?

• 大數學堂
• 2015年4月24日 13:49

本篇文章介紹了如何使用Python的requests和BeautifulSoup4函式庫來獲取並解析PTT網站的文章內容。透過requests的get方法可以將網頁內容取回，再使用BeautifulSoup4來解析原始碼，提取出有意義的結構化資訊，例如文章標題 作者和發文時間等。這對於進一步分析和處理PTT文章內容非常有用。

開始上課

[爬蟲實戰] 如何告訴PTT我已滿18並順利抓取八卦版的文章 ?

• 大數學堂
• 2015年6月8日 15:21

這段文章談論到PTT八卦版的年齡限制問題，即使已滿18歲，仍需進行驗證才能閱讀內容。然而，作者提到可以使用爬蟲技術，利用Chrome開發人員工具找到如何通過18歲驗證後，再接續之前的Session，並成功存取八卦版的內容。

開始上課

[ChatGPT] 如何利用Meta開源的Llama2模型，打造屬於自己的ChatGPT

• 大數學堂
• 2023年7月23日 12:10

ChatGPT是一個強大的語言模型，不僅可以寫信、摘要文章、翻譯，還能協助寫程式。然而，與ChatGPT對話時也引發了擔憂，擔心機密或敏感資料可能因此外流。所幸，Meta公司推出了開源的Llama2模型，可以在本地部署並在離線環境下使用。這個模型減少了與外部服務的數據傳輸，提高了安全性。本課程介紹了在Colab上使用Llama2模型的示範，包括下載、使用transformers套件載入模型以及生成對話結果。

開始上課

[爬蟲實戰] 如何抓取圖表內的價格資訊?

• 大數學堂
• 2015年4月25日 15:26

本文介紹了如何使用Python的正規表達式模塊re中的search函數來抓取匯率網站圖表內的價格資訊，並提供了示範網址。

開始上課

[其他專題] 運用數據科學分析Wordle 該從哪個字開始猜？

• 大數學堂
• 2022年2月12日 05:25

Wordle是一款熱門遊戲，許多人想嘗試猜出當天的字謎。文章提到，猜字謎有訣竅，選擇涵蓋範圍最廣的字可得到更多提示。作者介紹使用nltk和pandas來分析，發現ceria和corey是不錯的起始字。文章附有影片和程式碼供讀者參考。同時，作者也在徵資深前端工程師，提供職缺連結。標籤包括wordle nltk pandas 資料科學和數據科學。

開始上課

[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(三) – 建立即時口罩檢測系統

• 大數學堂
• 2020年4月21日 13:02

此文章介紹了如何使用YOLOv3模型和攝影機畫面建立一個即時的口罩檢測系統。作者將原有的darknet模型改為使用opencv讀取，並結合opencv的攝影機擷取功能，讓人們可以即時檢測鏡頭下的人是否戴著口罩。此外，文章還提供了相關的影片和程式碼連結。文章標籤包括DeepLearning YOLO COVID19 新冠肺炎和口罩檢測。

開始上課

[ChatGPT] 網路爬蟲 X MidJourney X ChatGPT 自動化產生吸睛新聞封面 (1/2)

• 大數學堂
• 2023年5月23日 14:03

記得看蘋果新聞時，新聞下面常附上有趣的惡搞示意圖嗎？現在透過人工智慧工具ChatGPT與MidJourney，我們也可以快速打造吸睛新聞封面產生器。讓新聞閱讀變得更有趣，吸引更多的讀者閱讀。

開始上課

如何使用API 抓取附近神奇寶貝的位置資訊

• 大數學堂
• 2016年7月20日 12:07

Pokemon GO 是一款線上遊戲，在台灣尚未發行。然而，已有國外玩家找到破解方法，能夠存取遊戲內的API資訊。本文將提供教學，讓玩家能輕鬆找到附近的神奇寶貝。

開始上課

[ChatGPT] 個人化Llama2 ！如何在Colab中運用自己的資料集微調 Llama2 模型

• 大數學堂
• 2023年7月31日 21:00

LLaMA-Efficient-Tuning 是一個簡易的大型語言模型微調框架，能夠進行PEFT並支援訓練多種大型語言模型，如LlaMA2、BLOOM、Falcon 和 Baichuan。微調步驟包括安裝 LLaMA-Efficient-Tuning、調整 dataset_info.json 加入自己的資料集描述、導入自己的監督式微調資料集、以及使用內建指令進行監督式微調和預測生成。有了Llama2，再搭配自己的資料集，相信在不久的將來，大家都可以使用LLaMA-Efficient-Tuning快速有效地微調Llama2模型以適應特定需求。

開始上課

[爬蟲實戰] 如何抓取某知名財報網站的資訊 ?

• 大數學堂
• 2015年5月30日 09:40

縱使針對網站進行多層保護，但只要爬取資料的思路正確，破解任意網站只是時間問題。就像這個知名財經網站，儘管檢查使用者是否使用爬蟲或內嵌iframe，仍無法逃脫被爬取的命運。

開始上課

[爬蟲實戰] 如何抓取淘寶網的商品名稱與價格 (2016年版)?

• 大數學堂
• 2016年10月10日 15:27

本文介紹了作者對於更新淘寶爬蟲的一些方法。他提到以前的爬蟲只需要獲取Document下的連結即可獲取商品價格資訊，但淘寶現在使用了AJAX的方式填充頁面內容。為了解決這個問題，作者建議從XHR和JS入手，使用正則表達式來解析重要資訊，以便在雙十一節中獲取淘寶資訊更容易。

開始上課

[爬蟲實戰] 如何抓取MoneyDJ 文章中的人氣指數?

• 大數學堂
• 2015年4月15日 14:27

本教學示範如何使用Python抓取MoneyDJ文章中的人氣指數。如果要安裝POSTMAN，請到指定網站下載。

開始上課

[爬蟲實戰] 如何使用Selenium IDE 記錄抓取包含Iframe 頁面資訊的步驟 - 以司法院法學檢索系統為例

• 大數學堂
• 2015年7月21日 15:45

這篇文章介紹了如何使用Selenium來解決爬取司法院法學檢索系統的問題。由於該系統使用了Iframe來嵌入檢索結果，常常造成爬蟲無法正確獲取內容。作者建議使用Selenium IDE來自動記錄抓取步驟，並將步驟轉換為Python腳本，使得抓取過程變得更加簡單。

開始上課

[爬蟲實戰] 如何透過Selenium 自動將頁面捲動至最下方抓取資料?

• 大數學堂
• 2016年3月31日 16:24

瀑布流網站如EZTABLE讓資訊抓取變得困難，但可使用Selenium執行Javascript解決頁面捲動問題。透過execute_script函數執行window.scrollTo(0 document.body.scrollHeight)，可以成功抓取瀑布流式網頁。

開始上課

[爬蟲實戰] 如何抓取集保戶股權分散表?

• 大數學堂
• 2015年8月5日 11:55

文章提到可以使用requests.post來取得需要POST請求的網頁內容，但也可以使用GET模擬整個POST動作。只需要將POST內容編碼後，串接在原網址的問號(?)後面，就可以順利取得內容。

開始上課

[爬蟲實戰] 如何抓取廉價航空的機票價格 – 以酷航為例?

• 大數學堂
• 2023年7月26日 14:28

這堂免費課介紹了如何使用爬蟲去抓取酷航的最新票價資訊，以便能夠搶到廉價的航空機票。作者提到，關注最新的票價是獲得便宜機票的最佳方法，但大家都很忙，所以讓爬蟲代勞是一個好選擇。使用Python Crawler，可以輕鬆地抓取酷航的最新票價，避免錯失機會。

開始上課

[爬蟲實戰] 如何撰寫Python爬蟲抓取台灣銀行的牌告匯率?

• 大數學堂
• 2016年12月16日 15:24

這篇文章介紹了如何利用爬蟲和Python Pandas來抓取台灣銀行的牌告匯率資料，並將其整理成漂亮的表格，並存成Excel檔案。這樣的工具可以幫助你在買進日圓時，找到最低價位，提供了出國血拼時的硬是划算方式。

開始上課

[爬蟲實戰] 如何使用Pandas快速分析上市櫃公司員工的薪資水平?

• 大數學堂
• 2020年7月5日 14:16

證交所公佈了上市與上櫃公司非擔任主管職務的全時員工薪資資訊，介紹了使用Python的requests和pandas來爬取和分析這些公司的薪資水平。以往只提供薪資平均值，而今年則加入了中位數的資訊，以更客觀地反映薪資水平。影片和程式碼連結也提供在文章中。

開始上課

[爬蟲實戰] 如何使用 Selenium 以及 Python 輕鬆抓取 Agoda 的旅館資訊?

• 大數學堂
• 2023年7月26日 15:44

這堂免費課介紹了使用Selenium和BeautifulSoup4來抓取以Ajax生成的網頁的方法。傳統上，抓取這樣的網頁需要很多耐心觀察，才能找到抓取的切入點。但是使用Selenium可以自動點擊和載入Ajax生成的頁面，使得抓取變得簡單。然後，配合BeautifulSoup4的強大解析功能，使用Python抓取網頁就變得非常簡單了。

開始上課

[爬蟲實戰] 如何使用Selenium 抓取驗證碼?

• 大數學堂
• 2017年10月24日 15:22

使用selenium抓取驗證碼圖片並非難事，只需要先存取頁面快照，然後找到圖片位置，然後根據位置和大小，就能成功從頁面中擷取出驗證碼。接著，只需要將驗證碼交給機器學習引擎辨識，就能輕鬆讓電腦為我們自動訂票。可以參考這篇程式碼來實踐：<a href="https://github.com/ywchiu/largitdata/blob/master/code/Course_95.ipynb">https://github.com/ywchiu/largitdata/blob/master/code/Course_95.ipynb</a>

開始上課

[爬蟲實戰] 如何使用 PANDAS 快速爬取財報表格?

• 大數學堂
• 2015年12月30日 17:14

表格是一種常見的數據呈現格式，使用BeautifulSoup4和PANDAS可以很方便地對表格進行解析和爬取。PANDAS的read_html方法可以將復雜的網絡表格信息快速轉換為DataFrame，成為股票分析的數據來源之一。

開始上課

[Selenium] 如何利用Cookie 資訊 自動登入 momo 購物網的使用者帳戶中?

• 大數學堂
• 2021年7月31日 08:10

本教學影片介紹如何在使用Selenium自動預購PS5的同時，自動登入momo購物網的使用者帳戶。透過保存與讀取Cookie資料，將其輸入至driver中，讓搶購變得更快又方便。影片和程式碼連結如下。

開始上課

[爬蟲實戰] 如何破解高鐵驗證碼 (1) - 去除圖片噪音點?

• 大數學堂
• 2017年10月26日 00:02

這篇文章介紹了如何使用opencv的fastNlMeansDenoisingColored函數來去除圖片中的噪音點，以提升驗證碼圖片的清晰度。文章提供了程式碼和相關資源的連結。

開始上課

[財經爬蟲] 如何使用正規表達法快速抓取所有上市公司代號?

• 大數學堂
• 2020年10月13日 14:20

這篇文章介紹如何使用Python網路爬蟲抓取GoodInfo的所有上市公司基本資訊。作者首先透過Tej的網站找到上市上櫃公司的代碼清單，接著使用正規表達法快速抽取出所有的數字代碼，以獲得所有上市公司的代碼。文章中還提供了影片和程式碼的連結。

開始上課

[爬蟲實戰] 如何使用Pandas 函式將台灣銀行的牌告匯率存進資料庫中?

• 大數學堂
• 2016年12月22日 16:12

使用Excel管理匯率資料不方便，因此我們建議使用資料庫來儲存資料。使用Pandas可以輕鬆將資料儲存到資料庫中，並使用read_sql_query函式將資料讀回。這樣可以增加資料的可維護性。

開始上課

[爬蟲實戰] 如何使用Python Pandas 分析比特幣最佳買點?

• 大數學堂
• 2017年6月9日 15:09

這篇文章提到使用Python網路爬蟲和數據分析工具Pandas來分析比特幣的趨勢線和移動平均線，以幫助投資者找到最適合的買點。並提供了程式碼的連結和與天善智能合作的線上課程，供讀者進一步了解如何使用Python進行資料分析。文章也提醒投資有賺有賠，投資前應詳閱公開說明書。

開始上課

[爬蟲實戰] 如何利用Python Flask自動轉換實價登錄網站加密字串?

• 大數學堂
• 2021年4月12日 13:47

本文介紹了如何透過Python Flask建立一個橋接器，來自動化抓取實價登錄網的加密字串。通常我們會使用Node.js或Pyexecjs等方法來加載加密函數，但這牽涉到處理Node.js或修改JavaScript的問題。透過Python Flask橋接器，我們可以輕鬆地重新導向加密字串到實價登錄網，實現破解新版實價登錄網的目標。影片和程式碼也提供了詳細的操作示例。

開始上課

[爬蟲實戰] 如何設定工作排程自動將牌告匯率存進資料庫之中?

• 大數學堂
• 2016年12月23日 16:17

本文介紹了如何使用爬蟲定期執行爬取工作，以實現工作自動化。對於Windows使用者，可以利用工作排程器功能進行每天的資料庫更新，特別是匯率資料，以便後續進行投資時能提供準確的資訊。對於MAC或Linux使用者，可以參考Crontab的用法來設定定時執行爬蟲任務。

開始上課

[爬蟲實戰] 如何透過EMAIL即時獲取最新匯率資訊?

• 大數學堂
• 2016年12月26日 16:32

文章介紹了如何透過Python的爬蟲和電子郵件功能來自動通知匯率的變化。使用smtplib和GMAIL工具，將匯率資料以HTML格式的郵件寄送給用戶，使他們能夠即時掌握最佳的買點。這種自動化的方法能夠節省用戶的時間和精力，並確保他們不會錯過任何重要的交易機會。

開始上課

[爬蟲實戰] 如何使用Pandas 快速繪製日幣近期的匯率走勢?

• 大數學堂
• 2016年12月27日 17:04

本文介紹了使用Pandas進行資料分析並畫圖的簡單方法。首先使用pandas的read_csv功能讀取csv資料，然後使用%pylab inline將圖表顯示在Jupyter Notebook中，最後使用plot函式繪製折線圖。這篇文章強調了透過Pandas的幾行指令就能輕鬆完成資料分析並畫出圖表的便利性。

開始上課

[爬蟲實戰] 如何爬取圖片以建立慾望之牆?

• 大數學堂
• 2015年9月12日 16:15

這篇文章介紹了如何使用網路爬蟲蒐集圖片檔案，並提及了使用 streaming 的資料抓取 binary 寫檔以及 shutil 套件來完成任務。作者希望將自己最喜歡的雪芙女神照片收集起來，並表示可以在 Gamebase

開始上課

[爬蟲實戰] 如何使用Selenium 自動將slides.com 的網頁投影片輸出成圖檔?

• 大數學堂
• 2017年1月1日 15:46

這篇文章介紹了如何使用Selenium撰寫一個爬蟲，將slides.com上製作的HTML網頁投影片自動轉換成圖檔，然後結合起來匯出成PDF檔。這樣一來，就可以不需要花錢升級會員，也能將投影片匯出為PDF檔。

開始上課

[爬蟲實戰] 如何利用Python快速分析網易雲性格主導色心理測驗?

• 大數學堂
• 2021年6月1日 14:59

在疫情期間的居家隔離中，大家都感到非常無聊。有人提到了網易雲的性格主導色心理測驗，並探討了該測驗中還有哪些顏色性格以及哪種性格最特別。透過網路爬蟲工具和Python的正規表達法，可以快速列出所有的性格色。作者分享了自己的性格色是橙+粉，並分享了觀察Python網路爬蟲常見的開發人員工具和Python的正規表達法的方法。該文章還提供了相關的影片和程式碼連結，以及性格主導色的完整資料的鏈接。

開始上課

[爬蟲實戰] 如何使用機器學習方法破解驗證碼 (1) ? – 安裝opencv3

• 大數學堂
• 2017年6月14日 15:12

這篇文章介紹了使用機器學習中的類神經網路方法破解驗證碼的技術。為了建立模型，需要在Anaconda Python 3.6上安裝Opencv3，並使用Opencv3來切割出驗證碼的數字，然後建立分類模型以使機器可以自動辨識驗證碼。

開始上課

[爬蟲實戰] 如何使用機器學習方法破解驗證碼 (2) ? – 切割出驗證碼中的各個數字

• 大數學堂
• 2017年6月21日 15:57

這篇文章提到了如何使用Python和OpenCV來爬取經濟部公司資料的驗證碼，並使用OpenCV的findContours功能進行切割和儲存驗證碼中的數字。

開始上課

[爬蟲實戰] 如何使用機器學習方法破解驗證碼 (3) ? – 使用類神經網路自動辨認驗證碼

• 大數學堂
• 2017年7月14日 09:29

這篇文章介紹了如何用Python scikit-learn中的類神經網路(MLPClassfier)來辨識驗證碼中的數字，以進一步讓爬蟲程式更容易破解驗證碼的阻擋。文中還提供了程式碼的GitHub連結，想要學習更多機器學習相關課程的讀者們，也可以參考提供的連結。

開始上課

[爬蟲實戰] 如何使用 Pyppeteer抓取 PCHOME 商品價格資訊?

• 大數學堂
• 2021年10月16日 09:55

這篇文章介紹了在處理由Javascript渲染的網頁資料時，無法直接使用requests，需要使用Pyppeteer作為解決方案。Pyppeteer是一個Python接合Chromium API的工具，可以輕鬆讀取Javascript渲染的頁面資料，使網頁爬取更加直覺。文章還提供了相關的視頻和程式碼連結，並標籤了PCHOME爬蟲 Pyppeteer Puppeteer和Python網路爬蟲。

開始上課

[爬蟲實戰] 如何用Python網路爬蟲抓取台灣運彩上的世界杯足球賠率?

• 大數學堂
• 2022年12月4日 10:19

這篇文章主要是介紹如何透過突破台彩網站的防爬蟲機制，使用開發者工具觀察網頁並使用Python快速撰寫網路爬蟲，抓取世界杯足球賠率。文中也提到，台彩還有其他防範機制阻止抓取正確的數據，如果讀者對此有興趣，可以在文章下方留言，未來或許會再開視頻專門解說。文章中也附上了相關的影片和程式碼連結。

開始上課

[爬蟲實戰] 如何利用Python網路爬蟲爬取有道翻譯打造自動化翻譯系統

• 大數學堂
• 2022年6月30日 14:14

這篇文章介紹了如何使用Playwright撰寫Python網路爬蟲程式，以爬取有道翻譯的翻譯結果。透過自動化程式，可以省下許多時間和麻煩，無需重複複製貼上文字。此外，文章還宣布大數軟體正在徵求一位資深前端工程師，成功推薦人的將獲得獎金。最後，文章提供了一些相關連結，包括徵才網頁 影片 程式碼和學習資源。

開始上課