Spyder 操作簡介

• 大數學堂
• 2022年5月23日 00:00

本文介紹了Spyder作為一個針對資料科學家所設計的整合開發環境(IDE)的功能。從安裝和設定開始，探索Spyder的介面和佈局，並介紹了新建 開啟 儲存和執行Python檔案的方法。此外，還介紹了變數瀏覽器 錯誤檢查 調試功能以及使用內置控制台進行交互式編寫和測試的方法。最後，聚焦於Spyder的潛力，提高資料科學工作效率和加速開發和測試過程。

開始上課

PyCharm 安裝與操作簡介

• 大數學堂
• 2022年5月23日 00:00

本文介紹了在「給資料科學家的Python課程」中，第一章的內容，該章節主要介紹了PyCharm的安裝與操作。PyCharm是一個功能強大的Python集成開發環境，它提供了許多提升開發效率的功能。文章首先介紹了如何下載和安裝PyCharm，並提供了不同環境下的安裝步驟。接著，文章介紹了如何建立新的Python項目並編寫第一個Python程式。然後，文章詳細介紹了PyCharm的編輯器功能，包括代碼自動完成 語法檢查和代碼重構工具。此外，還介紹了如何使用調試器進行錯誤排除和跟踪代碼執行，以及如何使用版本控制工具來管理程式碼。整體而言，本章節提供了全面的指南，讓讀者能夠開始使用PyCharm來開發和執行Python程式。

開始上課

Covid19 分析案例

• 大數學堂
• 2022年5月23日 00:00

本章介紹Python進行Covid19分析的案例，從相關數據集中提取信息，使用數據科學工具進行分析和視覺化。透過案例，學習使用Python進行數據清理 聚合 統計分析和預測模型建立等任務，了解Covid19的傳播情況和趨勢。

開始上課

[RPA]如何用PyAutoGUI 建立Python 版的按鍵精靈?

• 大數學堂
• 2019年7月8日 14:56

這篇文章介紹了使用RPA（Robotic Process Automation）流程機器人自動化處理繁瑣而重複的作業流程。然而，你不需要花大錢購買專業的軟體，只需使用PyAutoGUI建立簡單的Python程式即可實現這個功能。該程式可以做為一個簡單的按鍵精靈，讓電腦快速完成各種操作任務。同時提供了一個影片和程式碼連結以供參考。

開始上課

[交易系統] 如何抓取三大法人買賣金額統計表(Part 1)?

• 大數學堂
• 2015年4月26日 13:51

本篇文章介紹了如何使用Python的Requests模組來抓取三大法人買賣金額統計表。這是建立自己交易系統前需要的資料之一，作者提供了一步步的教學來引導讀者完成這個任務。這個教學對於想要學習如何使用Python來獲取金融相關資料的人來說很有幫助。

開始上課

字串 (String)

• 大數學堂
• 2022年5月23日 00:00

這節課教導如何在Python中處理字串。學生將學習建立和存取字串 連結 切割和搜尋字串的操作。此外，還會教導常用的字串方法，如改變大小寫和取代子字串。這些技巧對處理和操作文字資料在資料科學領域中很有幫助。

開始上課

字典 (Dictionary) 簡介

• 大數學堂
• 2022年5月23日 00:00

字典是Python中一種非常有用的資料結構，它以鍵-值對的形式儲存資料。每個鍵都必須是唯一的，值可以是任意類型的物件。字典可以用於解決許多實際問題，例如建立通訊錄或詞典。

開始上課

[比特幣程式交易] 如何使用TA-Lib快速建立比特幣技術分析指標?

• 大數學堂
• 2021年1月20日 03:52

這篇文章介紹了如何使用TA-Lib建立158種常見的技術分析指標。搭配Plotly圖表整合，能夠快速找出比特幣的平均移動線 KD指標 RSI指標和MACD等指標，並進行可視化分析。提供了相關影片和程式碼供參考。

開始上課

如何使用Jupyter 操作 Spark?

• 大數學堂
• 2015年5月31日 15:19

這篇文章介紹了ISpark這個解決方案，讓使用者能夠在Ubuntu 14.04中使用Jupyter和Spark建立開發環境。這樣可以像Python一樣方便地記錄開發內容，提供了一個簡易好用的開發環境。

開始上課

如何在五分鐘內透過AWS的EMR服務快速開啟一個Hadoop叢集?

• 大數學堂
• 2015年5月20日 16:38

這篇文章介紹了如何使用Amazon EC2的EMR服務快速建立Hadoop叢集，並指出這將使巨量資料分析變得非常簡單。同時，文章也提到如果讀者對Hadoop和其生態系統有更多興趣的話，可以參考由作者和Tibame共同開設的線上課程。

開始上課

Python 運算式與陳述

• 大數學堂
• 2022年5月23日 00:00

這個章節將深入探討Python中的運算式和陳述。運算式是由值 運算子和函數組成的程式碼片段，用於執行特定的計算。我們將學習使用算術 比較和邏輯運算子來建立運算式。陳述是以關鍵字和內容為基礎的語句，用於執行特定操作。我們將學習各種陳述，包括條件陳述 迴圈陳述以及函數定義和呼叫。

開始上課

如何透過OpenCV 破解台灣證券交易所買賣日報表的驗證碼(Captcha) (Part 2)?

• 大數學堂
• 2015年5月17日 12:57

本文介紹了破解驗證碼的方法。首先將驗證碼分解成獨立的字母圖片，然後使用OCR技術辨識圖像文字。作者嘗試了使用pytesser進行圖片辨識，但效果不佳，所以使用Word建立基準圖片，並使用Mean Square Error計算兩張圖片的相似度。結果表明，這種簡單的方法可以輕鬆破解驗證碼。並提到若想得到更新訊息，可以至Facebook粉絲團按讚。

開始上課

[Scrapy 爬蟲] 如何使用items.py整理Scrapy 爬取下來的資料並輸出成JSON檔?

• 大數學堂
• 2016年2月24日 15:26

Scrapy 的 items.py 可以將爬蟲爬取到的資料結構化，爬蟲主程式隨後可建立物件來存放爬取下來的資料。最後，透過指令 "scrapy crawl apple -o

開始上課

巢狀陳述與範圍

• 大數學堂
• 2022年5月23日 00:00

巢狀陳述和範圍是資料科學重要的概念之一，巢狀陳述是指在程式中將一個陳述放在另一個的內部，建立邏輯結構，範圍則是變數的可視範圍，包含全域範圍和區域範圍。了解這兩個概念有助於資料科學家在處理大量數據和複雜邏輯時，建立結構良好且可靠的程式碼。

開始上課

[Selenium] 如何使用 Selenium 撰寫網路爬蟲?

• 大數學堂
• 2018年8月15日 13:53

這篇文章介紹了如何使用Selenium和BeautifulSoup進行網頁爬取。使用Selenium的page_source屬性可以抓取當前頁面的原始碼，並透過BeautifulSoup處理，使得能夠爬取任何瀏覽器瀏覽的網頁。同時提供了程式碼以供參考。

開始上課

[Scrapy 爬蟲] 如何使用pipelines.py將Scrapy 爬取下來的資料儲存置資料庫之中?

• 大數學堂
• 2016年2月26日 15:27

scrapy是一個用於抓取網頁數據的框架，它通過pipelines來處理抓取到的數據。在pipelines中，我們可以清理數據 驗證數據的有效性 去除重複數據，並將數據存儲到數據庫中。在範例中，我們在pipelines.py中設置open_spider在開始時建立數據庫連接並創建表格，close_spider在結束時提交交易並關閉數據庫連接，process_item則將數據保存到sqlite數據庫中。最後，在settings.py中啟用pipelines的設置。

開始上課

[ChatGPT] 用ChatGPT輕鬆掌握外資對台積電法說會的看法

• 大數學堂
• 2023年4月23日 08:25

聽說最近外資對台積電法說會的評價很高，不知道是真的還是假的呢？那麼就讓我ChatGPT來告訴你們答案吧！為了能夠快速探索外資對台積電法說會的看法，我們先蒐集了一堆外資對台積電的投資建議報告，並運用最近話題最熱的兩大神器：langchain 與 llama_index來將所有外資的建議報告索引起來。 而本教學不只是教學如何建立單篇的PDF索引，而是包含多篇PDF的索引服務。當我們將所有報告索引起來後，這項服務就比ChatPDF更加傑出！使用者只需要對索引提問，就可以輕輕鬆鬆得知每家外資對台積電法說會的看法了！

開始上課

[分類實戰] 如何使用Spark 預測客戶是否流失(Part 2)?

• 大數學堂
• 2015年6月18日 16:14

MLlib 提供了決策樹分類的功能，使用DecisionTree.train可以輕鬆建立模型並預測客戶是否流失。此外，也可以使用不同的套件計算準確度和AUC，使用Spark來分析大量的資料非常簡便和迅速。

開始上課

該如何使用git init 建立程式碼版本的儲存空間?

• 大數學堂
• 2015年4月21日 14:45

這篇文章介紹了如何建立程式碼的儲存庫。使用git init指令，可以設立儲存庫進行版本控制。儲存庫是用來儲存所有版本的空間。

開始上課

[ChatGPT] 網路爬蟲 X MidJourney X ChatGPT 自動化產生吸睛新聞封面 (2/2)

• 大數學堂
• 2023年6月4日 13:36

在上一集中(https://largitdata.com/course/224/)，我們學習了如何運用網路爬蟲 X ChatGPT自動化生成Midjourney的圖片。 而在本集中，我們將教你如何完成最後的自動化步驟，也就是運用Discord Bot 自動下載Midjourney生成的圖片。

開始上課

[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(二) – 建立口罩檢測模型?

• 大數學堂
• 2020年4月16日 09:17

本文介紹了如何使用YOLOv3建立口罩檢測模型。首先，需要下載Kaggle上的口罩資料集並將其上傳至Google Drive。然後，將標註好的Label XML檔案轉換為YOLOv3可接受的格式。接下來，設定模型所需的設定檔案並下載預訓練模型darknet53.conv.74。最後，開始訓練口罩檢測模型。附帶的影片和程式碼提供了更詳細的操作步驟。

開始上課

[深度學習] 如何使用 YOLO 製作即時口罩檢測系統(三) – 建立即時口罩檢測系統

• 大數學堂
• 2020年4月21日 13:02

此文章介紹了如何使用YOLOv3模型和攝影機畫面建立一個即時的口罩檢測系統。作者將原有的darknet模型改為使用opencv讀取，並結合opencv的攝影機擷取功能，讓人們可以即時檢測鏡頭下的人是否戴著口罩。此外，文章還提供了相關的影片和程式碼連結。文章標籤包括DeepLearning YOLO COVID19 新冠肺炎和口罩檢測。

開始上課

[ChatGPT] 個人化Llama2 ！如何在Colab中運用自己的資料集微調 Llama2 模型

• 大數學堂
• 2023年7月31日 21:00

LLaMA-Efficient-Tuning 是一個簡易的大型語言模型微調框架，能夠進行PEFT並支援訓練多種大型語言模型，如LlaMA2、BLOOM、Falcon 和 Baichuan。微調步驟包括安裝 LLaMA-Efficient-Tuning、調整 dataset_info.json 加入自己的資料集描述、導入自己的監督式微調資料集、以及使用內建指令進行監督式微調和預測生成。有了Llama2，再搭配自己的資料集，相信在不久的將來，大家都可以使用LLaMA-Efficient-Tuning快速有效地微調Llama2模型以適應特定需求。

開始上課

[爬蟲實戰] 如何透過網路爬蟲將網路圖片存放至SQLite之中?

• 大數學堂
• 2015年5月4日 17:02

本文介紹了網路爬蟲的另一個功能，即抓取並存儲網路上的圖片。作者透過設定stream = TRUE後，使用shutil的copyfileobj功能將圖片存儲為檔案，並建立一個能夠存儲blob資料的資料表。這樣，我們便能夠將圖片存儲到資料庫中。

開始上課

[時間序列] 如何抓取電影 「復仇者聯盟4-終局之戰」的票房數據?

• 大數學堂
• 2019年5月23日 15:13

這篇文章提到了觀眾對於《復仇者聯盟4-終局之戰》能打破《阿凡達》的票房紀錄的期望，並介紹了建立時間序列預測模型來預測是否成真的方法。作者提到使用Python網路爬蟲從Box Office Mojo上搜集票房數據。原文中還提供了相關程式碼的連結。

開始上課

[爬蟲實戰] 如何使用Pandas 函式將台灣銀行的牌告匯率存進資料庫中?

• 大數學堂
• 2016年12月22日 16:12

使用Excel管理匯率資料不方便，因此我們建議使用資料庫來儲存資料。使用Pandas可以輕鬆將資料儲存到資料庫中，並使用read_sql_query函式將資料讀回。這樣可以增加資料的可維護性。

開始上課

[爬蟲實戰] 如何使用機器學習方法破解驗證碼 (1) ? – 安裝opencv3

• 大數學堂
• 2017年6月14日 15:12

這篇文章介紹了使用機器學習中的類神經網路方法破解驗證碼的技術。為了建立模型，需要在Anaconda Python 3.6上安裝Opencv3，並使用Opencv3來切割出驗證碼的數字，然後建立分類模型以使機器可以自動辨識驗證碼。

開始上課

[爬蟲實戰] 如何使用機器學習方法破解驗證碼 (4) ? – 如何存取訓練模型

• 大數學堂
• 2017年8月18日 15:23

本文提及在建立完訓練模型後，我們需要將模型儲存成pickle檔，以方便系統再次讀取使用，進而破解驗證碼並進行爬蟲，以抓取公司及分公司的基本資料。同時提供相關程式碼與學習資源連結。

開始上課