[AI新聞] 用 ChatGPT 作弊的末日來臨?! OpenAI 推出AI 文章生成的殺手 AI-Text-Classifier
OpenAI於二零二三年二月一日發布AI-Text-Classifier,專門用於鑑別文章內容是否由人工智慧自動生成。該工具目前存在明顯限制:輸入文本需至少一千個字元、鑑別結果並非百分之百準確、經過人工編輯或翻譯的人工智慧文章可能被漏判,且主要針對成人英語內容進行訓練,對兒童文本及非英語語言的文本效果明顯較差。實際測試顯示,AI-Text-Classifier無法識別ChatGPT所生成的英文文章,而ZeroGPT、GPT2-Detector與Writer.com在相同測試中均表現更為出色。當文章經由DeepL翻譯成中文再翻譯回英文後,最終只有GPT2-Detector與ZeroGPT仍能正確鑑別出人工智慧生成內容。此測試揭示了人工智慧偵測工具的現實差距,也印證了反覆翻譯可作為規避偵測的有效手段。人工智慧生成內容的偵測技術如同防毒軟體對抗電腦病毒,技術攻防戰將持續升級演進。同時備妥多套偵測工具進行交叉比對,是目前最為有效且可靠的實務應對策略。
OpenAI 今天(2/1)發布了 AI-Text-Classifier,它可以用於鑑別人類和人工智慧寫的文本,而使用該鑑別工具也非常簡單,使用者只需輸入文字到畫面中,該工具就會標註該文本是否由人工智慧生成。
然而 OpenAI 也警告說該鑑別器並不完全可靠,目前的鑑別器有幾個限制:
1. 輸入文本需要至少有1000個字元(大約150-250個字)
2. 鑑別器並不是百分之百準確,常常會有誤判情況
3. 經過編輯的生成文本可以很容易避開鑑別器的檢測
4. 因為鑑別器主要是用成人寫的英語內容訓練而成的,該鑑別器很可能在判斷兒童文本和非英語文本時出錯
所以我們用英文生成內容做了幾個實驗,我們先將以下提問”Please use 1000 words to describe Tesla Inc” 輸入給 ChatGPT 請他先幫我們產生一篇 1,000字的文章,接者我們就將該文章輸入至 AI-Text-Classifier,看看結果如何?
AI-Text-Classifier 偵測不出AIGC 的文章
沒想到第一篇就失敗,連自己兒子都認不出來,看來要要完全防堵AI 生成文字還有一段路要走。接者我們來試試第二號選手 ZeroGPT
ZeroGPT 偵測出AIGC 的文章
ZeroGPT 竟然認出來了!比OpenAI 還準,可以給一個讚!
接下來測試 GPT2-Detector 與 Writer.com
GPT2-Detector 偵測出AIGC 的文章
Writer.com 也偵測的出AIGC 的文章
沒想到在所有選手裡面只有 AI-Text-Classifier 最漏氣。
接下來再做一個實驗,如果將產生出來的文章透過DeepL翻譯成中文,再翻譯回英文,上述這些鑑別器有辦法便認出哪些文章是 AI 產生的嗎?
DeepL 將文章翻譯過去後,再翻譯回來
AI-Text-Classifier 偵測不出AIGC 的文章
ZeroGPT 偵測出AIGC 的文章
GPT2-Detector 偵測出AIGC 的文章
Writer.com 偵測不出AIGC 的文章
最後只有 GPT2-Detector 與 ZeroGPT 可以偵測!這種一個做賊一個喊抓賊的場景像極了電腦病毒對上防毒軟體,相信不久的未來,AI 攻防戰的場景不久就會在網路世界上演,隨時手邊都要準備多套工具,才有辦法在攻防戰中無往不利。