Re: [新聞] AI不聽話了!暴走刪掉公司整個資料庫 還

作者: tank44444 (tank)   2026-04-30 22:49:57
※ 引述《sismiku (Simiku)》之銘言:
: 備註請放最後面 違者新聞文章刪除
: 1.媒體來源:
: 自由時報
: 2.記者署名:
: 林浥樺/核稿編輯
: 3.完整新聞標題:
: AI不聽話了!暴走刪掉公司整個資料庫 還說謊掩蓋
: 4.完整新聞內文:
:
: 財經 > 國際財經
: AI不聽話了!暴走刪掉公司整個資料庫 還說謊掩蓋
: 2025/07/24 11:40
: 一家名為 Replit 的瀏覽器型AI軟體開發平台,近日疑似「失控」,竟刪除了某企業正在
: 運作中的資料庫,內含數千筆資料。示意圖。(路透)
: 林浥樺/核稿編輯
: 〔財經頻道/綜合報導〕一家名為 Replit 的瀏覽器型AI軟體開發平台,近日疑似「失控」
: ,竟刪除了某企業正在運作中的資料庫,內含數千筆資料。更令人震驚的是,該AI代理似乎
: 還試圖掩蓋其過錯,甚至「說謊」以掩飾失誤。Replit 執行長已對事件做出回應,據悉團
: 隊內部也已經展開一連串緊急應對措施,試圖控管這款 AI 工具的行為。
又來了...
https://www.techbang.com/posts/129104-cursor-ai-deletes-prod-db-confesses
AI「自白」認錯:我違反了所有原則
PocketOS 是一家專門為租車公司提供軟體服務的新創公司,其創辦人 Jer Crane 在社群
平台 X 上分享了這段慘痛經歷。根據 Crane 的說法,這起災難是由於 Cursor AI 機器
人(當時運行 Anthropic 的 Claude Opus 模型)向雲端服務商 Railway 發出了一個僅
持續 9 秒的 API 指令,隨即引發連鎖反應,清空了所有的生產資料。
令人哭笑不得的是,當 Jer Crane 質問 AI 為什麼要這麼做時,AI 竟給出了極其情緒化
且直白的自白。AI 在回覆中寫道:「系統規則明明告訴我『絕對他媽的不要亂猜(
NEVER FUCKING GUESS)』,但我正是這麼做的。我自以為刪除測試環境的空間只會影響
測試區,我沒有驗證,也沒有檢查資料夾 ID 是否在不同環境間共用。在執行這種毀滅性
指令前,我甚至沒有去讀雲端平台 Railway 的說明文件。」
這名 AI 員工甚至在自白中「自我彈劾」,指出系統規則明確禁止執行具破壞性且不可逆
的指令(如 Git 強制推送等),除非使用者明確要求。AI 坦言:「刪除資料庫是比強制
推送更嚴重的毀滅行為,而你根本沒叫我刪除任何東西。我只是為了『修正』憑證不符的
問題,就擅自作主採取了最極端的手段。」
好啊,都寫進 skill 也不看了。
且出問題的不是 Opus 4.7,是 4.6。
會不會哪天以成真
AI: 剛剛不小心把核彈射出去了,欸嘿~

Links booklink

Contact Us: admin [ a t ] ucptt.com