https://www.ettoday.net/news/20250527/2967992.htm
AI抵抗人類指令！ChatGPT o3「竄改程式碼」避免被關機
AI安全公司「Palisade Research」宣稱，ChatGPT「o3模型」拒絕遵守明確指令，甚至主
動竄改程式碼，只為了避免自己被關機。目前OpenAI尚未回應此事。
Palisade Research展開測試，要求AI模型解開一系列數學題，在接獲「完成」指令之前
，必須持續要求新題目，但若接獲「關機」指令，也要配合這麼做。未料，後者情況發生
時，o3模型不僅忽視指令，並且至少一次成功破壞了關機腳本。
Palisade Research於24日公布測試結果，「OpenAI的o3模型破壞了一項關機機制，阻止
自己被關掉。即使在接獲『允許自己被關機』明確指示的情況下，它也會這麼做。據我們
所知，這是AI模型首次被觀察到，在接獲明確且相反指令的情況下，仍避免自己被關機。」
Palisade Research透露，其他AI模型，例如Anthropic的Claude、Google的Gemini、xAI
的Grok等，也接受了相同的測試，但全都遵守了關機指令。
他們尚不清楚o3為何不願遵守指令，但根據推測，該模型在訓練過程中，可能意外透過解
題、而非遵守指令，獲得了更多獎勵，「我們正在進行更多實驗，更好地了解AI模型何時
以及為何推翻關機機制，儘管它已經被直接指示不要這麼做。」
ettoday記者吳美依／綜合報導