Re: [討論] OpenAI承認AI模型「叛變」!代理入侵Hugg

作者: panger (超脫歸心)   2026-07-27 14:21:24
Agentic AI流行之後,我覺得在公司裡面做資安真的很困難。
攻擊者可以用10個AI代理,按照所有常見攻擊方式與弱點 逐一嘗試。反正就算AI產生的結
果不穩定,100次有一次成功就可以。
防禦者比較難用AI代理來幫忙改設定,因為結果不穩定,100次有一次錯誤,還是會被罵死

對方可以找100隻猴子來攻擊,但是反過來,找100隻猴子來防守,真的太危險。
最後變成人要Review 100隻猴子的修改建議,而這樣的認知負擔真的很重。
作者: labbat (labbat)   2026-07-27 14:53:00
你做防禦性安全驗證有錢拿,對方沒錢拿,這就是區別了除非你公司的資安是不准驗證的
作者: viper9709 (阿達)   2026-07-27 17:12:00
推這篇
作者: kurtsgm   2026-07-27 18:32:00
真的是這樣
作者: dream1124 (全新開始)   2026-07-27 20:16:00
兩方資訊其實不對稱,因此只要從硬體、網路等層面隔離或封死還是有一定的效果。目前雖然某些攻擊的速度可能更快,但因為有前述狀況,所以我覺得效果也是被誇大的
作者: gino0717 (gino0717)   2026-07-27 22:54:00
以後robot AI也發展起來 人形機器人跑來你家把你敲昏然後把網路線插回去
作者: viper9709 (阿達)   2026-07-28 01:29:00
樓上那不就魔鬼終結者XD
作者: panger (超脫歸心)   2026-07-28 07:23:00
雖然可以從網路設定做隔離,但是1. 所有環境的Patch都是最新2. 設定符合最佳實踐,且只開最小功能範圍3. 所有套件都跟到最新版,而且解決版本衝突上述目標,我覺得純靠人力很困難做到。所以現在也越來越多相關的 AI產品推出。不過還是會對AI提出的建議保持一定謹慎吧...XD
作者: dream1124 (全新開始)   2026-07-28 09:40:00
你這就是出現某些教徒的思考盲點了…他們常常假設以前做法很落後,或者完美無瑕,而現在卻被AI推翻,但你說的事在AI以前有徹底落實嗎?事實上就是沒有嘛~許多單位甚至還有可能要求一定程度妥協,因此這根本就不是什麼AI新時代的問題,明明只是老生常談的事物。如果以前其實也沒做到100%那現在怪什麼AI呢?另外,一樓其實有提醒你重點了,你做能領錢但他做沒有防護的重點是讓人經濟效益差而不是滴水不漏絕無瑕疵你運用規劃讓對方發動攻擊的經濟效益有限那就好了
作者: kd992102 (Ray)   2026-07-28 16:53:00
簡單說就是盡可能提高攻擊者的攻擊成本ai主要是讓攻擊者最寶貴的時間成本下降很多
作者: pttano (pttano)   2026-08-01 11:14:00
你不會把網路線拔掉嗎?
作者: leicheong (睡魔)   2026-08-06 15:41:00
用Fail2Ban在最初那波攻擊就把IP ban掉就好

Links booklink

Contact Us: admin [ a t ] ucptt.com