Re: [討論] 大家會擔心 ai 寫 code 讓工程師飯碗不

作者: AmosYang (泛用人型編碼器)   2024-11-02 10:14:10
※ 引述《angus850503 (安格斯)》之銘言:
: 不過之前就一直對生成式 AI 有個疑問
: 就是"幻覺"到底有沒有根本上的解決方法?
目前還沒人能證明「有」,也還沒人能證明「沒有」。
有興趣的話可以追蹤這個「 LLM 幻覺排行榜」:
* https://github.com/vectara/hallucination-leaderboard/
* HN 相關討論: https://news.ycombinator.com/item?id=38286761
有興趣可以翻翻這排行榜的 Git 歷史,看看各 LLM 的進化歷程。然而,這排行
榜的評鑑方式也是公開的,各 LLM 也有可能 (不自覺地) 針對這類評鑑方式去優
化,所以這些資料只能做為參考。
作者: angus850503 (小綠小帽)   2024-11-02 10:23:00
Cool 感謝提供網站
作者: shortoneal (不告訴你咧)   2024-11-02 19:21:00
竟然還有這種榜
作者: abc21086999 (呵呵)   2024-11-03 01:42:00
我記得昨天才在Reddit上面的OpenAI AMA串看到誰回覆說幻覺很難解決,因為人類也是有同樣的狀況
作者: gino0717 (gino0717)   2024-11-03 01:46:00
雲觀眾也是一種幻覺
作者: abc21086999 (呵呵)   2024-11-03 01:49:00
作者: angus850503 (小綠小帽)   2024-11-03 13:30:00
這就是我想詢問的 幻覺沒解決 AI的下一步到底在哪
作者: DrTech (竹科管理處網軍研發人員)   2024-11-03 15:41:00
幻覺為什麼一定要解決才能做AI產生生產力?不用解決也可以啊。不是所有任務都要靠LLM生成不可靠的資訊。例如很多人做RAG+QA問答,都無腦用搜候選結果,然後用LLM生成最後答案,當然一堆幻覺。架構上改成拿LLM當選擇器,或限定nexttokens,只能輸出選擇1.2.3.4。在多個答案裡面挑一個,最後靠程式輸出完全沒關鍵的答案。立刻解決幻覺問題。LLM當特定task模組(不要拿來當最後輸出結果),結合傳統NLP各種解決方案,任何一個功能任務,都可以"完全沒幻覺",能力又比傳統NLP強很多。
作者: neo5277 (I am an agent of chaos)   2024-11-03 16:33:00
樓上這個有專有名詞叫做rerank 我開發系統時有設計
作者: Chinwei8562   2024-11-04 14:22:00

Links booklink

Contact Us: admin [ a t ] ucptt.com