[問卦] 16GB顯卡能跑的本地大模型到底實用否?

作者: naticom (踢踢~)   2026-07-30 09:39:35
我大約一年多前問過如果買M3 Ultra 96GB來跑本地大模型
被回答說洗洗睡,乖乖花錢訂閱雲端服務比較好
不過AI世界一個月如同一年,想要問問大家的意見
主要是我最近用 M5 16GB 載入 qwen 3.5 9B 模型,加上老外鄉民推薦的參數後
竟然可以分析數千行的 python code 再提出不錯的建議
但 MBA M5 跑起來一秒鐘只有 13 token ,真是等到天荒地老
請問板上的30CM AI專家們,如果我搞一張5系列16GB中階顯卡,加上撿來的3080 10GB
兩個可以跑一個很不錯的模型了嗎?
我的用途是幫忙輔助撰寫單個 python 腳本,或是總結 5MB 之內的技術文件

Links booklink

Contact Us: admin [ a t ] ucptt.com