[閒聊] 現在桌機本地ai好強喔

作者: h0103661 (路人喵)   2026-03-13 08:36:38
玩了上周出的qwen3.5 9b
跑Q4量化用50卡的blackwell可以跑100+tps
跑分超過GPT-120b
還內建多模態
可以陪你看本子
而且從零安裝不用一分鐘
想想一年前個人電腦只有不會組json的Gemma跟中文0分的llama
==
作者: pchooooome (匹西吼~~~~~~~~~~~~~~~~~)   2026-03-13 08:39:00
肥肥裝27b 跟32b a3b,覺得嗄嗄頂35b a3b
作者: Wardyal (Wardyal)   2026-03-13 08:41:00
請你給我SOP 我要玩玩看
作者: h0103661 (路人喵)   2026-03-13 08:45:00
下載LM Studio,在模型搜尋下載 HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive 這是無審查版本的,50卡選Q4_K_M量化版本可以跑很快,剩下都會自動處理好,很方便。上下文多大就看你要用多少顯存,2k~10k差不多,temperature建議低點比如0.6。如果覺得9b太肥還有4b的,至於2b太白癡不推薦。
作者: Wardyal (Wardyal)   2026-03-13 09:10:00

Links booklink

Contact Us: admin [ a t ] ucptt.com