llamacpp修了一周才跑的起來，不然原本bug超多
這個權重大小主要跟Qwen3.5比較
優點
- 文筆很好，有claude sonnet等級，特別是成人場景
- 無審查，雖然說明檔花了1/3篇幅在吹它的安全設施，但實際運行根本沒在擋
缺點
- 上下文佔的記憶體太多，不確定是不是llamacpp的bug
- 邏輯能力確實不如qwen3.5
我沒試寫程式，但非sota模型根本不用試這塊
想用來瑟瑟的話蠻推薦的
另外還有個不知道該放在優點還是缺點的內容：
https://i.meee.com.tw/pc0XTEd.png
https://i.meee.com.tw/2scO5NI.png
https://i.meee.com.tw/vWj9mqO.png
好好笑 口爛欸

gemini不是差不多口ㄇ

就是要這樣

是用多少B的model?我電腦只跑得動E4B

我用26b-a4b，我的顯卡也裝不下，我是offload到cpu，也就是用ram裝模型，跑Q4量化只要16GB的ram，MOE架構很適合這樣跑，速度大約~40tps。