※ 引述《pchooooome (千石ユノ的胎盤)》之銘言：
: 挖草
: 肥肥電腦可以跑出30+ tokens/s欸
: strata這專案好猛毆:OOO
: 肥肥128G DRAM還好早買 賺爛了
: 跑IQ3_XXS版
挖草
最新v0.1.31版
單卡2080ti 22G
改跑iq3_s
prefill 650-800t/s
decode 35-50t/s
這狗屎配置真的可以用捏
這專案好噁心喔喔喔喔喔
Context 256k
KV cache 8-bit
MTP drafts up to 3 tokens
Images off