[閒聊] 為什麼開源模型對硬體的要求可以降低 cake51640 PTT批踢踢實業坊

[閒聊] 為什麼開源模型對硬體的要求可以降低

作者: cake51640 (uuuu4ni) 2026-08-11 07:36:15

嗨嗨
阿肥在想
之前開源模型
可能都要16g 才能用
後來開始有8g能跑的版本
為什麼呢
有木有掛
分享分享

作者: syldsk (Iluvia) 2025-08-11 07:36:00

會有一堆人一直去改良啊

作者: ayuhb (ayuhb) 2026-08-11 07:42:00

因為跑不動的人會去改

作者: spfy (spfy) 2026-08-11 07:45:00

量化

作者: EXIONG (E雄) 2026-08-11 07:49:00

資本家不喜歡這種事

作者: Satoman (沙陀曼) 2026-08-11 07:49:00

gguf

作者: extemjin 2026-08-11 07:50:00

ACG點? 量化跟多模化，現在開源模型都趨向MOE，

作者: Xpwa563704ju (coolcookies) 2026-08-11 07:51:00

因為現在AI進步很快就三樓講得量化，模型有改小

作者: extemjin 2026-08-11 07:53:00

每次處理只需要載入部分，再爛的電腦都可以執行，差在快慢

作者: tsunamimk2 (我愛你我需要你) 2026-08-11 07:53:00

你說的是什麼模型啊開不開源都是因為有作量化壓縮但那個號稱能用其實沒算上context長度限制喔

作者: roger840410 (roger) 2026-08-11 07:56:00

市售車為什麼比F1省油？

作者: tsunamimk2 (我愛你我需要你) 2026-08-11 07:57:00

還有開不開源都是資本家養的因為模型本身沒啥好藏私本質上那就是一個超大的知識索引真正能賣的是前後處理工程的調教還有規模 16G vram能跑啊但context可能只有幾千字還要用上外在的輔助去記憶我自己家裡一張5070ti 16G 拿來推理與日常維護用短script生成稍微大的前處理要用上64GB 的Mac mini

作者: catmeat777 (多蘿喵) 2026-08-11 07:58:00

拉屎菌就很耗油啊

作者: tsunamimk2 (我愛你我需要你) 2026-08-11 07:59:00

真正的大文本整個專案還是要丟給Claude max pro才夠我還得自己搞pgvector做rag最近線代抽象代數都在複習就是為了這個LLM如果不是整個多層矩陣都載入vram 光是用上原始記憶體的資料搬移就會讓速度慢到無法接受了基本上不可能部分載入靠的是量化縮短單位資料量

作者: KyuubiKulama (九喇嘛) 2026-08-11 08:23:00

洽點

作者: nineflower (九日落-淚花開) 2026-08-11 08:28:00

第一沒點第二有AI版第三未來本地模型會像洛克人EXE一樣每個人的手機都有個人化AI

作者: jack90352 (jack90352) 2026-08-11 08:44:00

Acg 點在哪

作者: error405 (流河=L) 2026-08-11 08:52:00

有AI版...