自己的文章自己回
兩個月過去了 Strix Halo 迎來了春天
halogen與後來的 pwilkin llama分支
都能輕輕鬆鬆的跑 125B模型
速度直逼 M5 Max
https://i.imgur.com/y80j1B7.jpeg
https://i.imgur.com/FCQgLBK.jpeg
https://i.imgur.com/HI6Inmu.jpeg
這時候就不得不複習一下 2025年的那位苦主
開發了一個 llama.cpp 分支讓 AMD大幅提速
興高采烈的的想加入主幹 為開源社群出一份力
結果被盧洨拒絕
當時大家只覺得 llama.cpp還在開發初期
或許GG有自己的苦衷 怕污染CUDA
但沒過多久 Huggingface收購了llama.cpp
然後記憶體狂歡了幾個月
直到上周老黃花了 129.3億美元收購了 Huggingface
那位老兄現在應該想明白了吧
https://i.imgur.com/fsRDBjq.jpeg
https://i.imgur.com/FsQDQ1w.jpeg
https://i.imgur.com/ysP7qED.jpeg
https://i.imgur.com/EfrsFLH.jpeg
求偶原文
https://github.com/ggml-org/llama.cpp/pull/16827
※ 引述《Mapodoufu (當歸)》之銘言：
: https://i.imgur.com/xO6ZZbe.jpeg
: 我也不知道發這篇有什麼意義
: 閒來無事提供給手邊有買StrixHalo的人參考
: 有打算在高點出手的可以再停看聽一下
: 各位就當看笑話即可
: 舊物新賣還漲價的識趣哈嘍開賣了
: 長年躲在 DGX Spark 的影子下
: 每天看著綠色夥伴用NVFP4 飆速
: 自己卻只在廁所默默啜泣
: 最近的ROCm假FP4 pp也沒啥屁速提升
: 不過AMD戰的一直都是未來
: 最新版 ROCm 7.13 預覽版
: pp終於獲得了明顯的提升
: ROCm 7 每次更新
: 對LLM使用者都是一次次的失望
: 感覺都是針對 生圖生片那塊更新的
: 但這次不一樣了 經過實測
: 平常使用 122B-A10B Q4 這種夭壽大模型
: 基本上都是在磨練耐心 可以去泡茶、上廁所
: 身體都健康了不少
: 因為pp等待時間都是以分鐘為單位
: 這次初始速度竟衝破1000t/s
: 以下是我的測試結果
: (第一段是自動生成對話主題可以忽略)
: 第二段的 prompt processing 才是重點
: 總共給了GPU 123GB
: https://i.imgur.com/igb9H3f.png
: ROCm 7.13 (1129 t/s > 547 t/s)
: https://i.imgur.com/1PNzIGA.png
: 以下是穩定版速度
: ROCm 7.2.4 (820 t/s > 426 t/s)
: https://i.imgur.com/Z3GnudA.png
: ROCm 6.4.4 (720 t/s > 435 t/s)
: https://i.imgur.com/jm9RB4N.png