Fw: [閒聊] Mac mini M5 Pro Local LLM 小玩心得

作者: gigayaya (gigayaya)   2026-10-04 23:58:28
※ [本文轉錄自 AI_Art 看板 #1gmdOU_V ]
作者: gigayaya (gigayaya) 看板: AI_Art
標題: [閒聊] Mac mini M5 Pro Local LLM 小玩心得
時間: Sun Oct 4 23:51:55 2026
前陣子買了新的mac mini打算來玩一下local llm, 過了一陣子有些心得想來分享一下
作者: mmmmO (幸福蟲mmmm*〞︶〝)   2025-07-26 01:40:00
靠 害我嚇到想說啥時有po文
作者: mmmmmO (天母柯比)   2025-07-26 01:42:00
嫩 我比你長一點
作者: Ommmmm (蟲蟲)   2025-07-26 01:43:00
靠北喔
作者: mmmmmO (天母柯比)   2025-07-26 01:51:00
69
作者: longlyeagle (長鷹寶寶實驗室)   2026-10-05 01:05:00
Nice
作者: sarstw   2026-10-05 01:42:00
推推
作者: NTHUlagka (拉卡)   2026-10-05 05:52:00
推
作者: jobintan (Robin Artemstein)   2026-10-05 10:59:00
本地端有個最大的優勢,就是無審查,這大家都懂的。
作者: MOONY135 (談無慾)   2026-10-05 18:08:00
其實你要用gemma那訂閱ollama一個月20鎂,換算Mac mini16G的價格來說可以隨便訂很多很多年了
作者: FreedomTrail (FreedomTrail)   2026-10-05 18:55:00
關起來真的比較安全
作者: jhjhs33504 ( )   2026-10-05 23:18:00
只要模型沒對齊就不可能有穩定的一天自然就需要關起來
作者: peter77 (peter77)   2026-10-06 09:06:00
推,原來Qwen 3.8 27B在M5 Pro 48GB能衝到那麼高,我才13-26,我一樣設備,也來試試看
作者: dani1992 (dani)   2026-10-06 09:27:00
雲端沒那麼快,opus5.5 71 tps, sonnet5.5 100左右有時候gpt sol只有20 tps
作者: justaID (快樂崇拜)   2026-10-06 10:16:00
推心得分享
作者: shortoneal (不告訴你咧)   2026-10-06 13:18:00
你那台確實是甜蜜點,我捏到M5Max大約27t/s,晚點來試試看splash,50t/s應該就很爽了,感謝分享
作者: gigayaya (gigayaya)   2026-10-06 14:16:00
Splash的確很扯很強 而且我覺得他們的方向是對的(為單一模型做特規最佳化而不是追求廣泛性的最佳化)
作者: shortoneal (不告訴你咧)   2026-10-06 16:47:00
好爽 27t/s => 76t/s,起飛囉
作者: mixegg321 (佛祖托夢叫我來ptt)   2026-10-06 20:33:00
m6最高32G 但頻寬跟m5pro差好多

Links booklink

Contact Us: admin [ a t ] ucptt.com