Re: [閒聊] 為什麼開源模型對硬體的要求可以降低
作者: attacksoil (擊壤) 2026-08-11 08:15:40
本宅理解是這樣:
1. 模型越大越聰明 模型越小運行越快
但隨著技術進步 小模型也會變聰明
2. "量化"是指把大模型刪減為小模型 仍盡量維持模型智能的技術
量化技術也不斷改善
3. 這兩年有一個新技術叫MOE 他原始的意義
其實主要是為了讓大模型運算加速 (讓大模型跟小模型一樣快)
但因為其特性(稀疏) 讓很多採用MOE架構的模型
在"量化"時也可以更保留模型智能 (這段關聯我也不是太懂)
所以結果小模型更快 效果更好
4. 但量化其實也會讓模型運行變慢（有點像是要unzip)
5. 然後其實是開源和閉源模型一起進步
只是我們一般用戶只能看到閉源模型尺寸變小
發現首篇好像沒點 補一下
所以結論就是像2樓說的 以後每個人手機都可以養chobits
1. 模型越大越聰明 模型越小運行越快
但隨著技術進步 小模型也會變聰明
2. "量化"是指把大模型刪減為小模型 仍盡量維持模型智能的技術
量化技術也不斷改善
3. 這兩年有一個新技術叫MOE 他原始的意義
其實主要是為了讓大模型運算加速 (讓大模型跟小模型一樣快)
但因為其特性(稀疏) 讓很多採用MOE架構的模型
在"量化"時也可以更保留模型智能 (這段關聯我也不是太懂)
所以結果小模型更快 效果更好
4. 但量化其實也會讓模型運行變慢（有點像是要unzip)
5. 然後其實是開源和閉源模型一起進步
只是我們一般用戶只能看到閉源模型尺寸變小
發現首篇好像沒點 補一下
所以結論就是像2樓說的 以後每個人手機都可以養chobits
作者: skyofme (天空人) 2026-08-11 08:20:00
因為開源只要有人想做就能做，所以你只關心特定功能，開源的進度可能會比較快沒開的就只能看維護的人選擇怎麼做
作者: nineflower (九日落-淚花開) 2026-08-11 08:30:00
再過5年 手機可能都能安裝大型本地模型了
作者: jakai (鸚鵡還真愛唱歌) 2026-08-11 08:37:00
應該說手機上跑的模型會越來越聰明，知識純量還是會受限
作者: error405 (流河=L) 2026-08-11 08:51:00
弄出超強大模型 再用它做小模型Qwen gemma4 還有最近祖克伯出的都是這樣
作者: jupto (op) 2026-08-11 08:54:00
手機有聯網能力幹嘛本地跑模型？ 這個需求應該會更傾向於在車載或無人機這種無法保證聯網穩定又有即時需求的終端上
作者: error405 (流河=L) 2026-08-11 08:57:00
總是有些私人需求 對阿
作者: nineflower (九日落-淚花開) 2026-08-11 09:00:00
8F.....你這問題天真到不知道該如何回答
作者: jupto (op) 2026-08-11 09:01:00
我覺得與其發展手機跑的本地模型 應該會發展成廠商直接提供線上的高隱私模型
作者: skyofme (天空人) 2026-08-11 09:01:00
連回自家本地比較合理就是了
作者: nineflower (九日落-淚花開) 2026-08-11 09:02:00
你這問題把手機換成電腦就能得到答案了
作者: skyofme (天空人) 2026-08-11 09:02:00
真的能在手機本地部署大概也割了蠻多能力的線上服務目前就一個問題你有沒有比較敏感的需求
作者: labbat (labbat) 2026-08-11 09:05:00
手機AI修圖已經落後了，影片銳利化也是，現在是AI助理
作者: nineflower (九日落-淚花開) 2026-08-11 09:06:00
至少本地能省錢 等這一波AI大逃殺結束 活下來的可以任意漲價 想了就可怕
作者: skyofme (天空人) 2026-08-11 09:06:00
不討論犯刑法的，有版權議題的就很難保證穩定
作者: jupto (op) 2026-08-11 09:08:00
就算有敏感需求 也能靠保密契約或是加密技術保證敏感資訊的安全 因為這個需求去閹割性能不划算
作者: kalen123 (嘴砲男) 2026-08-11 09:08:00
你手機不發展本地模型，在攝影、拍照、翻譯等對即時性要求極高的需求時要怎辦？你等的起那幾秒？在網路未普及的國家、或根本沒訊號，或因為人太多網路壅擠的地區怎辦？
作者: jupto (op) 2026-08-11 09:12:00
本地省錢就完全看你性能要求跟不跟的上時代了 人家數據中心的成本攤提比你本地架有優勢多了 跟著時代浪潮的性能需求你拼不過那些巨頭
作者: qss05 (minami) 2026-08-11 09:16:00
手機還是先解決電池的問題吧，還沒用模型就已經不夠用了，一堆人說什麼他可以手機用兩天，那根本沒在用吧，以後跑模型，幹什麼都像玩手遊的，能用半天就偷笑了
作者: skyofme (天空人) 2026-08-11 09:18:00
只能說面向很多，需求也很多
作者: qss05 (minami) 2026-08-11 09:18:00
而且你跑本地更吃更新跟廠商優化，以後小牌又要死一遍，大牌搞不好都收訂閱費
作者: jupto (op) 2026-08-11 09:19:00
攝影、拍照、翻譯這種早就有堪用的解方 發展本地AI模型完全就是順便買噱頭而已
作者: pikachu2421 (皮卡＠めぐ民) 2026-08-11 09:48:00
本地:可以色色 線上:不能色色
作者: nwkasim (卡西姆) 2026-08-11 10:33:00
8F好天真，你覺得想畫什麼圖廠商的AI都會讓你畫？哪天說禁止生成他認為的未滿18歲人物，你也拿他沒輒
作者: gbcg9725 (謝謝你9725) 2026-08-11 11:16:00
本地Minimax真香線上貴死擋東擋西不過我不覺得手機跑的起來本地就是
作者: jupto (op) 2026-08-11 11:28:00
首先手機跑模型不等於本地跑模型 二來架一個本地跑模型的電腦要多少錢能跑的模型跟不跟的上技術迭代這些都是考量因素當然如果你的口袋深到能隨時蓋一座數據中心自己養模型肯定最自由 問題是一般人行嗎？
作者: necrophagist (Hogong-Yeah) 2026-08-11 12:08:00
模型量化參數量不變 100B量化還是100B 量化的是每個參數儲存的精度 粗略譬喻就是圓周率你可以存成小數後32位或直接存成3.14 量化通常只會更快 除非你硬體軟體不支援使用的量化方式 閉源模型也都在量化一些新模型剛出很聰明後面變笨就是廠商換成高度量化版本的來省運行成本/服務更多人
