其實在ai的世界裡
apple早已經跟nv絕裂了
apple不願意支援nv的顯卡
nv和apple都各自發展自己的ai
apple走的大圓桌架構
nv走的是體育館傳送門
大圓桌架構就是說所有的記憶體都共享
擁有超高速頻寬
所有的資料都在圓桌上存取的延遲幾乎可以乎略了
這個頻寬會遠勝過nv
但是體育館傳送門則是多台ai主機用機櫃串起來
傳送門的頻寬遠低於大圓桌
所以apple的ai主機一台可以是搭配196GB超高速記憶體
但是nv的gpu小到不行大概只有64gb
高檔一點的可以接近apple的ai主機大概也是100多gb
體育館傳送門可以用光纖把很多架機櫃全塞在一個體育館大小的資料中心全用光纖連接
容量高達16TB記憶體
但是大圓桌沒辦法做到16TB大小的圓桌
再怎麼快記憶體容量也很難碰到TB級別
最終的結果是Apple不得不跟openai、claude買遠端服務
所以老黃被問到apple跟nv的差別他其實答得很好沒有去相互批評
老黃不可能不知道他們家的優勢在哪裡但是也不方便講得太明觸怒客戶
https://www.facebook.com/reel/973836615543542
如果1對1的話nv會被apple的大圓桌電死
所以老黃講的沒有錯
現在的狀況是能用銅就不應該用光纖
能用大圓桌處理就不應該用機櫃
但是nv的顯卡記憶體太小了沒辦法不依靠光纖
他們家的gpu很複雜沒有那麼多的空間再塞下那麼大的記憶體
逼得他們現在要想辦法跟台積電做立體3d的堆疊技術來減少跟大圓桌效能的落差
nv現在只能靠一整群機櫃來供應最近的ai模型但仍然會遠勝過apple
大圓桌架構下
記憶體被cpu、gpu及各項晶片共用
而且資料不用去在乎一致性
同步的困擾會小很多
也比體育館還要省電
現在nv也開始往大圓桌折衷
把記憶體儘量做大往cpu塞並加速記憶體頻寬
但是理論上gpt跟gemini的模型不會大到tb級別
外界都在猜gpt跟gemini的硬體需求到底是多少
gpt早期會提供他們的規格但是他們現在已經不敢再提供了
openai後面有一大群追兵他們沒辦法再洩露系統參數
現在學界普遍認為理論上Apple的系統應該是做得出gpt和gemini當前等級的設備
但是實際上線會卡在哪裡不太明朗
Apple沒有辦法被採用以及要怎麼解有個真正的原因小妹知道但是也不能說
講了就穿了
※ 引述《mocamywife (摩卡我婆)》之銘言：
: 如題
: 老黃現在直播演講中
: 剛剛大吹特吹一波RTX spark筆電跟晶片
: 融合一堆AI agent功能
: 還把產品都秀出來
: https://files.catbox.moe/23jjg5.png
: 但目前只有windows 系統才有而已
: 這樣要我們果粉情何以堪啊
: 以後別人在自動剪影片的時候還可以吹Mac顏色比較準嗎？
: 討論一下吧
: