要解釋的東西很多,
趁著長週末,
我就把為何inference 就是 DRAM+ASIC 這件事說明白,
尤其是MRVL
首先,
這是META 發表新的AI ASIC for inference,
ASIC+CXL+DDR4/DDR5
https://www.tomshardware.com/pc-components/dram/meta-fights-soaring-hardware-costs-by-reusing-old-ddr4-server-memory-in-new-ddr5-only-servers-custom-cxl-2-0-chip-marries-legacy-ddr4-2400-with-cutting-edge-ddr5-6400
這是Quqlcomm 發表新到AI ASIC for inference,
ASIC+DRAM+ near/in memory compute
https://www.tomshardware.com/tech-industry/artificial-intelligence/qualcomm-reveals-hbc-near-memory-ai-architecture-ai250-and-ai350-accelerators-touts-6x-higher-bandwidth-per-watt-compared-to-hbm-200x-capacity-compared-to-on-chip-sram
這是MRVL 跟谷歌聯合發表的MPU,
ASIC+CXL+DRAM+ near/in memory compute
https://www.semicone.com/article-432.html
其實,
這三顆很可能是同一顆晶片,
至少已經確定其中兩顆是同一顆晶片,
然後因為合約沒有鎖IP 跟專利,
所以這顆晶片已經賣到全世界幾乎每家公司都已經有solution了,
包含中國的阿里, 百度等公司,
這顆已經賣翻了,
這也代表整個 inference 產業已經從 GPU HBM,
轉型成為ASIC + CXL + DRAM + in memory compute,
這顆晶片從一開始就是為了解決LLM memory wall 而設計的,
又剛好非常適合inference 的使用模式,
再解釋就又要寫一堆,
而且又是無限引戰文,
我就直接告訴你整個業界現在就是這樣走
※ 引述《waitrop (嘴砲無雙)》之銘言：
: ※ 引述《maplefff (降息の恐怖嘎鱷)》之銘言：
: : 這要從兩個層面去分析當前現況: 模型層 和 雲基礎設施層
: : 如果只評估最能盈利的toB coding方向, 目前主要LLM提供商能力大致如下
: : Anthropic > OpenAI >>>> Gemini >= 中國模型 > grok, meta, others
: : 模型層營收開始出現顯著分化, 開始往兩超集中, 並且愈來愈集中的態勢
: : 模型商品化, 白菜化的敘事落空, 市場看法逐漸轉向並不是花大錢, 疊加算力
: : 就能得到前沿模型能力. 前沿LLM供應商保有足夠多的隱秘知識, 並逐漸壟斷市場
: : 這表示Anthropic, Open AI 營收增速高100%, 毛利率60%~高70%可能是可持續的
: : 能見度至少有半年, 並可能延長到1~2年以上
: : 模型層的高毛利使得模型供應商有能力支付高溢價購買算力
: : 所以高毛利會逐漸傳導到雲基礎設施供應商, 大幅改善4大CSP業者的現金流
: : 並繼續推動AI基礎設施的擴充
: : 這裡有幾個消息或資訊可以應證該推論
: : 1. AWS 7/1開始對EC2 ML服務直接漲價20%:
: : 這是既26年1月調漲15%, 最新一輪的漲價; 並且漲幅比之前更大, 年內累積漲幅達38%.
: : H100(P5)報價:
: : 1月前: ~$3.8/hr 1~6月:~$4.3/hr 7月: ~$5.2/hr
: : H200(P5e)報價：
: : 1月前: ~$4.3/hr 1~6月:~$5.0/hr 7月: ~$6.0/hr
: : B200(P6-B200)報價：
: : 1月前: NA 1~6月:~$10.3/hr 7月: ~$12.4/hr
: : 2. Vast.ai上的價格:
: : Vast.ai是目前市場上最大的P2P GPU租賃平台, 其代表的意義是GPU租賃地板價
: : 因為市場肯定是從: 四大CSP -> NeoCloud -> Vast.ai等另類平台
: : 這樣的順序去依序尋找算力，上一層價格太貴才會往下找, 所以價格對需求外溢
: : 的敏感度會非常高.
: : Vast.ai另外一個好處是價格是即時撮合出來並留有歷史季度
: : https://vast.ai/pricing/gpu/B200
: : 可以看到價格從1月開始逐步緩漲, 到5月矽谷開始Tokenmaxing狂潮,
: : 價格中價暴漲將近100%, 然後逐漸回歸理性, 但年內依然累積60%左右漲幅
: : 最後結論一下：總得來講LLM市場競爭正在逐漸去泡沫, 淘汰實力較弱的參與者
: : 並轉向合理的寡頭壟斷, 這使得LLM行業能保持合理毛利率, 並逐漸擴散到整體相關行業
: : 在模型層失利的廠商, 透過轉化現有GPU去基礎設施層改善現金流和資產價值
: : 是理性的雙贏選擇, 推論其為泡沫破裂的早期徵兆是嚴重滑坡
: : CSP, NV股價有被低估, 記憶體股價低得誇張, 可以攤平購買
: 先說結論,
: 算力還是很缺,
: 記憶體, 尤其是DRAM, 還是很缺
: 詳細原因,
: 我在幾個星期前有解釋過
: https://www.ptt.cc/bbs/Stock/M.1782458086.A.529.html
: 撇開不能說,
: 以及家醜不能外揚的部分,
: 可惜這部分才是最精彩的地方,
: 我說的都是我在業界現在正在看到的情況
: 從去年下半年開始,
: 尤其Gemini 追上 OpenAI Claude 之後,
: LLM 訓練部分已經不是瓶頸,
: 因為各家大模型現在訓練出來都差不多聰明,
: 沒有到差距很大,
: 如果你有感覺差距很大,
: 那是信仰的問題,
: 當然Claude 在 coding 這塊是真的強也真的好用,
: 這些就不多說, 會引戰
: 反正去年下半年之後,
: 主戰場就轉移到推理inference 上面,
: 也就是AI API token 等應用層面上,
: 而inference 推理市場是訓練市場的百倍千倍以上,
: 所以怎麼可能會算力過剩,
: 推理應用市場所需要的算力遠遠不足,
: 你看Gemini 現在的表現就知道推理的算力還是不足
: Meta 跟 xai 算力出租代表的是他們退出AI訓練競爭,
: 也就是退出AI 模型競爭,
: 轉型成為資料中心的包租公,
: 你就想成像是類似ORCL Corewave等公司的形式,
: 不開發模型, 單純出租算力
: 這不表示算力過剩,
: 只是表示他們退出AI模型競爭,
: 現在算力都用在推理inference,
: 用在每一筆AI API token,
: 也就是真正能生出錢的地方,
: 只要token 還有需求,
: 算力就會有需求
: 除了谷歌之外,
: 模型商跟CSP廠是各自有自己的算盤,
: 以CSP廠的角度, 包含Meta xai+cursor等,
: 他們的商業想法是,
: 如果以後每一個模型都差不多一樣聰明,
: 那麼真正有議價權跟控制權的是掌握算力的一方,
: 也就是CSP廠,
: cursor 套皮可以隨意轉換任何模型,
: CSP廠跟meta 等算力出租公司,
: 可以壓低模型價格可以用自己的算力去議價
: 在模型商的想法是相反,
: 如果模型商能出一個遙遙領先最聰明的模型, 甚至是AGI,
: 那麼有議價權跟控制權的是這個唯一的AGI 模型,
: 他們可以隨意轉換CSP廠壓低算力價格,
: 最好的例子就是OpenAI 怎麼去凹 微軟跟ORCL的算力
: 所以這很難說 誰會勝出,
: 你覺得以後會有唯一的AGI真神模型,
: 還是以後所有的模型都差不多一樣聰明的爛大街模型,
: 我沒有答案就是了
: Anyway, 扯遠了,
: 反正訓練模型只剩三家在玩,
: 但是inference 推理市場是百家爭鳴,
: 賣token 的是算力遠遠不足,
: 而其中,
: DRAM 對inference 的需求會遠高於HBM,
: ASIC 對inference 的需求會遠高於GPU,
: 這道理就是量大管飽,
: API token 要的就是量大管飽,
: 速度差一點沒關係
: 或者我們用生活上的例子來說明,
: 台北到高雄,
: 你可以選擇坐飛機, 坐高鐵, 坐台鐵,
: 開法拉利, 開Toyota,
: 甚至可以選擇坐統聯, 或是騎腳踏車一日雙城,
: 這跟你的乘客量還有票價有很大的相關性,
: inference 推理的API token 要的就是量大管飽,
: 每個token 的單價要壓到最低,
: 吞吐量要最大,
: 所以訓練是開法拉利, 推理是坐公車,
: 訓練是坐飛機, 推理是搭公車