QQ先 disclaimer 一下。
剛剛把自己寫的廢文丟給 GPT 校稿，以下是校稿後的版本。
這篇講得蠻好的。
針對inference寫點補充
inference 並不代表 NVIDIA
就會失去優勢，
我反而認為它目前仍然是
最大的受益者，
至少短中期如此。
原因有幾個：
第一，
CUDA 生態系的護城河，
比很多人想像的大得多。
現在幾乎所有主流
inference optimization，
都是先支援 CUDA。
例如：
vLLM
SGLang
TensorRT-LLM
FlashAttention
DeepEP
NCCL
CUTLASS
這些幾乎都是圍繞
CUDA 生態發展。
尤其 vLLM，
目前 GitHub 已經超過
6 萬顆 Stars，
是目前 LLM inference
最主流的 serving framework。
SGLang 近一年成長也非常快，
GitHub 也已經累積
萬級以上 Stars。
兩者最成熟、
效能最好的 backend，
都仍然是 NVIDIA GPU。
AMD ROCm、
Google TPU、
Intel Gaudi
並不是不能跑，
而是整個開源社群、
最佳化工具、
除錯經驗、
以及第三方套件，
都還遠遠比不上 CUDA。
真正做 production inference
的團隊，
會知道 migration 的成本，
其實非常高。
現在所有垂直AI 應用層 都是用上面框架去優化老黃GPU搭配自家模型
第二，
大規模 Data Center
的系統能力，
目前 NVIDIA
仍然領先。
單張 GPU
已經不是重點。
真正困難的是：
幾百到幾千張 GPU 的互連
NVLink / NVSwitch
Collective Communication（NCCL）
機櫃散熱
Power Delivery
Burn-in、Pressure Test
長時間穩定運行
這些不是只賣晶片，
而是整個 AI Factory。
目前真正能把
數千張 GPU
做到高利用率、
穩定運作，
並提供完整
軟硬體解決方案的，
NVIDIA
仍然是最成熟的玩家。
所以我比較同意的是：
Training 的黃金年代
可能正在結束，
但 Inference 的黃金年代，
才剛開始。
只是 NVIDIA 的優勢，
已經不是只有 CUDA，
而是整個
software + networking +
systems + datacenter integration
的完整生態。
至於記憶體，
我也認同需求
還會繼續增加。
只是如果未來 Frontier Lab
不再用「軍備競賽」的方式
瘋狂搶產能，
而是由擁有大量 RPO
（Remaining Performance Obligations）
的 CSP（Cloud Service Provider）
依照實際需求採購，
那麼 HBM 的供需
仍然會很強，
但過去那種因為恐慌
而產生的溢價，
確實有可能
逐漸收斂。
反而像台積電，
我認為受影響
相對較小。
不管是 pre-training、
post-training，
還是 inference，
大部分高階 AI Accelerator
最終還是要依賴
先進製程。
AI 算力需求
即使從 training
轉向 inference，
本質上仍然離不開
台積電。
因此如果市場
因情緒一起修正，
台積電反而可能是
受錯殺程度
較高的一方。
※ 引述《breathair (拆了？簡單了)》之銘言：
: ※ 引述《soga0806 (巴歐薩給路嘎)》之銘言：
: : 如題
: : 七巨頭不是狂支出砸基建嗎
: : 怎麼不到一個月
: : Meta跳出來說算力過剩
: : 還可以租給別人了
: : 真的假的啊？
: : 鏟子股天花板快到極限了嗎
: :

好文同感

錯殺也是殺 把貪狗洗下車

GPT是吃到誰的廢文風 還是因為廢文太多被訓練成這樣