https://arxiv.org/pdf/2311.06374
1680年代艾薩克·牛頓發明牛頓法以尋找函數最小值
用函數的一階導數和二階導數構建二次泰勒近似
通過迭代計算二次方程最小值以逐步逼近函數最優解
人類用它解決優化問題如平衡投資組合的風險與回報、開發自動車視覺辨識系統。
此法收斂速度快（二次速率）且優於梯度下降法（線性速率）。
缺點是當起始點遠離真實最小值時可能失敗
19世紀俄國Pafnuty Chebyshev提出用三次方程近似卻無法處理多變量函數
2021年Yurii Nesterov解開如何用三次方程近似多變量函數但無法用在更高次方程
易於最小化的函數應具備單一谷底和平方和形式
普林斯頓大學的Amir Ali Ahmadi與學生Abraar Chaudhry和Jeffrey張為此使用半定規劃
微調泰勒近似使其同時滿足凸性和平方和特性又不偏離原始函數
新算法能以更少迭代次數逼近真實最小值且效率隨導數階數提升而增強
新算法計算成本仍高
而牛頓法每步計算成本較高但迭代次數少 總體效率高
另外梯度下降法因計算簡單
目前仍主導機器學習等領域
若未來計算技術進步降低每次迭代成本
新算法可能超越梯度下降法
Ahmadi預測10-20年後該算法可能在實踐中展現優勢