• 不可求导

下降单纯形法

• 可求导

梯度下降法

牛顿法

拟牛顿法（BFGS, L-BFGS）

Trust-region