1、SciPy优化器
优化器是SciPy中定义的一组过程，它们可以找到函数的最小值或方程式的根。
2、优化函数
本质上，机器学习中的所有算法不过是一个复杂的方程式，需要借助给定的数据将其最小化。
3、方程的根
NumPy能够找到多项式和线性方程式的根，但无法找到非线性方程式的根，如下所示：
x + cos(x)
为此，可以使用SciPy的optimize.root函数。
此函数接受两个必需的参数：
fun-表示方程的函数。
x0-根的初始猜测。
该函数返回一个对象，其中包含有关解决方案的信息。
实际的解决方案在返回对象的属性x下给出：
例如：
找出等式的根x + cos(x)：
from scipy.optimize import root
from math import cos
def eqn(x):
return x + cos(x)
myroot = root(eqn, 0)
print(myroot.x)注意：返回的对象具有有关解决方案的更多信息。
例如：
打印有关解决方案的所有信息（而不仅仅是根的x）
print(myroot)
4、函数最小化
在此，函数代表曲线，曲线具有高点和低点。
高点称为最大值。
低点称为极小值。
整个曲线中的最高点称为全局最大值，而其余曲线称为局部最大值。
整个曲线的最低点称为全局最小值，而其余曲线称为局部最小值。
5、找到最小值
我们可以使用scipy.optimize.minimize()函数来最小化该函数。
minimize()函数采用以下参数：
fun-表示方程的函数。
x0-根的初始猜测。
方法-要使用的方法的名称。 合法值：'CG''BFGS''Newton-CG''L-BFGS-B''TNC''COBYLA''SLSQP'
callback-每次优化迭代后调用的函数。
options-定义额外参数的字典：
{
"disp": boolean - print detailed description
"gtol": number - the tolerance of the error
}
例如：
使用BFGS最小化函数x ^ 2 + x + 2：
from scipy.optimize import minimize
def eqn(x):
return x**2 + x + 2
mymin = minimize(eqn, 0, method='BFGS')
print(mymin)