1、评估模型
在机器学习中，我们创建模型来预测某些事件的结果，就像在上一章中了解重量和发动机尺寸时，我们预测了汽车的二氧化碳排放量一样。
要衡量模型是否足够好，我们可以使用一种称为训练/测试的方法。
2、训练/测试
训练/测试是一种测量模型准确性的方法。
之所以称为“训练/测试”，是因为将数据集分为两组：训练集和测试集。
80％用于培训，20％用于测试。
可以使用训练集来训练模型。
可以使用测试集来测试模型。
训练模型意味着创建模型。测试模型意味着测试模型的准确性。
3、以数据集为开端
从要测试的数据集开始。
我们的数据集说明了商店中的100位客户及其购物习惯。
例如：
x轴代表购买前的分钟数。 y轴表示在购买上花费的金额。
import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
plt.scatter(x, y)
plt.show()Result:
4、分成Train/Test
训练集应该是原始数据的80％的随机选择。
测试集应为剩余的20％。
train_x = x[:80]
train_y = y[:80]
test_y = y[80:]5、显示训练集
显示与训练集相同的散点图：
例如：
它看起来像原始数据集，因此似乎是一个不错的选择：运行示例»
plt.scatter(train_x, train_y) plt.show()
Result:
6、显示测试集
为确保测试集没有完全不同，我们还将介绍一下测试集。
例如：
测试集也看起来像原始数据集：运行示例»
plt.scatter(test_x, test_y) plt.show()
Result:
7、拟合数据集
数据集是什么样的？我认为最合适的方法是多项式回归，因此让我们画一条多项式回归线。
为了通过数据点画一条线，我们使用matplotlib模块的plot()方法：
例如：
通过数据点绘制多项式回归线：
import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]
mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
myline = numpy.linspace(0, 6, 100)
plt.scatter(train_x, train_y)
plt.plot(myline, mymodel(myline))
plt.show()Result:
该结果可以支持我对数据集拟合多项式回归的建议，即使如果我们尝试预测数据集之外的值也会给我们带来一些奇怪的结果。
示例：该行表明某位顾客在商店购物6分钟，将获得一笔价值200的购物。这可能是过拟合的迹象。
但是R平方分数呢？ R平方得分很好地指示了我的数据集对模型的拟合程度。
8、R2
还记得R2，也称为R平方(R-squared)吗？
它测量x轴和y轴之间的关系，取值范围为0到1，其中0表示没有关系，而1表示完全相关。
sklearn模块有一个称为r2_score()的方法，该方法将帮助我们找到这种关系。
在这种情况下，我们要衡量客户停留在商店的时间与他们花费多少钱之间的关系。
例如：
我的训练数据在多项式回归中的拟合度如何？
import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]
mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
r2 = r2_score(train_y, mymodel(train_x))
print(r2)注意：结果0.799显示存在OK关系。
9、产生测试集
现在，至少在训练数据方面，我们已经建立了一个可以的模型。
现在，我们也要使用测试数据来测试模型，以查看是否给出相同的结果。
例如：
让我们在使用测试数据时找到R2分数：
import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)
x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x
train_x = x[:80]
train_y = y[:80]
test_x = x[80:]
test_y = y[80:]
mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))
r2 = r2_score(test_y, mymodel(test_x))
print(r2)注意：结果0.809表明该模型也适合测试集，我们相信我们可以使用该模型预测未来价值。
10、预测值
现在我们已经确定我们的模型是正确的，我们可以开始预测新值了。
例如：
如果购买客户在商店中停留5分钟，他/她将花费多少钱？
print(mymodel(5))该示例预测客户花费了22.88美元，似乎与图表相对应：