Python 机器学习 逻辑回归算法

1、理解逻辑回归

逻辑回归建立在线性回归之上。在线性回归中，模型预测的是一个连续的数值。而在逻辑回归中，线性回归的输出被输入到Sigmoid函数中，用于预测某个类别的概率。Sigmoid函数是一个S形的曲线，它将任意实数映射到(0, 1)区间，适合用来表达概率。

逻辑回归广泛应用于各种二分类问题，如垃圾邮件检测、疾病诊断、客户流失预测等。它的优点是模型简单、易于实现、计算效率高，而且输出的是概率值，这对于许多需要概率解释的应用非常有用。

2、scikit-learn

scikit-learn 是 Python 中一个强大的机器学习库，它提供了各种常用机器学习算法的简单易用的实现。使用 scikit-learn，可以快速进行数据预处理、模型训练、评估和预测，从而进行有效的机器学习分析。scikit-learn库提供了简单易用的逻辑回归实现，可以用来处理二分类和多分类问题。

1）安装命令

pip install scikit-learn

2）导入所需模块

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

3、数据集

乳腺癌数据集包含了569个样本，每个样本有30个特征。这些特征是从数字化图像中计算出来的，用于描述图像中的细胞核的特点，目标是预测肿瘤是良性还是恶性。Python 的 scikit-learn 库中，可以直接加载并使用这个数据集。通常用于二分类问题，它包含了乳腺癌肿瘤的特征和肿瘤是良性还是恶性的标签。

乳腺癌数据集的特征：

使用 scikit-learn 加载乳腺癌数据集代码如下，

from sklearn.datasets import load_breast_cancer

# 加载乳腺癌数据集
data = load_breast_cancer()

# 输出数据集的描述
print(data.DESCR)

# 获取特征和目标变量
X, y = data.data, data.target

# 输出特征名称和标签名称
print("Feature names:", data.feature_names)
print("Target names:", data.target_names)

# 输出数据集的形状
print("Shape of X (features):", X.shape)
print("Shape of y (target):", y.shape)

Wine数据集是对意大利同一地区种植的三种不同品种的酒进行化学分析的结果，包含了178个样本，每个样本有13个特征。这些特征是从酒的化学成分分析中得到的，目标是根据化学分析预测酒的品种。Python 的 scikit-learn 库中，可以直接加载并使用这个数据集。常用于分类问题的数据集，其中包含了三种不同来源的葡萄酒的化学成分分析结果。

Wine数据集的特征：

使用 scikit-learn 加载Wine数据集代码如下，

from sklearn.datasets import load_wine

# 加载Wine数据集
wine = load_wine()

# 输出数据集概述
data_summary = {
    'feature_names': wine.feature_names,
    'target_names': wine.target_names,
    'data_shape': wine.data.shape,
    'target_shape': wine.target.shape
}

print(data_summary)

4、划分数据集

使用train_test_split函数将数据集划分为训练集和测试集，train_test_split函数是Scikit-Learn库中一个非常重要的工具。常用参数如下，

使用代码：

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

# 加载乳腺癌数据集
data = load_breast_cancer()
X = data.data
y = data.target

# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

# 输出分割结果
print("训练集样本数量:", X_train.shape[0])
print("测试集样本数量:", X_test.shape[0])
print("训练集中每类的样本比例:", [sum(y_train == i) for i in range(len(data.target_names))])
print("测试集中每类的样本比例:", [sum(y_test == i) for i in range(len(data.target_names))])

5、训练逻辑回归模型

Python中使用scikit-learn库训练逻辑回归模型是一种常见的机器学习任务。逻辑回归通常用于分类问题，特别是二分类问题。LogisticRegression类是用于训练逻辑回归模型的。它适用于二分类和多分类问题，并提供了广泛的参数来调整模型。常用参数如下，

使用代码：

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# 加载乳腺癌数据集
data = load_breast_cancer()
X, y = data.data, data.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建逻辑回归模型实例
# 使用L2正则化，'lbfgs'求解器，增加最大迭代次数以确保收敛
log_reg = LogisticRegression(penalty='l2', C=1.0, solver='lbfgs', max_iter=5000, random_state=42)

# 训练模型
log_reg.fit(X_train, y_train)

# 使用模型进行预测
y_pred = log_reg.predict(X_test)

# 计算并打印准确率
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy on the breast cancer dataset: {:.2f}%".format(accuracy * 100))