【Python】使用scikit-learn做数据挖掘和分析

Scikit-learn，也被称为sklearn，是一个针对Python编程语言的免费软件机器学习库，是一个功能强大、易用且广泛应用的Python机器学习库，为数据科学家和开发者提供了丰富的工具和资源来进行机器学习任务的开发与实践。Scikit-learn起源于David Cournapeau的Google Summer of Code项目，名为scikits.learn。Scikit-learn

顽石九变

1907人浏览 · 2024-05-17 17:42:50

顽石九变 · 2024-05-17 17:42:50 发布

一、什么是scikit-learn

Scikit-learn，也被称为sklearn，是一个针对Python编程语言的免费软件机器学习库。以下是关于Scikit-learn的详细介绍：

基本信息与起源：

Scikit-learn起源于David Cournapeau的Google Summer of Code项目，名为scikits.learn。
项目的名称“SciKit”（SciPy工具包）源于它是SciPy的一个扩展，且是独立开发和分布的。
2010年，由法国国家信息与自动化研究所的开发者进行了重写，并做出了首次公开发行。

功能与算法：

Scikit-learn提供了各种分类、回归和聚类算法，包括支持向量机（SVM）、随机森林、梯度提升、k-均值和DBSCAN等。
它还包含特征工程和数据预处理工具，例如标准化、归一化、缺失值处理等。
提供了模型评估和选择的功能，包括多种模型评估指标和交叉验证方法。

集成与兼容性：

Scikit-learn设计用于与Python的数值科学库NumPy和SciPy联合使用。
它还与其他Python库（如matplotlib和plotly用于绘图，pandas用于数据处理）集成良好。

性能优化：

Scikit-learn主要是用Python编写的，并广泛使用NumPy进行高性能的线性代数和数组运算。
部分核心算法使用Cython编写以提高执行效率。

安装与要求：

安装Scikit-learn需要满足一定的环境要求，通常包括Python（版本>=2.7或>=3.3）、NumPy（版本>=1.8.2）和SciPy（版本>=0.13.3）。
安装可以通过pip进行：pip install -U scikit-learn。

学习资源：

Scikit-learn拥有官方文档，内容全面且简单易懂，适合初学者快速上手。
此外，还有活跃的社区和论坛，为用户提供支持和交流的平台。

版本历史：

自2010年第一个公开版本（v0.1 beta）发布以来，Scikit-learn已经历了多个版本的迭代更新。
最新的稳定版本可以在其官方网站或相关Python包管理平台上查看。

流行度与应用：

Scikit-learn是GitHub上最受欢迎的机器学习库之一，广泛应用于数据科学、机器学习、数据挖掘等领域。

总的来说，Scikit-learn是一个功能强大、易用且广泛应用的Python机器学习库，为数据科学家和开发者提供了丰富的工具和资源来进行机器学习任务的开发与实践。

二、使用scikit-learn的常见步骤

使用scikit-learn进行机器学习任务主要包括以下步骤：

数据准备：

在开始使用scikit-learn之前，需要准备好用于机器学习的数据。这通常包括数据清洗、特征选择等步骤。scikit-learn提供了一些工具来帮助处理这些任务，如sklearn.preprocessing模块中的数据缩放、归一化等功能。

数据预处理：

数据预处理是机器学习流程中的关键步骤，它涉及将数据转换为模型可以理解的格式。scikit-learn的preprocessing模块提供了多种数据预处理功能，如StandardScaler用于特征标准化，MinMaxScaler用于特征缩放等。

选择机器学习模型：

scikit-learn包含了大量的机器学习算法，如分类、回归、聚类等。用户需要根据具体任务选择合适的模型。例如，对于分类问题，可以选择LogisticRegression、RandomForestClassifier等；对于回归问题，可以选择LinearRegression、SVR等。

训练模型：

选择好模型后，需要使用训练数据对模型进行训练。这通常涉及将数据分为特征（X）和目标变量（y），然后使用模型的fit方法来训练模型。例如：model.fit(X_train, y_train)。

模型评估：

训练完成后，需要对模型进行评估以了解其性能。scikit-learn提供了多种评估指标和交叉验证技术。可以使用cross_val_score函数进行交叉验证，并使用accuracy_score、f1_score等指标来评估模型性能。

参数调优：

为了获得更好的模型性能，可能需要对模型的参数进行调优。scikit-learn提供了如网格搜索（GridSearchCV）等工具来帮助自动调整超参数，并找到最佳参数组合。

预测新数据：

一旦模型训练并调优完成，就可以使用它来预测新数据。这通常涉及使用模型的predict方法。例如：predictions = model.predict(X_test)。

数据可视化：

scikit-learn支持使用Matplotlib等库进行数据可视化。这有助于更好地理解数据分布、特征之间的关系以及模型的性能。

scikit-learn是一个功能强大的机器学习库，它提供了丰富的算法和工具来支持数据挖掘和数据分析任务。通过遵循上述步骤，用户可以有效地利用scikit-learn进行机器学习任务并取得良好的效果。

三、scikit-learn的主要应用场景

以下是scikit-learn的一些主要应用场景：

分类问题：scikit-learn提供了多种分类算法，如逻辑回归、支持向量机（SVM）、决策树、随机森林等，这些算法可以用于处理各种分类问题，如图像识别、垃圾邮件检测、情感分析等。
回归问题：对于需要预测连续值的问题，如股票价格预测、房价预测等，scikit-learn提供了线性回归、岭回归、Lasso回归等多种回归算法。
聚类问题：当需要将数据划分为不同的群组或类别时，可以使用scikit-learn的聚类算法，如K-means、谱聚类等。这些算法在市场细分、社交网络分析等场景中有广泛应用。
降维问题：当数据集的特征维度过高时，可以使用scikit-learn的降维算法，如主成分分析（PCA）、t-SNE等，以降低数据的复杂性并提取主要特征。这在图像处理、自然语言处理等领域非常有用。
模型选择和评估：scikit-learn提供了丰富的模型选择和评估工具，如交叉验证、网格搜索等，帮助用户选择最佳的模型和参数配置。这些工具在机器学习的整个流程中都起着关键作用。
数据预处理：scikit-learn还提供了多种数据预处理功能，如缺失值填充、标准化、归一化、编码等，以确保数据质量并提高模型性能。
文本挖掘：通过结合scikit-learn的文本特征提取方法（如TF-IDF、CountVectorizer等），可以处理文本数据，并进行文本分类、情感分析等任务。
异常检测：scikit-learn的异常检测方法（如孤立森林、局部异常因子等）可用于识别数据集中的异常值或离群点，这在金融欺诈检测、网络安全等领域具有重要应用价值。

四、scikit-learn提供了哪些算法模型

scikit-learn提供了丰富的算法模型，这些模型可以根据不同的任务进行分类。
以下是根据监督学习、无监督学习等类别分类的scikit-learn算法模型及其作用的简要说明：

参考

1、监督学习

分类算法：

逻辑回归（Logistic Regression）：用于二分类或多分类问题，通过逻辑函数将线性回归的输出转换为概率值。
支持向量机（SVM, Support Vector Machines）：用于分类和回归问题，通过在高维空间中寻找一个超平面来划分数据。
朴素贝叶斯（Naive Bayes）：基于贝叶斯定理的分类算法，适用于大规模数据集，并且常用于文本分类。
决策树（Decision Trees）：通过树状结构对数据进行分类或回归，易于理解和解释。
随机森林（Random Forests）：通过构建多棵决策树并结合它们的输出来提高预测精度和稳定性。
梯度提升树（Gradient Boosting Trees）：通过迭代地添加新的决策树来修正之前模型的错误，从而提升模型性能。
K近邻（KNN, K-Nearest Neighbors）：基于实例的学习算法，通过计算待分类样本与已知类别样本之间的距离来确定类别。

回归算法：

线性回归（Linear Regression）：通过拟合一个最佳直线或平面来预测目标变量的值，使得预测值与实际值之间的残差平方和最小。
岭回归（Ridge Regression）：通过引入L2正则化来解决线性回归中的多重共线性问题。
Lasso回归：通过引入L1正则化来实现特征选择和稀疏性。
ElasticNet回归：结合了岭回归和Lasso回归的特点，通过同时引入L1和L2正则化来平衡稀疏性和稳定性。
随机森林回归（Random Forest Regression）：利用随机森林算法进行回归预测。
梯度提升回归（Gradient Boosting Regression）：使用梯度提升算法进行回归预测。

2、无监督学习

聚类算法：

K-means：将数据划分为K个簇，每个簇的中心是所有簇内点的均值。
层次聚类（Hierarchical Clustering）：通过不断合并或分裂簇来形成层次结构。
谱聚类（Spectral Clustering）：利用数据的谱（即特征向量）来进行聚类。
DBSCAN：基于密度的聚类算法，能够发现任意形状的簇并识别噪声点。
Birch：适用于大规模数据集的聚类算法，通过构建一个CF Tree（Clustering Feature Tree）来进行聚类。

降维方法：

主成分分析（PCA, Principal Component Analysis）：通过正交变换将原始特征空间中的线性相关变量转换为新的线性无关变量（即主成分）。
独立成分分析（ICA, Independent Component Analysis）：旨在找到一组相互独立的源信号，这些信号混合在一起形成了观测到的数据。
非负矩阵分解（NMF, Non-negative Matrix Factorization）：将非负矩阵分解为两个非负矩阵的乘积，常用于图像分析和文本挖掘等领域。
t-SNE（t-Distributed Stochastic Neighbor Embedding）：用于高维数据的可视化，通过保持数据点在局部区域的相对距离来映射到低维空间。

这些算法模型在scikit-learn库中都有实现，并且提供了丰富的接口和参数调整选项，以满足不同应用场景的需求。

五、常用函数解释

1、train_test_split 划分训练集和测试集

train_test_split 是 scikit-learn 库中的一个函数，用于将数据集随机划分为训练集和测试集。这是机器学习中常用的一个步骤，目的是确保模型不仅在训练数据上表现良好，还能在未见过的数据（即测试数据）上有良好的表现。

函数的基本用法如下：

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

X 和 y 分别是特征和标签的数据。
test_size 参数指定了测试集的大小，这里是总数据的20%。
random_state 参数是一个随机种子，用于确保每次划分数据时都能得到相同的结果。这在需要重复实验或比较不同模型时非常有用。

函数返回四个数组：X_train（训练集的特征）、X_test（测试集的特征）、y_train（训练集的标签）和y_test（测试集的标签）。

2、accuracy_score 准确率

accuracy_score 是 scikit-learn 库中的一个函数，用于计算分类准确率。准确率是指分类器正确分类的样本数与总样本数之比。这是一个非常直观且常用的分类性能指标。

函数的基本用法如下：

from sklearn.metrics import accuracy_score

y_true = [...]  # 真实标签列表
y_pred = [...]  # 预测标签列表

accuracy = accuracy_score(y_true, y_pred)
print(f"Accuracy: {accuracy}")

其中，y_true 是真实的标签列表，y_pred 是模型预测的标签列表。这两个列表应该具有相同的长度，并且元素对应。函数会返回一个浮点数，表示准确率，即正确分类的样本比例。

例如：

from sklearn.metrics import accuracy_score

# 假设我们有以下真实标签和预测标签
y_true = [0, 1, 1, 0, 1, 0]
y_pred = [0, 1, 0, 0, 1, 1]

# 计算准确率
accuracy = accuracy_score(y_true, y_pred)
print(f"Accuracy: {accuracy}")  # 输出准确率

在这个例子中，准确率是 0.67（或 2/3），因为有 4 个样本预测正确，总样本数是 6。

请注意，准确率虽然是一个简单且直观的性能指标，但在某些情况下可能不是最好的评估标准。特别是在数据不平衡的情况下，准确率可能会产生误导。例如，在一个数据集中，如果一个类别远远多于另一个类别，即使模型总是预测为多数类别，它也能获得一个相对较高的准确率，但这并不意味着模型性能好。在这种情况下，可能需要考虑其他指标，如精确率、召回率、F1 分数等。

3、cross_val_score 交叉验证

cross_val_score 是 scikit-learn 库中的一个函数，用于评估模型性能的交叉验证分数。交叉验证是一种评估模型泛化能力的统计学方法，它将数据集分为几个部分，并使用其中的一部分数据来训练模型，然后使用另一部分数据来验证模型的性能。

cross_val_score 函数的基本用法如下：

from sklearn.model_selection import cross_val_score

scores = cross_val_score(estimator, X, y, cv=None, scoring=None, ...)

estimator：要评估的模型/估计器对象。
X：特征数据。
y：目标变量数据。
cv：交叉验证策略。它可以是一个整数，表示要使用的折叠数（例如，cv=5 表示5折交叉验证），也可以是一个交叉验证分割器对象或一个可迭代的训练/测试数据索引数组。
scoring：用于评估的评分标准或可调用对象。如果不指定，将根据估计器自动选择一个合适的评分标准。

cross_val_score 函数返回一个包含每次折叠的评分的数组。你可以计算这个数组的平均值和标准差来得到模型性能的估计和不确定性。

下面是一个简单的例子，展示了如何使用 cross_val_score 来评估一个线性回归模型的性能：

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_score

# 加载波士顿房价数据集
boston = load_boston()
X = boston.data
y = boston.target

# 创建线性回归模型
model = LinearRegression()

# 使用5折交叉验证评估模型
scores = cross_val_score(model, X, y, cv=5)

# 输出每次折叠的评分和平均评分
print("Scores:", scores)
print("Mean score:", scores.mean())

在这个例子中，cross_val_score 函数将数据集分成5份，每次使用其中4份作为训练数据，剩下的1份作为测试数据，然后计算模型在测试数据上的评分。这个过程重复5次，每次使用不同的数据分割方式，最后返回5个评分值。

4、joblib 模型存储

在scikit-learn中，模型的保存和重用通常涉及两个主要步骤：训练模型后保存模型，以及在需要时加载模型进行预测或进一步分析。以下是如何执行这些步骤的指南：

保存模型

scikit-learn提供了joblib库来方便地保存和加载模型。joblib是一个在scikit-learn中广泛使用的序列化库，特别适用于保存和加载包含大量数据的复杂对象，如模型、预处理步骤和管道。

from sklearn.externals import joblib
# 注意：在新版本的scikit-learn中，可能不再需要从sklearn.externals导入joblib，而是直接import joblib

# 假设你已经训练好了一个模型，比如线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 使用joblib保存模型
joblib.dump(model, 'model.pkl')  # 将模型保存到名为'model.pkl'的文件中

加载模型

当你需要重用模型时，可以使用joblib来加载之前保存的模型。

# 使用joblib加载模型
loaded_model = joblib.load('model.pkl')  # 从'model.pkl'文件中加载模型

# 现在你可以使用loaded_model进行预测了
predictions = loaded_model.predict(X_test)

5、TfidfVectorizer 文本特征

TfidfVectorizer是scikit-learn库中的一个类，用于将一组文本数据转换为TF-IDF特征向量。TF-IDF，即“词频-逆文档频率”，是一种常用的文本特征表示方法。

具体来说，TfidfVectorizer的作用如下：

分词：将文本数据拆分为单词或n-gram（连续的n个单词或字符的组合）。
构建词汇表：基于分词结果，构建一个词汇表，每个单词或n-gram都对应一个整数索引。
文本向量化：将每个文本转换为一个向量，其中每个元素代表词汇表中一个词项的TF-IDF值。
TF-IDF计算：
- TF (词频)：表示一个词在当前文档中出现的频率。
- IDF (逆文档频率)：表示一个词在所有文档集中的重要性。如果一个词在多个文档中都出现，那么其IDF值会较低；反之，如果只在少数文档中出现，其IDF值会较高。
- TF-IDF值：是TF和IDF的乘积，用于表示一个词在当前文档中的重要性。

使用TfidfVectorizer时，你可以通过调整其参数来定制分词方式、选择是否使用n-gram、设置停用词等。

例如，以下是一个简单的使用示例：

from sklearn.feature_extraction.text import TfidfVectorizer

# 示例文本数据
texts = ["The quick brown fox jumps over the lazy dog",
         "Quick foxes jump over lazy dogs in summer"]

# 初始化TfidfVectorizer
vectorizer = TfidfVectorizer()

# 将文本数据转换为TF-IDF特征向量
X = vectorizer.fit_transform(texts)

# 查看特征向量
print(X.toarray())

# 查看词汇表
print(vectorizer.vocabulary_)

上述代码首先导入了TfidfVectorizer，然后使用示例文本数据对其进行了初始化。接着，使用fit_transform方法将文本数据转换为TF-IDF特征向量，并打印出这些向量和词汇表。

注意事项

确保在保存和加载模型时使用的scikit-learn版本是一致的，因为不同版本的scikit-learn之间可能存在不兼容的序列化格式。
如果你的模型依赖于特定的数据预处理步骤（如缩放、编码等），请确保在加载模型进行预测之前，对新数据应用相同的预处理步骤。
对于大型模型或数据集，保存和加载可能需要一些时间，并且会占用相当多的磁盘空间。

示例1：特征提取

1、使用步骤说明

使用scikit-learn进行特征提取主要可以分为以下几个步骤：

导入必要的库：
首先，需要导入scikit-learn库中相关的模块。特征提取主要在sklearn.feature_extraction模块中进行。
选择特征提取方法：
scikit-learn提供了多种特征提取方法，具体选择哪种方法取决于数据的类型和你想要提取的特征类型。
- 对于文本数据，常用的特征提取方法有：
  - CountVectorizer：将文本数据转换为词频向量，即每个单词出现的次数。
  - TfidfVectorizer：将文本数据转换为TF-IDF（词频-逆文档频率）向量，这种方法考虑了单词在文档中的频率以及在整个语料库中的稀有性。
  - HashingVectorizer：使用哈希函数将文本数据转换为稀疏向量，适用于大量文本数据且内存有限的情况。
- 对于图像数据或其他类型的数据，也有相应的特征提取方法，如PatchExtractor用于提取图像的局部特征。
实例化特征提取器并拟合数据：
选择好特征提取方法后，需要实例化相应的特征提取器，并使用训练数据来拟合它。例如，如果使用TfidfVectorizer，可以这样做：
```
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer()
vectorizer.fit(train_texts)  # train_texts是包含训练文本的列表或数组
```

转换数据：
拟合好特征提取器后，就可以用它来转换训练数据和测试数据了。继续使用上面的例子：

X_train = vectorizer.transform(train_texts)  # 将训练文本转换为TF-IDF向量
X_test = vectorizer.transform(test_texts)    # 将测试文本转换为TF-IDF向量

（可选）保存和加载特征提取器：
如果你打算在未来的项目中重复使用这个特征提取器，或者需要在不同的数据集上保持一致的特征表示，可以将拟合好的特征提取器保存起来。scikit-learn提供了joblib库来方便地保存和加载模型及预处理步骤：
```
from joblib import dump, load
dump(vectorizer, 'tfidf_vectorizer.joblib')  # 保存特征提取器
# 在需要时加载特征提取器
loaded_vectorizer = load('tfidf_vectorizer.joblib')
```
应用特征提取器到新数据：
一旦你有了拟合好的特征提取器，就可以很容易地将它应用到新的、未见过的数据上，以提取相应的特征。

请注意，上述代码示例是基于文本数据的特征提取。对于其他类型的数据（如图像、音频等），你需要选择适合那些数据类型的特征提取方法。

2、完整示例代码

from sklearn.feature_extraction.text import TfidfVectorizer  
from sklearn.datasets import fetch_20newsgroups  
from sklearn.model_selection import train_test_split  
from sklearn.naive_bayes import MultinomialNB  
from sklearn.metrics import accuracy_score  
from joblib import dump, load  
  
# 加载数据集  
newsgroups = fetch_20newsgroups(subset='all')  
X, y = newsgroups.data, newsgroups.target  
  
# 划分训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)  
  
# 实例化TF-IDF特征提取器  
vectorizer = TfidfVectorizer()  
  
# 拟合和转换训练数据，将文本数据转换为TF-IDF特征向量  
X_train_tfidf = vectorizer.fit_transform(X_train)  
  
# 转换测试数据  
X_test_tfidf = vectorizer.transform(X_test)  
  
# 使用提取的特征训练一个朴素贝叶斯分类器  
clf = MultinomialNB()  
clf.fit(X_train_tfidf, y_train)  
  
# 对测试集进行预测  
y_pred = clf.predict(X_test_tfidf)  
  
# 计算准确率  
accuracy = accuracy_score(y_test, y_pred)  
print(f"Test Accuracy: {accuracy}")  
  
# 保存特征提取器以便将来使用  
dump(vectorizer, 'tfidf_vectorizer.joblib')  
  
# 假设我们在未来需要加载这个特征提取器来处理新数据  
# 加载特征提取器  
loaded_vectorizer = load('tfidf_vectorizer.joblib')  
  
# 示例：应用加载的特征提取器到新数据  
new_data = ["I am interested in machine learning and artificial intelligence"]  
new_data_tfidf = loaded_vectorizer.transform(new_data)  
  
# 假设我们使用之前训练的模型进行预测  
new_predictions = clf.predict(new_data_tfidf)  
print(f"Predictions for new data: {new_predictions}")

示例2：中文特征提取

1、使用步骤说明

在中文文本中进行特征提取时，我们通常会考虑以下几种方法：

基于词袋模型的特征提取：
- 分词：首先，需要对中文文本进行分词处理。分词是将连续的文本切分为一个个独立的词汇单元。在中文处理中，常用的分词工具有jieba、THULAC、HanLP等。
- 构建词汇表：分词后，可以统计所有出现的词汇，构建一个词汇表。
- 文本向量化：根据词汇表，将文本转换为向量形式。例如，可以使用词频（TF）或词频-逆文档频率（TF-IDF）等方法来表示文本。
基于n-gram的特征提取：
- 除了单个词汇，还可以考虑连续的词汇组合（如2-gram、3-gram等）作为特征。
- n-gram特征可以捕获到词汇之间的顺序信息，有助于理解文本的局部上下文。
基于深度学习的特征提取：
- 使用预训练的词向量（如Word2Vec、GloVe、BERT等）来表示文本中的词汇。
- 可以通过神经网络模型（如RNN、LSTM、GRU、Transformer等）来提取更高级别的文本特征。
- 对于特定的NLP任务，还可以使用预训练的模型进行微调（fine-tuning），以获得更好的性能。
基于主题模型的特征提取：
- 使用LDA（Latent Dirichlet Allocation）等主题模型来提取文本的主题特征。
- 主题模型可以从大量文本中发现隐藏的主题结构，并将文本表示为这些主题的混合。
基于规则的特征提取：
- 针对特定任务，可以手动设计一些规则来提取特征。
- 例如，在情感分析中，可以设计规则来提取表达情感的词汇或短语。
图像特征（如果适用）：
- 对于某些涉及图像和文本结合的任务（如OCR后的文本处理），还可以考虑从图像中提取特征，如使用CNN（卷积神经网络）。
结合多种方法：
- 实际上，可以结合上述多种方法来提取更丰富的特征集，以提高模型的性能。

在进行特征提取时，还需要注意以下几点：

特征选择：不是所有提取的特征都对任务有用，因此需要进行特征选择以去除冗余或不相关的特征。
特征缩放：某些算法对特征的尺度敏感，因此可能需要对特征进行归一化或标准化处理。
领域知识：在特定领域或任务中，可以结合领域知识进行特征提取，以提高模型的准确性。

2、完整代码示例

以下是一个简单的代码示例，展示了如何使用jieba库进行中文分词，并使用TfidfVectorizer从sklearn库中提取TF-IDF特征：

import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score

# 模拟一些中文文本数据
texts = [
    "我喜欢吃苹果和香蕉",
    "机器学习是一门有趣的科学",
    "自然语言处理是人工智能的一个重要分支",
    "深度学习在计算机视觉领域有很大应用",
    # 添加更多文本...
]
labels = [0, 1, 0, 1]  # 假设的标签

# 使用jieba进行分词
tokenized_texts = [list(jieba.cut(text)) for text in texts]

# 将分词结果转换回字符串，用空格分隔
processed_texts = [' '.join(words) for words in tokenized_texts]

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(processed_texts, labels, test_size=0.2, random_state=42)

# 实例化TF-IDF特征提取器
vectorizer = TfidfVectorizer()

# 拟合和转换训练数据
X_train_tfidf = vectorizer.fit_transform(X_train)

# 转换测试数据
X_test_tfidf = vectorizer.transform(X_test)

# 使用提取的特征训练一个朴素贝叶斯分类器
clf = MultinomialNB()
clf.fit(X_train_tfidf, y_train)

# 对测试集进行预测
y_pred = clf.predict(X_test_tfidf)

# 输出预测结果
print("Predictions:", y_pred)

# 如果需要评估模型，可以计算准确率（在有足够标签的情况下）
# accuracy = accuracy_score(y_test, y_pred)
# print(f"Accuracy: {accuracy}")