"""
用一个班级10个人的语数外物理化学历史政治成绩举例，讲解PCA主成分分析。所用数据你自己生成。写代码时边写边讲解。所有代码写在一个代码块中，解释文字写在代码中！！！
我将用一个包含10名学生、7门科目成绩的示例来详细讲解PCA主成分分析。以下是完整的代码和逐步解释：
"""
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA

# 设置中文字体支持
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

print("=== PCA主成分分析实战演示 ===\n")

# 1. 生成模拟数据
print("1. 生成10名学生的7门科目成绩数据")
# 设置随机种子保证结果可重现
np.random.seed(42)

# 创建10名学生的成绩数据（语文、数学、英语、物理、化学、历史、政治）
# 为了体现PCA的效果，我们故意让某些科目之间存在相关性
students = [f'学生{i+1}' for i in range(10)]
subjects = ['语文', '数学', '英语', '物理', '化学', '历史', '政治']

# 生成基础能力向量（模拟学生的内在能力倾向）
# 理科能力：影响数学、物理、化学成绩
science_ability = np.random.normal(70, 15, 10)
# 文科能力：影响语文、英语、历史、政治成绩
arts_ability = np.random.normal(75, 12, 10)

# 构建成绩矩阵，让相关科目有共同的基础能力影响
scores = np.zeros((10, 7))

# 理科科目：数学、物理、化学有较强的相关性
scores[:, 1] = science_ability + np.random.normal(0, 5, 10)  # 数学
scores[:, 3] = science_ability * 0.9 + np.random.normal(0, 6, 10)  # 物理
scores[:, 4] = science_ability * 0.8 + np.random.normal(0, 7, 10)  # 化学

# 文科科目：语文、英语、历史、政治有较强的相关性
scores[:, 0] = arts_ability + np.random.normal(0, 4, 10)  # 语文
scores[:, 2] = arts_ability * 0.95 + np.random.normal(0, 5, 10)  # 英语
scores[:, 5] = arts_ability * 0.7 + np.random.normal(0, 6, 10)  # 历史
scores[:, 6] = arts_ability * 0.8 + np.random.normal(0, 6, 10)  # 政治

# 确保成绩在0-100范围内
scores = np.clip(scores, 0, 100).astype(int)

# 创建DataFrame便于查看
df_scores = pd.DataFrame(scores, index=students, columns=subjects)
print("原始成绩数据：")
print(df_scores)
print("\n数据形状:", df_scores.shape)
print("=" * 50)

# 2. 数据标准化 - PCA前的重要步骤
print("\n2. 数据标准化处理")
print("为什么要标准化？因为不同科目的量纲和方差不同，标准化能避免某些科目主导PCA结果")

# 创建标准化器
scaler = StandardScaler()
# 对数据进行标准化（均值为0，标准差为1）
scores_scaled = scaler.fit_transform(scores)

print("标准化后的数据（前5行）：")
print(pd.DataFrame(scores_scaled, index=students, columns=subjects).head())
print("标准化数据均值:", np.round(scores_scaled.mean(axis=0), 2))
print("标准化数据标准差:", np.round(scores_scaled.std(axis=0), 2))
print("=" * 50)

# 3. 执行PCA分析
print("\n3. 执行PCA主成分分析")
print("PCA会找到数据方差最大的方向作为主成分，实现降维")

# 创建PCA对象，保留所有成分以便分析
pca = PCA()
# 对标准化后的数据拟合PCA模型
principal_components = pca.fit_transform(scores_scaled)

print("主成分分析完成！")
print("=" * 50)

# 4. 分析PCA结果
print("\n4. PCA结果分析")

# 4.1 解释方差比例
print("4.1 各主成分解释的方差比例")
explained_variance_ratio = pca.explained_variance_ratio_
cumulative_variance = np.cumsum(explained_variance_ratio)

print("每个主成分解释的方差比例:")
for i, ratio in enumerate(explained_variance_ratio):
    print(f"主成分{i+1}: {ratio:.3f} ({ratio*100:.1f}%)")

print("\n累积解释方差比例:")
for i, cum_ratio in enumerate(cumulative_variance):
    print(f"前{i+1}个主成分: {cum_ratio:.3f} ({cum_ratio*100:.1f}%)")

# 可视化解释方差比例（碎石图）
plt.figure(figsize=(12, 4))

plt.subplot(1, 2, 1)
plt.bar(range(1, len(explained_variance_ratio)+1), explained_variance_ratio, alpha=0.7, color='skyblue', label='单个主成分')
plt.plot(range(1, len(cumulative_variance)+1), cumulative_variance, 'ro-', label='累积比例')
plt.xlabel('主成分编号')
plt.ylabel('解释方差比例')
plt.title('PCA碎石图')
plt.legend()
plt.grid(True, alpha=0.3)

# 4.2 主成分载荷分析
print("\n4.2 主成分载荷分析（各科目对主成分的贡献）")
# 主成分载荷表示原始变量与主成分的相关性
loadings = pca.components_.T * np.sqrt(pca.explained_variance_)

loadings_df = pd.DataFrame(loadings, 
                          index=subjects, 
                          columns=[f'PC{i+1}' for i in range(7)])
print("各科目在主成分中的载荷（相关性）：")
print(loadings_df.round(3))

# 可视化前两个主成分的载荷
plt.subplot(1, 2, 2)
# 绘制每个科目在前两个主成分上的载荷
for i, subject in enumerate(subjects):
    plt.arrow(0, 0, loadings[i, 0], loadings[i, 1], head_width=0.03, head_length=0.03, fc='red', ec='red', alpha=0.7)
    plt.text(loadings[i, 0]*1.1, loadings[i, 1]*1.1, subject, fontsize=12, ha='center', va='center')

plt.xlabel('主成分1 (PC1)')
plt.ylabel('主成分2 (PC2)')
plt.title('科目在主成分空间中的载荷')
plt.grid(True, alpha=0.3)
plt.axhline(y=0, color='k', linestyle='--', alpha=0.3)
plt.axvline(x=0, color='k', linestyle='--', alpha=0.3)
plt.axis('equal')

plt.tight_layout()
plt.show()

print("=" * 50)

# 5. 降维和数据可视化
print("\n5. 数据降维和可视化")
print("使用前两个主成分将7维数据降维到2维")

# 使用前两个主成分
pca_2d = PCA(n_components=2)
principal_2d = pca_2d.fit_transform(scores_scaled)

# 创建主成分数据的DataFrame
df_pca = pd.DataFrame(principal_2d, 
                      index=students, 
                      columns=['主成分1', '主成分2'])

print("降维后的数据（2个主成分）：")
print(df_pca.round(3))

# 可视化学生在主成分空间中的分布
plt.figure(figsize=(10, 8))

# 绘制学生散点图
scatter = plt.scatter(df_pca['主成分1'], df_pca['主成分2'], s=100, alpha=0.7, c=range(10), cmap='viridis')

# 添加学生标签
for i, student in enumerate(students):
    plt.annotate(student, (df_pca['主成分1'][i], df_pca['主成分2'][i]), 
                 xytext=(5, 5), textcoords='offset points', fontsize=10)

# 添加科目载荷箭头
loadings_2d = pca_2d.components_.T * np.sqrt(pca_2d.explained_variance_)
for i, subject in enumerate(subjects):
    plt.arrow(0, 0, loadings_2d[i, 0]*0.8, loadings_2d[i, 1]*0.8, 
              head_width=0.05, head_length=0.05, fc='red', ec='red', alpha=0.7)
    plt.text(loadings_2d[i, 0]*0.9, loadings_2d[i, 1]*0.9, subject, 
             fontsize=12, color='red', ha='center', va='center')

plt.xlabel(f'主成分1 (解释方差: {pca_2d.explained_variance_ratio_[0]:.3f})')
plt.ylabel(f'主成分2 (解释方差: {pca_2d.explained_variance_ratio_[1]:.3f})')
plt.title('PCA降维可视化: 学生在主成分空间中的分布')
plt.colorbar(scatter, label='学生编号')
plt.grid(True, alpha=0.3)
plt.axhline(y=0, color='k', linestyle='--', alpha=0.3)
plt.axvline(x=0, color='k', linestyle='--', alpha=0.3)
plt.show()

print("=" * 50)

# 6. 结果解释和应用
print("\n6. PCA结果解释和实际应用")

print("6.1 主成分含义解读:")
print("从载荷矩阵可以看出：")
print("- 主成分1: 数学、物理、化学有较高的正载荷 → 可解释为'理科能力'")
print("- 主成分2: 语文、英语、历史、政治有较高的正载荷 → 可解释为'文科能力'")

print("\n6.2 学生分类分析:")
# 根据主成分得分对学生进行分类
df_pca['类型'] = '混合型'
df_pca.loc[df_pca['主成分1'] > 0.5, '类型'] = '理科型'
df_pca.loc[df_pca['主成分2'] > 0.5, '类型'] = '文科型'
df_pca.loc[(df_pca['主成分1'] > 0.5) & (df_pca['主成分2'] > 0.5), '类型'] = '全能型'
df_pca.loc[(df_pca['主成分1'] < -0.5) & (df_pca['主成分2'] < -0.5), '类型'] = '需提高型'

print("基于PCA的学生分类：")
print(df_pca[['主成分1', '主成分2', '类型']].round(3))

print("\n6.3 PCA的实际应用价值:")
print("✓ 数据降维: 从7维降到2维，保留大部分信息")
print("✓ 模式发现: 识别出理科能力和文科能力两个潜在维度")
print("✓ 异常检测: 可以识别成绩模式异常的学生")
print("✓ 数据可视化: 将高维数据在二维平面展示")

print("=" * 50)

# 7. 完整数据重建演示
print("\n7. PCA数据重建演示")
print("展示如何使用主成分重建原始数据")

# 使用前两个主成分进行数据重建
reconstructed = pca_2d.inverse_transform(principal_2d)
# 反标准化
reconstructed_original = scaler.inverse_transform(reconstructed)

df_reconstructed = pd.DataFrame(reconstructed_original, index=students, columns=subjects).astype(int)
df_difference = df_scores - df_reconstructed

print("原始数据与重建数据的差异（前3个学生）:")
print("原始数据:")
print(df_scores.head(3))
print("\n重建数据:")
print(df_reconstructed.head(3))
print("\n差异（原始-重建）:")
print(df_difference.head(3))

# 计算重建误差
reconstruction_error = np.mean((scores - reconstructed_original) ** 2)
print(f"\n平均重建误差: {reconstruction_error:.2f}")
print("这表明用2个主成分代替7个原始变量会损失一些细节信息，但抓住了主要模式")

print("\n=== PCA分析完成 ===")
"""
=== PCA主成分分析实战演示 ===

1. 生成10名学生的7门科目成绩数据
原始成绩数据：
      语文  数学  英语  物理  化学  历史  政治
学生1   70  84  63  66  67  50  54
学生2   67  66  65  72  55  57  57
学生3   75  80  68  71  62  54  71
学生4   54  85  43  77  72  45  38
学生5   58  63  55  64  42  22  38
学生6   71  67  71  52  48  52  51
学生7   59  87  59  85  71  44  55
学生8   77  83  79  61  72  53  64
学生9   65  59  62  48  52  45  48
学生10  61  76  51  71  50  28  49

数据形状: (10, 7)
==================================================

2. 数据标准化处理
为什么要标准化？因为不同科目的量纲和方差不同，标准化能避免某些科目主导PCA结果
标准化后的数据（前5行）：
           语文        数学        英语        物理        化学        历史        政治
学生1  0.592836  0.918559  0.143305 -0.066378  0.749531  0.459898  0.153213
学生2  0.179229 -0.918559  0.348028  0.502579 -0.388997  1.103755  0.459639
学生3  1.282179  0.510310  0.655111  0.407752  0.275144  0.827816  1.889625
学生4 -1.613064  1.020621 -1.903916  0.976709  1.223918  0.000000 -1.481058
学生5 -1.061589 -1.224745 -0.675583 -0.256031 -1.622403 -2.115530 -1.481058
标准化数据均值: [-0. -0. -0. -0. -0.  0.  0.]
标准化数据标准差: [1. 1. 1. 1. 1. 1. 1.]
==================================================

3. 执行PCA主成分分析
PCA会找到数据方差最大的方向作为主成分，实现降维
主成分分析完成！
==================================================

4. PCA结果分析
4.1 各主成分解释的方差比例
每个主成分解释的方差比例:
主成分1: 0.489 (48.9%)
主成分2: 0.360 (36.0%)
主成分3: 0.072 (7.2%)
主成分4: 0.051 (5.1%)
主成分5: 0.016 (1.6%)
主成分6: 0.009 (0.9%)
主成分7: 0.002 (0.2%)

累积解释方差比例:
前1个主成分: 0.489 (48.9%)
前2个主成分: 0.849 (84.9%)
前3个主成分: 0.921 (92.1%)
前4个主成分: 0.972 (97.2%)
前5个主成分: 0.988 (98.8%)
前6个主成分: 0.998 (99.8%)
前7个主成分: 1.000 (100.0%)

4.2 主成分载荷分析（各科目对主成分的贡献）
各科目在主成分中的载荷（相关性）：
      PC1    PC2    PC3    PC4    PC5    PC6    PC7
语文 -0.966 -0.345 -0.119 -0.138 -0.119 -0.068 -0.087
数学 -0.312  0.946 -0.046 -0.304 -0.077 -0.126  0.051
英语 -0.914 -0.420 -0.092 -0.108  0.276 -0.047  0.023
物理  0.156  0.928 -0.342  0.304  0.101 -0.059 -0.043
化学 -0.476  0.855  0.315 -0.157  0.077  0.148 -0.039
历史 -0.879  0.098  0.422  0.377 -0.045 -0.076  0.020
政治 -0.957  0.077 -0.377  0.123 -0.098  0.141  0.044
==================================================

5. 数据降维和可视化
使用前两个主成分将7维数据降维到2维
降维后的数据（2个主成分）：
       主成分1   主成分2
学生1  -0.978  0.741
学生2  -0.693 -0.478
学生3  -2.358  0.361
学生4   2.033  2.488
学生5   3.094 -1.467
学生6  -0.751 -2.135
学生7   0.165  2.496
学生8  -2.986  0.115
学生9   0.539 -2.263
学生10  1.936  0.141
==================================================

6. PCA结果解释和实际应用
6.1 主成分含义解读:
从载荷矩阵可以看出：
- 主成分1: 数学、物理、化学有较高的正载荷 → 可解释为'理科能力'
- 主成分2: 语文、英语、历史、政治有较高的正载荷 → 可解释为'文科能力'

6.2 学生分类分析:
基于PCA的学生分类：
       主成分1   主成分2    类型
学生1  -0.978  0.741   文科型
学生2  -0.693 -0.478   混合型
学生3  -2.358  0.361   混合型
学生4   2.033  2.488   全能型
学生5   3.094 -1.467   理科型
学生6  -0.751 -2.135  需提高型
学生7   0.165  2.496   文科型
学生8  -2.986  0.115   混合型
学生9   0.539 -2.263   理科型
学生10  1.936  0.141   理科型

6.3 PCA的实际应用价值:
✓ 数据降维: 从7维降到2维，保留大部分信息
✓ 模式发现: 识别出理科能力和文科能力两个潜在维度
✓ 异常检测: 可以识别成绩模式异常的学生
✓ 数据可视化: 将高维数据在二维平面展示
==================================================

7. PCA数据重建演示
展示如何使用主成分重建原始数据
原始数据与重建数据的差异（前3个学生）:
原始数据:
     语文  数学  英语  物理  化学  历史  政治
学生1  70  84  63  66  67  50  54
学生2  67  66  65  72  55  57  57
学生3  75  80  68  71  62  54  71

重建数据:
     语文  数学  英语  物理  化学  历史  政治
学生1  68  80  64  70  65  50  57
学生2  68  73  65  63  58  48  55
学生3  73  80  71  66  67  56  63

差异（原始-重建）:
     语文  数学  英语  物理  化学  历史  政治
学生1   2   4  -1  -4   2   0  -3
学生2  -1  -7   0   9  -3   9   2
学生3   2   0  -3   5  -5  -2   8

平均重建误差: 15.81
这表明用2个主成分代替7个原始变量会损失一些细节信息，但抓住了主要模式

=== PCA分析完成 ===


------------------
(program exited with code: 0)

请按任意键继续. . .
"""