一、感知机（Perceptron）

1. - 由美国学者 Frank Rosenblatt 于 1957 年提出。
2. - 输入：x，权重：w，偏置：b。
3. - 输出：二分类（0 或 1），区别于回归（输出实数）和 Softmax（输出概率分布）。
4. - 权重 w 控制输入信号的重要性，偏置 b 调整神经元激活的难易程度。

二、感知机实现逻辑门

1. - **与门**：可使用权重如 (0.5, 0.5, -0.7) 实现。
2. - **与非门**：使用 (-0.5, -0.5, 0.7)。
3. - **或门**：使用 (0.5, 0.5, -0.3)。
4. - **异或门**：无法用单层感知机实现，因其线性不可分。

三、感知机的局限性

1. - 只能表示由一条直线（线性超平面）分割的空间。
2. - 无法处理线性不可分问题（如异或问题）。

四、多层感知机（MLP）

1. - 引入**隐藏层**和**非线性激活函数**，构成最简单的深度神经网络。
2. - 隐藏层的大小是**超参数**。
3. - 结构：输入层 → 隐藏层（可多层）→ 输出层。

五、激活函数

1. - 作用：将输入信号的总和转换为输出信号，引入非线性。
2. - 常用激活函数：
3.   - **阶跃函数**：感知机中使用，输出 0 或 1。
4.   - **Tanh**：将输入映射到 (-1, 1)。
5.   - **ReLU**：线性修正单元，广泛使用。
6. - 理想性质：连续可导、计算简单、梯度稳定。

六、多分类与超参数

1. - 使用 **Softmax** 处理多分类问题。
2. - 超参数包括：
3.   - 隐藏层数量
4.   - 每层隐藏单元数目

七、学习过程

1. - **前向传播**：输入 → 隐藏层 → 输出层。
2. - **反向传播**：误差从输出层反向传播，用于更新权重。
3. - 本质：通过样本不断调整权值，使输出接近期望值。

八、误差与评估

1. - **训练误差**：模型在训练集上的误差。
2. - **泛化误差**：模型在新数据上的误差。
3. - **验证集**：用于调参和模型选择，需与训练集分离。
4. - **测试集**：用于最终模型评估，理论上只使用一次。

九、K折交叉验证

1. - 将训练数据分为 K 份，轮流用一份作为验证集，其余训练。
2. - 常用 K=5 或 10，适用于数据不足的情况。

十、过拟合与欠拟合

1. - **过拟合**：模型过于复杂，将训练集噪声也学入。
2. - **欠拟合**：模型过于简单，未能捕捉数据规律。
3. - 控制方法：权重衰减、Dropout（暂退法）、调整模型复杂度。

十一、模型与数据复杂度

1. - 模型复杂度受参数数量和参数取值范围影响。
2. - 数据复杂度受样本数量、特征数量、结构多样性影响。

总结：  
多层感知机通过引入隐藏层和非线性激活函数扩展了感知机的表达能力，可处理非线性问题。训练过程中需注意过拟合与欠拟合，合理使用验证集和交叉验证进行评估。超参数的选择对模型性能至关重要。