动手学深度学习笔记:感知机(Perceptron)
感知机的任务很简单:输入一组特征,输出一个二分类结果。通过线性加权和 + 符号函数,实现二分类。它的优点是结构简单、思想清晰;缺点是只能处理线性可分问题。但正因为它足够基础,我们才能从这里真正理解:机器是如何学会“分类”的。你要的话,我可以继续直接给你压缩成一种更像大学生课程笔记风格的版本,或者继续接着写下一篇多层感知机 CSDN 博客。
感知机是神经网络发展早期非常重要的模型,也是理解后续多层感知机、激活函数、神经网络分类的基础。李沐老师在《动手学深度学习》中讲感知机,核心是让我们理解:感知机本质上是一个线性分类模型。

1. 什么是感知机?
感知机的任务很简单:
输入一组特征,输出一个二分类结果。


2. 几何意义
公式

表示一个分类边界:
-
在二维中是一条直线
-
在三维中是一个平面
-
更高维中是超平面
感知机本质上就是在寻找这样一个分界面,把两类数据分开。
所以它解决的是线性分类问题。
3. 感知机能解决什么问题?
感知机只能处理线性可分的数据。
所谓线性可分,就是可以用一条直线(或超平面)把两类样本完全分开。
如果数据本身不能被一条直线分开,那么单层感知机就无能为力。

4. 参数如何更新?
当样本被分错时,感知机会更新参数:

其中 (\eta) 是学习率。
这一步可以理解为:
如果分错了,就把分类边界往正确的方向推一推。
所以感知机训练的过程,本质上就是不断纠正错误分类。
5. 感知机的局限性
感知机最大的缺点是:
只能解决线性可分问题
经典例子就是 XOR(异或)问题。
异或问题无法用一条直线分开,所以单层感知机无法解决。
这也说明,感知机的表达能力是有限的。

6. 为什么还要学感知机?
虽然感知机本身比较简单,但它很重要,因为它是神经网络的起点。
后面的多层感知机、本质更强的神经网络,都是在感知机基础上的扩展。可以说:
-
感知机:最基础的神经元模型
-
多层感知机:突破线性限制
-
深度神经网络:进一步增强表达能力
所以学习感知机,不是为了停留在这里,而是为了理解后面更复杂的网络。
7. 总结
感知机可以概括为一句话:
通过线性加权和 + 符号函数,实现二分类。
它的优点是结构简单、思想清晰;
缺点是只能处理线性可分问题。
但正因为它足够基础,我们才能从这里真正理解:
机器是如何学会“分类”的。
你要的话,我可以继续直接给你压缩成一种更像 大学生课程笔记风格 的版本,或者继续接着写下一篇 多层感知机 CSDN 博客。
更多推荐
所有评论(0)