深度学习——最优化的学习笔记
·
1 前言
感谢蔡超老师的讲授，给予了我很大的启发～
2 数值分析方法求解最优化——“数学上最优美的求解方法”
2.1 最初认识数值分析求解最优化的分类器——SVM
SVM是我最初学习的分类器之一，SVM线性分类器求解过程的推导还是十分优美的～
使用了拉格朗日乘子法；
（具体的推导过程可以参考蔡超老师讲授的PPT）
2.2 为什么神经网络不适合用数值分析法求解呢？
这是因为在数值分析法求解的过程中，需要计算矩阵或者张量运算，
在进行这个运算时，会涉及到所有的样本值，而在目标检测中，输入图像一般都是高维张量，
我们几乎是不可能将所有样本同时输入内存进行计算的，现有的硬件无法满足这样的要求；
于是，为了解决这个问题，我们采用了另一种巧妙的pratical的策略——随机梯度下降法（SGD）；
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
0
0- 0
已为社区贡献8条内容
所有评论(0)