神经网络尺寸

神经网络主要由输入层，隐含层，输出层组成。神经网络的尺寸，通常用神经元个数以及学习参数个数来衡量。下图选自cs231n课程笔记，描述了两个神经网络结构：

神经元个数指的是隐含层以及输出层的神经元个数之和。
左图中，神经元的个数为4+2=6<script type="math/tex" id="MathJax-Element-475">4+2=6</script>,右图中，神经元的个数为4+4+1=9<script type="math/tex" id="MathJax-Element-476">4+4+1=9</script>
参数的个数：左图中权重有3∗4+4∗2=20<script type="math/tex" id="MathJax-Element-477">3*4+4*2=20</script>，偏置有4+2=6<script type="math/tex" id="MathJax-Element-478">4+2=6</script>，一共26个参数
右图中权重有3∗4+4∗4+4∗1=32<script type="math/tex" id="MathJax-Element-479">3*4+4*4+4*1=32</script>，偏置有4+4+1=9<script type="math/tex" id="MathJax-Element-480">4+4+1=9</script>，一共41个参数

神经网络表达能力

神经网络的表达能力主要由隐层的层数和隐层神经元个数决定。理论上，仅包含一个隐含层的神经网络就可以近似所有的连续函数，但是很难拟合，所以现实中一般会构造多个隐层来更容易的拟合函数。但是，大多数情况下，4,5,6层及以上的神经网络也很难再提高性能。不过，对于图像处理领域的卷积神经网络，显然深度非常重要，这与图像的局部相关性有很大关系。

对于隐层神经元个数，值得一提的是，神经元越多，网络的表达能力越强，但是，也会造成过拟合的现象。
那么我们是否为了避免过拟合现象而选用更小的网络呢？
显然不是，因为小网络的表达能力有限，所以我们仍然会选择大网络。
那么我们怎样来避免大网络的过拟合现象？
我们可以通过正则项来解决这个问题，如L2，值得注意的是，可以通过λ<script type="math/tex" id="MathJax-Element-570">\lambda</script> 来调节正则项的影响程度，如果正则化强度过大，则也会降低网络的表达能力。所以，λ<script type="math/tex" id="MathJax-Element-571">\lambda</script>作为一个超参数，如何设置也是一件头痛的事情