1. 参数量
$指参数的数量，即一个模型包含多少个参数$。单位M（10的6次方）。

1.1. 卷积层参数计算
卷积层需要关注的参数有conv(kernel_size, in_channel, out_channel)，即卷积核大小，输入输出通道数，和偏差bias。
计算公式：param = (k_size * k_size * in_channel + bias) * out_channel
例子:
图像大小: 640 * 640 * 3
卷积核大小: 3 * 3
输入通道大小: 3
输出通道大小: 64
则参数个数为: param = (3 * 3 * 3 + 1) * 64=1792

1.2. 全连接层参数计算
全连接层需要关注的参数有输入神经元数M和输出神经元数N。
计算公式：param = (M + 1) * N
例子:
输入神经元: 3
输出神经元: 5
则参数个数为：param=(3+1)*5=20

训练时需要一次输入batch_size张图片，所以还需要乘上batch_size。

1.3. 输出层参数计算
$是指特征图的参数量$。
模型输出的特征图尺寸大小为HxW，通道数为C，那么总的参数量为CxHxW。

计算公式：param = H * W * C

1.4. 训练与测试的参数量
虽然训练需要一次输入batch_size个样本，但是$不会影响参数量$，因为是同一组模型参数同时分别作用于不同的样本，然后对所有样本上得到的损失函数值求和，最后根据梯度下降法来进行参数更新。

2. 模型大小
$指一个模型的大小，即模型所占存储空间$。单位MB（MByte的缩写）：

在深度学习神经网络中，最常见的数据格式是float32，占4个字节（Byte）。类似地，float16，占2个字节。1024个字节为1KB，1024x1024个字节为1MB。那么存储10000个参数需要的内存大小为10000x4 Bytes，约为39KB。存储1M（100万）个参数需要的内存大小为39x100/1024MB，约为3.8MB。深度学习神经网络的参数量通常是百万级之上的，所以我们可以将3.8MB看作是一个基本单位，即每一百万个数字需要3.8MB。

$注意，不仅仅是模型参数需要存储空间，特征图中的每个元素，在训练时反向传播计算的权重梯度也需要相同的存储空间，而且梯度数量和模型参数数量一样，因为每个参数都需要一个梯度来更新。$

3. 理论计算量
FLOPs，s是指秒，即每秒浮点运算次数的意思，考量一个网络模型的计算量的标准。单位与参数量单位一样，大模型的单位通常为G，小模型单位通常为M。
例子:
input：N * H * W
output: M * H * W
filters: K * K
params：N * K * K * M
FLOPs：W * H * N * K * K * M
若算上加法： ((K * K + 1) * N+ (N - 1)) * W * H * M
其中，(K * K + 1)表示在一个卷积核计算时叠加bias，乘以N表示在输入的channel方向进行乘积，即一组乘积，N - 1表示一组卷积之后对N个结果进行N-1次加法来叠加结果，(K * K + 1) * N+ (N - 1)表示最终汇聚成特征图上的一个点，乘以W * H * M表示最终的输出特征图中所有点的个数。

$注意，反向传播更新权重参数过程也需要计算量。$

参考:
https://www.jianshu.com/p/4afe8308dab1
https://blog.csdn.net/suiyingy/article/details/125173843
https://www.pythonheidong.com/blog/article/1370711/dd18f8f5f126ea76beb6/
http://events.jianshu.io/p/41c1ab51467d
https://blog.csdn.net/dhy5710/article/details/127520025
https://www.pudn.com/news/6228c58d9ddf223e1ad04a1e.html