卷积神经网络的时间、空间复杂度以及数据流的变化

0 前言复杂度对模型的影响时间复杂度决定了模型的训练/预测时间。如果复杂度过高，会导致模型训练和预测耗费大量时间，既无法快速的验证想法和改善模型，也无法做到快速的预测。空间复杂度决定了模型的参数数量。由于维度灾难（curse of dimensionality）的限制，模型的参数越多，训练模型所需的数据量就越大，而现实生活中的数据集通常不会太大，这会导致模型的训练更容易过拟合。1. 时...

Briwisdom

6951人浏览 · 2018-10-31 15:06:23

Briwisdom · 2018-10-31 15:06:23 发布

0 前言

复杂度对模型的影响
时间复杂度决定了模型的训练/预测时间。如果复杂度过高，会导致模型训练和预测耗费大量时间，既无法快速的验证想法和改善模型，也无法做到快速的预测。
空间复杂度决定了模型的参数数量。由于维度灾难（curse of dimensionality）的限制，模型的参数越多，训练模型所需的数据量就越大，而现实生活中的数据集通常不会太大，这会导致模型的训练更容易过拟合。

1. 时间复杂度

时间复杂度即模型的运行次数。

单个卷积层的时间复杂度：Time~O(M^2 * K^2 * Cin * Cout)

M:输出特征图（Feature Map）的尺寸。
K:卷积核（Kernel）的尺寸。
Cin:输入通道数。
Cout:输出通道数。

注1：为了简化表达式变量个数，统一假设输入和卷积核的形状是正方形，实际中如果不是，则将M ^2替换成特征图的长宽相乘即可；

注2：每一层卷积都包含一个偏置参数（bias），这里也给忽略了。加上的话时间复杂度则为：O(M^2 * K^2 * Cin * Cout+Cout)。

2.空间复杂度

空间复杂度即模型的参数数量。

单个卷积的空间复杂度：Space~O(K^2 * Cin * Cout)

空间复杂度只与卷积核的尺寸K、通道数C相关。而与输入图片尺寸无关。当我们需要裁剪模型时，由于卷积核的尺寸通常已经很小，而网络的深度又与模型的能力紧密相关，不宜过多削减，因此模型裁剪通常最先下手的地方就是通道数。

3. 数据流的变化

设计好了网络结构之后，网络的卷积核大小，通道，步长，padding等都已经确定了，那么一个好的工程师应该非常清楚输入数据在每一层的流动情况。

计算公式：

$W_{2}=\left (W_{1}-F+2P \right )/S+1$

$H_{2}=\left (H_{1}-F+2P \right )/S+1$

$W_{1}$ ：卷积前图像的宽度;
$W_{2}$ ：卷积后Feature Map的宽度;
$H_{_{1}}$ ：卷积前图像的高度;
$H_{_{2}}$ ：卷积后Feature Map的高度;
P ：padding数量;
S：stride步长.

首先计算一下最简单的LeNet。网络结构如下：

下面是我自己论文中的一个架构图，之前一直是直接调用TensorFlow网络运行，没有关注过数据流的走向，通过今天的梳理发现全连接层确实是挺占内存的。另外计算时间复杂度的话，和输入输出feature map的大小有关，网上有人说为什么设计网络的通道数先小后大，是为了维护前面和后面的卷积计算量平衡，由此看也是有些道理的吧。[注：我的架构图在第3,7,9层卷积前面各有一个最大池化操作，在图中没有标出]

改进Resnet架构：

数据流变化：

网络层（操作）	输入	filter	stride	padding	输出	计算公式	参数量
Input	57 $\times$ 57 $\times$ 1	-	-	-	-	-	0
Conv1	57 $\times$ 57 $\times$ 1	1 $\times$ 5	1	1	57 $\times$ 57 $\times$ 16	1 $\times$ 5 $\times$ 1 $\times$ 16+16	96
Conv2	57 $\times$ 57 $\times$ 16	5 $\times$ 1	1	1	57 $\times$ 57 $\times$ 16	5 $\times$ 1 $\times$ 1 $\times$ 16+16	96
Max Pool1	57 $\times$ 57 $\times$ 16	-	2	-	29 $\times$ 29 $\times$ 16	-	-
Conv3	29 $\times$ 29 $\times$ 16	3 $\times$ 3	1	1	29 $\times$ 29 $\times$ 16	3 $\times$ 3 $\times$ 16 $\times$ 16+16	2320
Conv4	29 $\times$ 29 $\times$ 16	3 $\times$ 3	1	1	29 $\times$ 29 $\times$ 16	3 $\times$ 3 $\times$ 16 $\times$ 16+16	2320
Conv5	29 $\times$ 29 $\times$ 16	3 $\times$ 3	1	1	29 $\times$ 29 $\times$ 16	3 $\times$ 3 $\times$ 16 $\times$ 16+16	2320
Conv6	29 $\times$ 29 $\times$ 16	3 $\times$ 3	1	1	29 $\times$ 29 $\times$ 16	3 $\times$ 3 $\times$ 16 $\times$ 16+16	2320
Max Pool2	29 $\times$ 29 $\times$ 16	-	2	-	15 $\times$ 15 $\times$ 16	-	-
Conv7	15 $\times$ 15 $\times$ 16	3 $\times$ 3	1	1	15 $\times$ 15 $\times$ 32	3 $\times$ 3 $\times$ 16 $\times$ 32+32	4640
Conv8	15 $\times$ 15 $\times$ 32	3 $\times$ 3	1	1	15 $\times$ 15 $\times$ 32	3 $\times$ 3 $\times$ 32 $\times$ 32+32	4640
Max Pool3	15 $\times$ 15 $\times$ 32	-	2	1	8 $\times$ 8 $\times$ 32	-	-
Conv9	8 $\times$ 8 $\times$ 32	3 $\times$ 3	1	1	8 $\times$ 8 $\times$ 32	3 $\times$ 3 $\times$ 32 $\times$ 32+32	4640
Conv10	8 $\times$ 8 $\times$ 32	3 $\times$ 3	1	1	8 $\times$ 8 $\times$ 32	3 $\times$ 3 $\times$ 32 $\times$ 32+32	4640
Conv11	8 $\times$ 8 $\times$ 32	3 $\times$ 3	1	1	8 $\times$ 8 $\times$ 32	3 $\times$ 3 $\times$ 32 $\times$ 32+32	4640
Conv12	8 $\times$ 8 $\times$ 32	3 $\times$ 3	1	1	8 $\times$ 8 $\times$ 32	3 $\times$ 3 $\times$ 32 $\times$ 32+32	4640
Max Pool4	8 $\times$ 8 $\times$ 32	-	2	1	4 $\times$ 4 $\times$ 32	-	-
FC1	4 $\times$ 4 $\times$ 32	-	-	-	512	4 $\times$ 4 $\times$ 32 $\times$ 512+512	262656
FC2	512	-	-	-	4	512*4+4	2052

参考网址：

CNN复杂度分析

腾讯云开发者社区

腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。

更多推荐

终极指南：Flink SQL连接器版本管理从混乱到有序的升级之路

Apache Flink作为流处理领域的佼佼者，其SQL连接器的版本管理一直是开发者面临的核心挑战。本文将系统讲解Flink SQL连接器版本管理的最佳实践，帮助你轻松应对版本兼容性问题，实现从混乱到有序的升级之旅。## 连接器版本管理的常见痛点 😫在Flink应用开发中，连接器版本管理常常让开发者头疼不已。不同版本的连接器可能导致各种兼容性问题，例如API变更、功能差异甚至运行时错误。

腾讯云开发者社区

Elasticsearch复杂数据类型终极指南：从入门到精通

Elasticsearch作为功能强大的搜索引擎，支持多种复杂数据类型，让开发者能够灵活处理各种结构化和非结构化数据。本文将带你全面了解Elasticsearch中的复杂数据类型，从基础概念到实际应用，助你轻松掌握数据建模的核心技巧。## 内部对象：构建层级化数据结构在Elasticsearch中，对象类型（Object）是最基础的复杂数据类型之一，用于表示具有嵌套关系的数据。例如，我们可

腾讯云开发者社区

如何快速搭建Neon无服务器PostgreSQL：面向初学者的完整指南

Neon是一款革命性的无服务器PostgreSQL解决方案，它通过分离存储和计算层，实现了自动扩缩容、类代码式数据库分支以及零级扩展能力。本指南将帮助你从零开始搭建Neon开发环境，体验这款创新数据库的强大功能。## 准备工作：环境要求与依赖项在开始搭建Neon环境前，请确保你的系统满足以下要求：- Linux操作系统（推荐Ubuntu 20.04+或Debian 11+）- Git