初识卷积神经网络-卷积层特性分析

问题一 连续卷积的等效性

1. 证明连续卷积可以由单次卷积表示

该问题的前提是，我们对一个输入执行一次卷积（核为 $k_1$），紧接着对其中间结果再执行一次卷积（核为 $k_2$），且这两次卷积之间没有非线性激活函数。我们需要证明这个两步操作等价于对原始输入执行一次单一的卷积（核为 $k_{equiv}$）。

推导过程: 根据卷积的定义（为方便，我们使用一维离散卷积，其结论可直接推广至二维），令输入为 $X$，第一次卷积的输出为 $Y$，第二次卷积的输出为 $Z$。

$$Y[i]=(X\ast k_1)[i]=\sum _{a}X[i-a]k_1[a]$$ $$Z[i]=(Y\ast k_2)[i]=\sum _{b}Y[i-b]k_2[b]$$

现在，我们将 $Y[i-b]$ 的表达式代入第二个式子中：

$$Z[i]=\sum _b\left(\sum _{a}X[(i-b)-a]k_1[a]\right)k_2[b]$$

交换求和顺序并重新整理：

$$Z[i]=\sum _a\sum _{b}X[i-(a+b)]k_1[a]k_2[b]$$

令 $c=a+b$，这个式子可以被看作是关于 $X[i-c]$ 的求和。现在，我们定义一个新的核 $k_{equiv}$：

$$k_{equiv}[c]=\sum _{a+b=c}{k}_1[a]k_2[b]$$

这个定义正是两个函数（或序列）卷积的数学定义，即 $k_{equiv}=k_1\ast k_2$。 因此，原式可以写为：

$$Z[i]=\sum _{c}X[i-c]k_{equiv}[c]=(X\ast k_{equiv})[i]$$

结论: 连续两次无非线性激活的卷积操作，等价于使用一个等效核进行单次卷积。这个等效核等于原始两个核的卷积，即 $k_{equiv}=k_1\ast k_2$。

2. 等效单核的维数

假设核 $k_1$ 的大小为 $s_1$，核 $k_2$ 的大小为 $s_2$。根据卷积的性质，两个大小分别为 $s_1$ 和 $s_2$ 的序列进行卷积后，得到的新序列大小为 $s_1+s_2-1$。 因此，等效的单次卷积核 $k_{equiv}$ 的维数（或尺寸）为 $s_1+s_2-1$。 对于二维情况，如果核 $k_1$ 大小为 $(h_1,w_1)$，核 $k_2$ 大小为 $(h_2,w_2)$，则等效核的大小为 $(h_1+h_2-1,w_1+w_2-1)$。

3. 反之亦然吗？

该问题的核心是：一个大的卷积核 $K$ 是否总能被分解为两个或多个更小的卷积核的连续卷积？

结论: 一般情况下，反之不亦然。一个大的、任意的卷积核不一定能被分解。 原因: 分解问题等价于多项式因式分解。一个一维卷积核可以被看作是一个多项式的系数。两个核的卷积等价于两个对应多项式的乘积。我们知道，并非所有的多项式都可以在一个给定的域（例如实数域）上进行因式分解。 例如，考虑一个 $3\times 1$ 的核 $K=[c_0,c_1,c_2]$，我们试图将其分解为两个 $2\times 1$ 的核 $k_1=[a_0,a_1]$ 和 $k_2=[b_0,b_1]$。

$$K=k_1\ast k_2⟹[c_0,c_1,c_2]=[a_0{b}_0,a_0{b}_1+a_1{b}_0,a_1{b}_1]$$

这是一个非线性方程组。对于任意给定的 $c_0,c_1,c_2$，这个方程组不一定有实数解。因此，分解不是总能实现的。

不过，在深度学习中，像 $3\times 3$ 卷积可以由 $3\times 1$ 和 $1\times 3$ 卷积组合（可分离卷积）等特定分解是存在的，但这不是普遍规律。

---

问题二 卷积层的计算与内存分析

给定输入形状为 $(c_i,h,w)$，核形状为 $(c_o,c_i,k_h,k_w)$，填充为 $(p_h,p_w)$，步幅为 $(s_h,s_w)$。

首先，计算输出特征图的尺寸 $(h_{out},w_{out})$：

$$h_{out}=\lfloor \frac{h+2p_h-k_h}{s_h}\rfloor +1$$ $$w_{out}=\lfloor \frac{w+2p_w-k_w}{s_w}\rfloor +1$$

1. 前向传播的计算成本

计算成本主要由乘法和加法构成，我们这里用浮点运算次数（FLOPs）来衡量。

• 计算输出特征图的一个像素: 为了计算输出特征图上一个位置的一个通道的值，我们需要进行一个三维卷积核与输入图像对应局部区域的互相关运算。这个运算涉及的乘法次数为 $c_i\times k_h\times k_w$。加法次数近似为 $c_i\times k_h\times k_w-1$。

• 计算一个完整的输出特征图: 一个输出特征图有 $c_o$ 个通道，每个通道的大小为 $h_{out}\times w_{out}$。

• 总计算量: 将上述步骤相乘。

  $$\text{乘法次数}\approx c_o\cdot h_{out}\cdot w_{out}\cdot (c_i\cdot k_h\cdot k_w)$$ $$\text{加法次数}\approx c_o\cdot h_{out}\cdot w_{out}\cdot (c_i\cdot k_h\cdot k_w-1)$$

  在分析计算复杂度时，通常将乘法和加法合并考虑，总FLOPs约为：

  $$\text{FLOPs}\approx 2\cdot c_o\cdot c_i\cdot k_h\cdot k_w\cdot h_{out}\cdot w_{out}$$

2. 内存占用

内存占用主要考虑需要存储的张量大小。

• 输入张量: $c_i\times h\times w$
• 输出张量: $c_o\times h_{out}\times w_{out}$
• 权重参数: $c_o\times c_i\times k_h\times k_w$
• 偏置参数: $c_o$ 总内存占用（不含中间计算缓存）约为上述各项之和。

3. 反向传播的内存占用

在反向传播过程中，为了计算梯度，我们通常需要存储前向传播时的某些中间结果。对于一个卷积层，除了上述的输入、输出和参数外，最关键的是需要存储其输入张量，以便计算相对于权重的梯度和相对于输入的梯度。因此，其主要的内存占用与前向传播时相当。

4. 反向传播的计算成本

反向传播的计算主要包括三部分：计算关于输出的梯度，计算关于权重的梯度，和计算关于输入的梯度。

• 关于输入的梯度: 这步操作等价于一个“转置卷积”，其计算复杂度与前向传播大致相当。
• 关于权重的梯度: 这步操作也涉及到一个卷积运算，其计算复杂度也与前向传播大致相当。

根据严谨的分析，反向传播的计算量通常是前向传播的2到3倍。一个粗略的估计是，反向传播的计算成本与前向传播在同一个数量级上，大约是前向传播的两倍。

---

问题三 通道数与填充对计算量的影响

1. 通道数加倍

根据前向传播计算成本的公式：$\text{FLOPs}\approx 2\cdot c_o\cdot c_i\cdot k_h\cdot k_w\cdot h_{out}\cdot w_{out}$。

• 如果将输入通道 $c_i$ 和输出通道 $c_o$ 的数量都加倍，新的计算量为：

  $${\text{FLOPs}}_{new}\approx 2\cdot (2c_o)\cdot (2c_i)\cdot k_h\cdot k_w\cdot h_{out}\cdot w_{out}=4\cdot {\text{FLOPs}}_{old}$$

  结论: 计算数量会增加到原来的4倍。

2. 填充数量翻一番

填充数量 $p_h,p_w$ 的变化会影响输出尺寸 $h_{out},w_{out}$。

$$h_{out}=\lfloor \frac{h+2p_h-k_h}{s_h}\rfloor +1$$

假设 $h$ 和 $k_h$ 较大，且步幅 $s_h=1$。那么 $h_{out}\approx h+2p_h-k_h$。 如果将填充 $p_h$ 翻一番变为 $2p_h$，那么新的输出高度 $h_{out}^{\prime }\approx h+4p_h-k_h$。 输出尺寸的变化不是一个简单的倍数关系，它依赖于 $h,p_h,k_h$ 的具体值。

• 当 $p_h$ 远小于 $h$ 时: 将填充翻一番，对输出尺寸的影响较小，计算量的增加也较小。
• 当 $p_h$ 与 $h$ 相当时: 翻一番填充会显著增大输出尺寸，从而导致计算量大幅增加。 结论: 填充数量翻番，计算量会增加，但具体增加的倍数与输入尺寸、核尺寸和原填充大小有关，并非简单的倍数关系。

---

问题四 $1\times 1$ 卷积核的计算复杂度

当卷积核的高度和宽度为 $k_h=k_w=1$ 时，这种卷积被称为 $1\times 1$ 卷积或逐点卷积（Pointwise Convolution）。

代入前向传播计算复杂度的公式：

$$\text{FLOPs}\approx 2\cdot c_o\cdot c_i\cdot 1\cdot 1\cdot h_{out}\cdot w_{out}$$

通常在这种情况下，我们会使用 $p_h=p_w=0,s_h=s_w=1$，使得 $h_{out}=h,w_{out}=w$。

$$\text{FLOPs}\approx 2\cdot c_o\cdot c_i\cdot h\cdot w$$

分析: 这个计算量等价于对输入特征图的每一个空间位置 $(i,j)$，都执行一次全连接层的计算。这个全连接层将一个 $c_i$ 维的输入向量（该位置上所有通道的像素值）映射到一个 $c_o$ 维的输出向量。

$${\mathbf{H}}_{:,i,j}=\mathbf{W}\cdot {\mathbf{X}}_{:,i,j}+\mathbf{b}$$

其中，$\mathbf{W}$ 是一个 $c_o\times c_i$ 的权重矩阵，它正是 $1\times 1$ 卷积核的权重。

结论: $1\times 1$ 卷积在前向传播中的计算复杂度，等价于一个作用于输入通道、权重在空间上共享的全连接层。它不进行空间上的信息聚合，但能高效地实现跨通道的信息融合与降维/升维。