神经网络入门篇：详解多样本向量化（Vectorizing across multiple examples）

多样本向量化

• 与上篇博客相联系的来理解

逻辑回归是将各个训练样本组合成矩阵，对矩阵的各列进行计算。神经网络是通过对逻辑回归中的等式简单的变形，让神经网络计算出输出值。这种计算是所有的训练样本同时进行的，以下是实现它具体的步骤：

图1.4.1

上篇博客中得到的四个等式。它们给出如何计算出(z^{[1]})，(a^{[1]})，(z^{[2]})，(a^{[2]})。

对于一个给定的输入特征向量(X)，这四个等式可以计算出(alpha^{[2]})等于(hat{y})。这是针对于单一的训练样本。如果有(m)个训练样本,那么就需要重复这个过程。

用第一个训练样本(x^{[1]})来计算出预测值(hat{y}^{[1]})，就是第一个训练样本上得出的结果。

然后，用(x^{[2]})来计算出预测值(hat{y}^{[2]})，循环往复，直至用(x^{[m]})计算出(hat{y}^{[m]})。

用激活函数表示法，如上图左下所示，它写成(a^{[2](1)})、(a^{[2](2)})和(a^{[2](m)})。

【注】：(a^{[2](i)})，((i))是指第(i)个训练样本而([2])是指第二层。

如果有一个非向量化形式的实现，而且要计算出它的预测值，对于所有训练样本，需要让(i)从1到(m)实现这四个等式：

(z^{[1](i)}=W^{[1](i)}x^{(i)}+b^{[1](i)})

(a^{[1](i)}=sigma(z^{[1](i)}))

(z^{[2](i)}=W^{[2](i)}a^{[1](i)}+b^{[2](i)})

(a^{[2](i)}=sigma(z^{[2](i)}))

对于上面的这个方程中的(^{(i)})，是所有依赖于训练样本的变量，即将((i))添加到(x)，(z)和(a)。如果想计算(m)个训练样本上的所有输出，就应该向量化整个计算，以简化这列。

这里需要使用很多线性代数的内容，重要的是能够正确地实现这一点，尤其是在深度学习的错误中。实际上我认真地选择了运算符号，这些符号只是针对于我所写神经网络系列的博客的，并且能使这些向量化容易一些。

所以，希望通过这个细节可以更快地正确实现这些算法。接下来讲讲如何向量化这些：
公式1.12：

[x = left[ begin{array}{c} vdots & vdots & vdots & vdots\ x^{(1)} & x^{(2)} & cdots & x^{(m)}\ vdots & vdots & vdots & vdots\ end{array} right] ]

公式1.13：

[Z^{[1]} = left[ begin{array}{c} vdots & vdots & vdots & vdots\ z^{[1](1)} & z^{[1](2)} & cdots & z^{[1](m)}\ vdots & vdots & vdots & vdots\ end{array} right] ]

公式1.14：

[A^{[1]} = left[ begin{array}{c} vdots & vdots & vdots & vdots\ alpha^{[1](1)} & alpha^{[1](2)} & cdots & alpha^{[1](m)}\ vdots & vdots & vdots & vdots\ end{array} right] ]

公式1.15：

[left. begin{array}{r} text{$z^{[1](i)} = W^{[1](i)}x^{(i)} + b^{[1]}$}\ text{$alpha^{[1](i)} = sigma(z^{[1](i)})$}\ text{$z^{[2](i)} = W^{[2](i)}alpha^{[1](i)} + b^{[2]}$}\ text{$alpha^{[2](i)} = sigma(z^{[2](i)})$}\ end{array} right} implies begin{cases} text{$A^{[1]} = sigma(z^{[1]})$}\ text{$z^{[2]} = W^{[2]}A^{[1]} + b^{[2]}$}\ text{$A^{[2]} = sigma(z^{[2]})$}\ end{cases} ]

定义矩阵(X)等于训练样本，将它们组合成矩阵的各列，形成一个(n)维或(n)乘以(m)维矩阵。接下来计算见公式1.15：

以此类推，从小写的向量(x)到这个大写的矩阵(X)，只是通过组合(x)向量在矩阵的各列中。

同理，(z^{[1](1)})，(z^{[1](2)})等等都是(z^{[1](m)})的列向量，将所有(m)都组合在各列中，就的到矩阵(Z^{[1]})。

同理，(a^{[1](1)})，(a^{[1](2)})，……，(a^{[1](m)})将其组合在矩阵各列中，如同从向量(x)到矩阵(X)，以及从向量(z)到矩阵(Z)一样，就能得到矩阵(A^{[1]})。

同样的，对于(Z^{[2]})和(A^{[2]})，也是这样得到。

这种符号其中一个作用就是，可以通过训练样本来进行索引。这就是水平索引对应于不同的训练样本的原因，这些训练样本是从左到右扫描训练集而得到的。

在垂直方向，这个垂直索引对应于神经网络中的不同节点。例如，这个节点，该值位于矩阵的最左上角对应于激活单元，它是位于第一个训练样本上的第一个隐藏单元。它的下一个值对应于第二个隐藏单元的激活值。它是位于第一个训练样本上的，以及第一个训练示例中第三个隐藏单元，等等。

当垂直扫描，是索引到隐藏单位的数字。当水平扫描，将从第一个训练示例中从第一个隐藏的单元到第二个训练样本，第三个训练样本……直到节点对应于第一个隐藏单元的激活值，且这个隐藏单元是位于这(m)个训练样本中的最终训练样本。

从水平上看，矩阵(A)代表了各个训练样本。从竖直上看，矩阵(A)的不同的索引对应于不同的隐藏单元。

对于矩阵(Z，X)情况也类似，水平方向上，对应于不同的训练样本；竖直方向上，对应不同的输入特征，而这就是神经网络输入层中各个节点。

神经网络上通过在多样本情况下的向量化来使用这些等式。