深度学习（十）——神经网络：非线性激活

一、Padding Layers简介

• nn.ZeroPad2d：在输入的tensor数据类型周围用0进行填充

• nn.ConstantPad2d：在输入的tensor数据类型周围用常数进行填充

这个函数的主要作用是对输入的图像进行填充，但里面所有功能都能用nn.Conv2d实现。

二、Non-linear Activations

非线性激活主要作用是为神经网络引入一些非线性特质

1. nn.ReLU介绍

class torch.nn.ReLU(inplace=False) 

作用：

• (inputleq{0})，(output=0)

• (input>0)，(output=input)

计算公式：

[ReLU(x)=(x)^+=max(0,x) ]

inplace参数：

• inplace=True，则会自动替换输入时的变量参数。如：input=-1，ReLU(input,implace=True)，那么输出后，input=output=0

• inplace=True，则不替换输入时的变量参数。如：input=-1，ReLU(input,implace=True)，那么输出后，input=-1，output=0

2. nn.Sigmoid介绍

class torch.nn.Sigmoid(*args, **kwargs) 

计算公式：

[Sigmiod(x)=sigma(x)=frac{1}{1+exp(-x)} ]

三、代码栗子

1. nn.ReLU函数

import torch import torchvision from torch import nn from torch.nn import ReLU,Sigmoid from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriter  input=torch.tensor([[1,-0.5],                     [-1,3]]) output=torch.reshape(input,(-1,1,2,2))  #构建神经网络 class Demo(nn.Module):     def __init__(self):         super(Demo,self).__init__()         self.relu1=ReLU()      def forward(self,input):         output=self.relu1(input)         return output  demo=Demo() output=demo(input) print(output)  """ [Run] tensor([[1., 0.],         [0., 3.]]) """ 

2. nn.Sigmoid函数

import torch import torchvision from torch import nn from torch.nn import ReLU,Sigmoid from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriter  dataset=torchvision.datasets.CIFAR10("./dataset",train=False,download=True,transform=torchvision.transforms.ToTensor()) dataloder=DataLoader(dataset,batch_size=64)  class Demo1(nn.Module):     def __init__(self):         super(Demo1,self).__init__()         self.sigmoid=Sigmoid()      def forward(self,input):         output=self.sigmoid(input)         return output  demo1=Demo1() writer=SummaryWriter("logs_sigmoid") step=0 for data in dataloder:     imgs,targets=data     writer.add_images("input",imgs,global_step=step)     output=demo1(imgs)     writer.add_images("output",output,global_step=step)     step+=1 writer.close() 

输出结果：

3. 非线性变换的目的

• 非线性变换的目的是为神经网络引入一些非线性特征，使其训练出一些符合各种曲线或各种特征的模型。

• 换句话来说，如果模型都是直线特征的话，它的泛化能力会不够好。