【PyTorch深度学习实践】03_反向传播

对于简单的模型,梯度变换可以用解析式表达进行手算,但是复杂模型(很多w,b)的损失函数需要挨个写解析式,非常不好计算(主要是求导)。因此,可以考虑使用某种算法,把整个网络看做一个计算图,在图上传播整个梯度。这种算法,就称为反向传播算法。

转载:梯度下降法是通用的优化算法,反向传播法是梯度下降法在深度神经网络上的具体实现方式。

1.计算图

单层

需要注意的是,神经网络的训练本质,就是对每层的w和b进行训练。

每一层的结束都需要引入非线性的激活函数。
如果不加入激活函数,那么无论多少层,得到的结果都是线性的。

2.反向传播

2.1 链式求导法则

进行反向传播的关键就是链式求导。反向传播其实就是计算图中的梯度求解,通过链式求导得到L对x和w的导数(梯度),再根据更新规则进行更新。

链式求导的规则,非常形象的图:

2.2 反向传播过程

1.构建计算图(前馈)

2. 求输出关于x和w的梯度

3. 损失L关于输出z的偏导

4. 运用链式求导法则,求L关于x和w的偏导(反馈)


一个简单线性模型(仿射模型)的前馈+反馈过程

3.Pytorch中前馈和反馈的计算

3.1 Tensor

参考博客
Tensor本身是一个类,里面包含两个比较重要的成员data(比如权重值)和grad(损失函数对权重的导数)

3.2 代码演示

import torch
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = torch.Tensor([1.0])
w.requires_grad = True
def forward(x): # 前馈过程
 return x * w # 因为w是tensor,因此x会自动类型转换变成tensor,输出的结果也变为tensor
def loss(x, y): # 损失函数
 y_pred = forward(x)
 return (y_pred - y) ** 2
loss_list = []
epoch_list = []
print("predict(before training)",4, forward(4).item()) # 因为数值是一维标量,所以可以直接用item取,不是标量(如向量,矩阵)得用data
for epoch in range(100):
 for x, y in zip(x_data, y_data):
 l = loss(x, y) # 前馈:前馈并计算损失函数
 l.backward() # 反馈:张量自带的成员函数,会自动反向传播算梯度,把计算连路上所有需要的梯度都求出来,算完会释放这个计算图,每次都会创建新的计算图
 print('\tgrad:', x, y, w.grad.item())
 w.data = w.data - 0.03 * w.grad.data # 更新:.data得到的也是张量,但是只是数值改变的运算。不取data会构建计算图,占用内存
 
 w.grad.data.zero_() # 把权重的梯度数据清零,不然后面几轮会累加计算
 epoch_list.append(epoch)
 loss_list.append(l.item())
 print("progress:", epoch, l.item())
print("predict(after training)", 4, forward(4).item())
plt.plot(epoch_list, loss_list)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()

得到的图像如下:

作者:青山的青衫原文地址:https://blog.csdn.net/weixin_56956615/article/details/128517292

%s 个评论

要回复文章请先登录注册