DAY 43 复习日

作业：

kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化

进阶：并拆分成多个文件

数据集来源水母图像数据集 --- Jellyfish Image Dataset，对水母图片进行分类，共6个类别。

模型训练

import os
import torch
import torch.optim as optim
import torch.nn as nn
import torch.nn.functional as F
import torchvision
import torchvision.transforms as transforms
import numpy as np
import matplotlib.pyplot as plt
from PIL import Image# 设置随机种子确保结果可复现
torch.manual_seed(42)
np.random.seed(42)# 设置替代中文字体（适用于Linux）
plt.rcParams["font.family"] = ["WenQuanYi Micro Hei", "sans-serif"]
plt.rcParams['axes.unicode_minus'] = False# 定义数据预处理步骤，先将图像转换为张量，再进行归一化操作
train_transform = transforms.Compose([transforms.Resize((32, 32)),  # 调整图像大小为32x32# 随机水平翻转图像（概率0.5）transforms.RandomHorizontalFlip(),# 随机颜色抖动：亮度、对比度、饱和度和色调随机变化transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1),# 随机旋转图像（最大角度15度）transforms.RandomRotation(15),transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])test_transform = transforms.Compose([transforms.Resize((32, 32)),  # 调整图像大小为32x32transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])valid_transform = transforms.Compose([transforms.Resize((32, 32)),  # 调整图像大小为32x32transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
])# 加载训练集和测试集、验证集
trainset = torchvision.datasets.ImageFolder(root='./Train_Test_Valid/train', transform=train_transform
)
testset = torchvision.datasets.ImageFolder(root='./Train_Test_Valid/test', transform=test_transform
)
validset = torchvision.datasets.ImageFolder(root='./Train_Test_Valid/valid',transform=valid_transform
)# 定义类别名称
classes = trainset.classes
print(f"类别名称: {classes}")# 创建数据加载器，设置批量大小为32，打乱数据顺序（shuffle=True），使用2个线程加载数据
batch_size=64
# 训练集
trainloader = torch.utils.data.DataLoader(trainset, batch_size=batch_size,shuffle=True, num_workers=2
)
# 测试集
testloader = torch.utils.data.DataLoader(trainset, batch_size=batch_size,shuffle=False,num_workers=2
)
# 验证集
validloader = torch.utils.data.DataLoader(validset,batch_size=batch_size,shuffle=False, num_workers=2
)# 定义一个简单的CNN模型
class SimpleCNN(nn.Module):def __init__(self):super(SimpleCNN, self).__init__()# 第一个卷积层，输入通道为3（彩色图像），输出通道为32，卷积核大小为3x3，填充为1以保持图像尺寸不变self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1)# 第二个卷积层，输入通道为32，输出通道为64，卷积核大小为3x3，填充为1self.conv2 = nn.Conv2d(32, 64, kernel_size=3, padding=1)# 第三个卷积层，输入通道为64，输出通道为128，卷积核大小为3x3，填充为1self.conv3 = nn.Conv2d(64, 128, kernel_size=3, padding=1)# 最大池化层，池化核大小为2x2，步长为2，用于下采样，减少数据量并提取主要特征self.pool = nn.MaxPool2d(2, 2)# 第一个全连接层，输入特征数为128 * 4 * 4（经过前面卷积和池化后的特征维度），输出为512self.fc1 = nn.Linear(128 * 4 * 4, 512)# 第二个全连接层，输入为512，输出为len(classes)self.fc2 = nn.Linear(512, len(classes))def forward(self, x):# 第一个卷积层后接ReLU激活函数和最大池化操作，经过池化后图像尺寸变为原来的一半，这里输出尺寸变为16x16x = self.pool(F.relu(self.conv1(x)))  # 第二个卷积层后接ReLU激活函数和最大池化操作，输出尺寸变为8x8x = self.pool(F.relu(self.conv2(x)))  # 第三个卷积层后接ReLU激活函数和最大池化操作，输出尺寸变为4x4x = self.pool(F.relu(self.conv3(x)))  # 将特征图展平为一维向量，以便输入到全连接层x = x.view(-1, 128 * 4 * 4)# 第一个全连接层后接ReLU激活函数x = F.relu(self.fc1(x))# 第二个全连接层输出分类结果x = self.fc2(x)return x# 初始化模型
model = SimpleCNN()
print("模型已创建")# 如果有GPU则使用GPU，将模型转移到对应的设备上
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(device)
model = model.to(device)# 定义损失函数为交叉熵损失，用于分类任务
criterion = nn.CrossEntropyLoss()
# 定义优化器为Adam，用于更新模型参数，学习率设置为0.001
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)# 引入学习率调度器，在训练过程中动态调整学习率
scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer,        # 指定要控制的优化器（这里是Adam）mode='min',       # 监测的指标是"最小化"（如损失函数）patience=3,       # 如果连续3个epoch指标没有改善，才降低LRfactor=0.5        # 降低LR的比例（新LR = 旧LR × 0.5）
)# 训练模型（
def train_model(model, train_loader,test_loader,criterion, optimizer, scheduler,device,epochs=1):model.train()  # 记录每个 iteration 的损失all_iter_losses = []  # 存储所有 batch 的损失iter_indices = []     # 存储 iteration 序号# 记录每个 epoch 的准确率和损失train_acc_history = []test_acc_history = []train_loss_history = []test_loss_history = []for epoch in range(epochs):running_loss = 0.0correct=0total=0for batch_idx, (data, target) in enumerate(train_loader):data, target = data.to(device), target.to(device)  # 移至GPUoptimizer.zero_grad()  # 梯度清零output = model(data)  # 前向传播loss = criterion(output, target)  # 计算损失loss.backward()  # 反向传播optimizer.step()  # 更新参数# 记录当前 iteration 的损失iter_loss = loss.item()all_iter_losses.append(iter_loss)iter_indices.append(epoch * len(train_loader) + batch_idx + 1)# 统计准确率和损失running_loss += iter_loss_, predicted = output.max(1)total += target.size(0)correct += predicted.eq(target).sum().item()# 每100个批次打印一次训练信息if (batch_idx + 1) % 100 == 0:print(f'Epoch: {epoch+1}/{epochs} | Batch: {batch_idx+1}/{len(train_loader)} 'f'| 单Batch损失: {iter_loss:.4f} | 累计平均损失: {running_loss/(batch_idx+1):.4f}')# 计算当前epoch的平均训练损失和准确率epoch_train_loss = running_loss / len(train_loader)epoch_train_acc = 100. * correct / totaltrain_acc_history.append(epoch_train_acc)train_loss_history.append(epoch_train_loss)# 测试阶段model.eval()  # 设置为评估模式test_loss = 0correct_test = 0total_test = 0with torch.no_grad():for data, target in test_loader:data, target = data.to(device), target.to(device)output = model(data)# print(output.shape)test_loss += criterion(output, target).item()_, predicted = output.max(1)total_test += target.size(0)correct_test += predicted.eq(target).sum().item()epoch_test_loss = test_loss / len(test_loader)epoch_test_acc = 100. * correct_test / total_testtest_acc_history.append(epoch_test_acc)test_loss_history.append(epoch_test_loss)# 更新学习率调度器scheduler.step(epoch_test_loss)print(f'Epoch {epoch+1}/{epochs} 完成 | 训练准确率: {epoch_train_acc:.2f}% | 验证准确率: {epoch_test_acc:.2f}%')# 绘制所有 iteration 的损失曲线plot_iter_losses(all_iter_losses, iter_indices)print("训练完成")return epoch_test_acc  # 返回最终测试准确率def plot_iter_losses(losses, indices):plt.figure(figsize=(10, 4))plt.plot(indices, losses, 'b-', alpha=0.7, label='Iteration Loss')plt.xlabel('Iteration（Batch序号）')plt.ylabel('损失值')plt.title('每个 Iteration 的训练损失')plt.legend()plt.grid(True)plt.tight_layout()plt.show()# 7. 执行训练和测试
epochs = 50  # 增加训练轮次以获得更好效果
print("开始训练模型...")
final_accuracy = train_model(model, trainloader, testloader, criterion, optimizer, scheduler, device, epochs)
print(f"训练完成！最终验证准确率: {final_accuracy:.2f}%")# 保存模型
torch.save(model.state_dict(), 'jellyfish_model.pth')
print("模型已保存为: jellyfish_model.pth")    

@浙大疏锦行