水污染水质检测数据集

名称

水污染水质检测数据集 (Water Pollution Detection Dataset)

规模

• 图像数量：2487张图像。
• 类别：4种水质类别。
• 标注个数：2489个标注。

数据划分

• 训练集 (Train)：通常占总数据的80%左右，约1989张图像。
• 验证集 (Validation)：通常占总数据的20%左右，约500张图像。

类别和数量

• clean：587张图像，589个标注。
• turbid：587张图像，587个标注。
• pollute：746张图像，746个标注。
• normal：567张图像，567个标注。

数据特点

• 高质量与高分辨率：所有图像均为高分辨率，适合进行详细的目标检测任务。
• 多样性和复杂性：图像覆盖了各种水质情况，增加了模型的泛化能力。
• 详尽标注：每个图像都附有准确的边界框标注信息，确保了训练数据的质量。

应用领域

• 环境监测：帮助环保部门及时发现并追踪水源污染情况。
• 水资源管理：为水资源管理和保护提供决策依据。
• 科学研究：为水污染治理和环境保护研究提供基础数据支持。

1. 安装依赖库

首先，确保安装了必要的依赖库。可以在项目目录中的requirements.txt文件中列出这些依赖库，然后运行以下命令进行安装：

pip install -r requirements.txt

requirements.txt 文件内容示例：

torch==1.10.0
torchvision==0.11.1
pandas==1.3.4
cv2
albumentations==1.1.0

2. 创建数据集

定义一个自定义的数据集类，并创建数据加载器。

import os
import pandas as pd
import cv2
from torch.utils.data import Dataset, DataLoader
from torchvision.transforms import Compose, ToTensor, Normalize, Resize
from albumentations import HorizontalFlip, RandomBrightnessContrast, ShiftScaleRotate, BboxFromMasks, BBoxFormatPASCAL
from albumentations.pytorch import ToTensorV2

# 自定义数据集类
class WaterPollutionDataset(Dataset):
    def __init__(self, data_root, annotations_file, transforms=None):
        self.data_root = data_root
        self.annotations = pd.read_csv(annotations_file)
        self.transforms = transforms

    def __len__(self):
        return len(self.annotations)

    def __getitem__(self, idx):
        img_path = os.path.join(self.data_root, self.annotations.iloc[idx, 0])
        image = cv2.imread(img_path)
        bboxes = self.annotations.iloc[idx, 1:].values.reshape(-1, 4)  # bounding box coordinates
        labels = self.annotations.columns[1:]

        if self.transforms:
            augmented = self.transforms(image=image, bboxes=bboxes)
            image = augmented['image']
            bboxes = augmented['bboxes']

        return image, bboxes, labels

# 图像预处理
def get_transforms():
    """构建预处理函数"""
    _transform = [
        Resize(height=416, width=416, interpolation=cv2.INTER_LINEAR),
        HorizontalFlip(p=0.5),
        RandomBrightnessContrast(p=0.2),
        ShiftScaleRotate(p=0.5, shift_limit=0.0625, scale_limit=0.2, rotate_limit=15),
        Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
        ToTensorV2(),
        BboxFromMasks(format=BBoxFormatPASCAL)
    ]
    return Compose(_transform)

# 创建数据加载器
train_dataset = WaterPollutionDataset(
    data_root='path_to_your_data_directory',
    annotations_file='path_to_your_annotations.csv',
    transforms=get_transforms()
)
val_dataset = WaterPollutionDataset(
    data_root='path_to_your_data_directory',
    annotations_file='path_to_your_annotations.csv',
    transforms=get_transforms()
)

train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True, num_workers=4)
val_loader = DataLoader(val_dataset, batch_size=32, shuffle=False, num_workers=4)

3. 训练YOLOv5模型

使用YOLOv5进行训练。

!git clone https://github.com/ultralytics/yolov5  # 下载YOLOv5代码仓库
cd yolov5

# 使用YOLOv5训练模型
python train.py --weights yolov5s.pt --data path_to_your_data.yaml --name water_pollution_detection --img 416 --batch 16 --epochs 100 --device 0

• 数据配置文件：创建一个名为data.yaml的数据配置文件，其中包含训练和验证数据集的信息。

train: path_to_your_train_images
val: path_to_your_val_images
nc: 4  # 类别数量
names: [clean, turbid, pollute, normal]

4. 调整模型

• 超参数调整：根据实际情况调整模型的超参数，例如学习率、批大小等。
• 数据增强：增加数据增强策略，如旋转、缩放、