Transport YOLO Robot — Pipeline de vision par ordinateur

Pipeline Python de préparation de données, d’entraînement et de détection d’objets pour un système de transport robotique.

Transport YOLO Robot est un projet de vision par ordinateur permettant de fusionner plusieurs jeux de données au format YOLO et d’entraîner des détecteurs personnalisés. Il reconnaît des panneaux routiers, des feux de circulation et la classe supplémentaire Bart Simpson, tout en conservant les poids, métriques et graphiques d’entraînement.

01

Problème traité

Les données nécessaires à la détection sont réparties dans plusieurs jeux de données utilisant des classes et des identifiants différents. Le projet doit les uniformiser afin d’entraîner un détecteur unique capable de reconnaître plusieurs éléments routiers et une classe visuelle supplémentaire.

02

Objectifs

Fusionner plusieurs jeux de données au format YOLO.
Uniformiser les identifiants des classes dans les annotations.
Créer un jeu de données à trois classes.
Créer un second jeu de données à six classes.
Entraîner des détecteurs personnalisés par transfert d’apprentissage.
Produire les poids best.pt et last.pt.
Générer les métriques et graphiques de validation.
Exécuter une détection locale d’objets et de QR codes.
Produire une sortie vocale à partir du contenu détecté.

03

Solution technique

Le projet utilise deux scripts Python pour fusionner les images et annotations provenant de plusieurs jeux de données. fusionner_datasets.py génère dataset_final avec les classes stop, vitesse_80 et feux_rouge. fusionner_v2.py génère dataset_v2 avec les classes stop, vitesse_80, feux_rouge, feux_vert, feux_orange et bart_simpson. Les scripts entrainer.py et entrainer_v2.py entraînent ensuite deux détecteurs personnalisés pendant respectivement 50 et 80 époques. Les poids, métriques, matrices de confusion et courbes sont enregistrés dans runs/detect/. L’application locale pc_main.py réalise l’inférence visuelle, détecte les QR codes avec OpenCV et utilise la synthèse vocale. Toutefois, elle charge actuellement le modèle générique yolov8n.pt et non le poids personnalisé runs/detect/best_2/weights/best.pt.

04

Architecture

Jeux de données YOLO sources
Jeu de données Stop Sign
Jeu de données Vitesse 80
Jeu de données Feux rouges
Jeu de données Feux verts
Jeu de données Feux oranges
Jeu de données Bart Simpson
Scripts Python de fusion
Script fusionner_datasets.py
Jeu de données dataset_final
Script fusionner_v2.py
Jeu de données dataset_v2
Annotations YOLO remappées
Fichiers data.yaml
Modèle initial YOLOv8n
Script entrainer.py
Entraînement sur 50 époques
Run robot_panneaux-4
Script entrainer_v2.py
Entraînement sur 80 époques
Run best_2
Poids best.pt
Poids last.pt
Fichier results.csv
Matrices de confusion
Courbes de précision
Courbes de rappel
Courbes mAP
Application locale pc_main.py
Inférence vidéo
Détection d’objets
Détection de QR codes
Synthèse vocale
Lecture audio

05

Résultats documentés

dataset_final contient 726 paires image et annotation.
dataset_final regroupe les classes Stop, Vitesse 80 et Feux rouges.
dataset_v2 contient 1 046 paires image et annotation.
dataset_v2 contient 509 images Stop.
dataset_v2 contient 50 images Vitesse 80.
dataset_v2 contient 99 images Feux rouges.
dataset_v2 contient 200 images Feux verts.
dataset_v2 contient 88 images Feux oranges.
dataset_v2 contient 100 images Bart Simpson.
Le run best_2 contient les poids best.pt et last.pt.
À l’époque 80, le run best_2 atteint une précision de 0,98033.
À l’époque 80, le run best_2 atteint un rappel de 0,97377.
À l’époque 80, le run best_2 atteint un mAP@50 de 0,98464.
À l’époque 80, le run best_2 atteint un mAP@50-95 de 0,87617.
Le run robot_panneaux-4 contient les poids best.pt et last.pt.
À l’époque 50, le run robot_panneaux-4 atteint une précision de 0,99771.
À l’époque 50, le run robot_panneaux-4 atteint un rappel de 0,99942.
À l’époque 50, le run robot_panneaux-4 atteint un mAP@50 de 0,99452.
À l’époque 50, le run robot_panneaux-4 atteint un mAP@50-95 de 0,88480.
Les ensembles de validation configurés sont identiques aux ensembles d’entraînement.
Les métriques obtenues ne correspondent donc pas à une évaluation indépendante.
Aucun test automatisé n’est présent.
Aucun workflow CI/CD n’est présent.
Aucune base de données n’est utilisée.
Aucune API locale n’est implémentée.
Aucun fichier de dépendances versionné n’est présent.