ASL Real-time Detection from Video/Image
Application web et mobile de reconnaissance en temps réel des signes ASL à partir d’une caméra ou d’une image.
ASL Real-time Detection reconnaît les lettres de l’American Sign Language depuis une webcam, une caméra mobile ou une image importée. Le système détecte jusqu’à deux mains, extrait leurs repères, applique un modèle de classification et renvoie la prédiction avec son niveau de confiance.
Problème traité
La reconnaissance de la langue des signes à partir d’une caméra nécessite un système capable de détecter précisément les mains, d’interpréter leurs positions et de fournir des prédictions stables en temps réel sur le web et sur mobile.
Objectifs
Architecture
Le backend FastAPI charge un détecteur MediaPipe Hand Landmarker et un classifieur TorchScript au démarrage. Pour chaque image reçue, il redimensionne l’image, détecte jusqu’à deux mains et extrait 21 repères tridimensionnels par main. Les repères sont normalisés par rapport au poignet puis transformés en un vecteur de 137 caractéristiques. Le classifieur applique ensuite une prédiction, un calcul softmax, un argmax et un seuil de confiance fixé à 0.55. Le frontend React/Vite permet l’utilisation d’une webcam ou l’importation d’une image. L’application mobile Expo permet d’utiliser la caméra, la galerie, le flux WebSocket, la composition de texte et la traduction vers l’arabe.