Maxime Baudry's profileMathilde Allain's profile

Inclusio - Application





Inclusio

Inclusio est l'application qui facilite l'insertion des élèves sourds muets en milieu scolaire, son objectif est de retranscrire le langage des signes à l'oral et inversement par le biais d'une application reposant sur l'intelligence artificielle.

L'application sera au format tablette pour l'enfant reliée à l'application mobile pour l'enseignant.

Réalisé au cours du défi Hackathon à la Wild Code School, nous avions l'audacieux challenge de le mener à bien en 48 heures.
​​​​​​​

La problématique

320 000 enfants sourds ou présentant de lourdes difficultés auditives sont scolarisés en milieu scolaire dit "ordinaire"

Comment inclure les élèves sourds, muets ou sourds-muets en milieu scolaire en favorisant les échanges en classe avec le groupe et l'enseignant afin de limiter le sentiment d'isolement et les risques d'échecs scolaires ?





      




Le menu de notre application offre une variété de sections pour une expérience personnalisée. 

Vous pouvez rejoindre votre classe et donc accéder au traducteur, consulter vos leçons enregistrées, le menu "Mes camarades" offre la possibilité de consulter et d'associer chaque avatar à la photo correspondante de chaque élève, permettant ainsi une identification facile au sein de la communauté scolaire.

Profitez également de jeux interactifs pour favoriser la communication et renforcer les liens entre les élèves. 

La section 'Noter ma journée' vous permet d'évaluer votre intégration.






Inclusio va au-delà des barrières de la communication en proposant un traducteur intégré doté d'intelligence artificielle. 

Ce dernier permet de convertir le langage des signes via la caméra de la tablette à l'oral avec une voix préalablement sélectionnée via l'application. 

De manière tout aussi immersive, il traduit également l'oral à l'écrit et en langage des signes à travers un avatar animé. 

De plus, en reconnaissant la voix de chaque élève, le traducteur peut fournir des traductions associées à l'avatar correspondant, offrant ainsi une expérience de communication complète et adaptée à chacun.

Le traducteur inclut un mode récré qui propose des sujets de discussion via l'application favorisant ainsi les échanges entre élèves.






L'application enseignant simplifie la gestion de la classe en permettant la création des avatars, le chargement des noms et photos des élèves, et le paramétrage des voix pour la reconnaissance vocale. 

Elle assure également la réception d'alertes des élèves, offre des conseils d'experts, et facilite le suivi de leur autoévaluation quotidienne.






Les pistes d'amélioration

Jeux interactifs

Favoriser l’inclusion et le partage autour d’un jeu où les autres élèves doivent reproduire les signes proposés par un avatar via la caméra de la tablette.

Mode assombrir les couleurs

Si l’activité nécessitant l’usage de l’application se prolonge, il sera nécessaire de pouvoir activer le mode “assombrir les couleurs” qui permettra de mettre en valeur uniquement les éléments utiles afin de ne pas altérer le confort visuel. 

Amélioration du lien entre le professeur et l’élève

L’application tablette de l’enfant et mobile de l’enseignant peuvent évoluer conjointement pour proposer un meilleur suivi de l’évolution de l’élève.
De la même manière, un espace parent pourrait être créer pour favoriser les échanges et le suivi de l’élève en classe avec le professeur. 

Mode gaucher et droitier

Afin d’améliorer l’ergonomie de l’application, nous proposons de développer un mode supplémentaire permettant à l’enfant de moduler l’application en fonction de sa préférence manuelle : si l’enfant est gaucher, les boutons se trouveront à gauche de l’écran.






Inclusio - Application
Published:

Inclusio - Application

Inclusio est l'application qui facilite l'insertion des élèves sourds muets en milieu scolaire, son objectif est de retranscrire le langage des s Read More

Published: