Projections non linéaires, estimation de la fiabilité d'un capteur et fusion dépendante du contexte pour la reconnaissance audiovisuelle de parole dans le bruit

Abstract

Si on veut exploiter pleinement la complémentarité des capteurs auditif et visuel et réaliser un système de reconnaissance audiovisuelle de la parole robuste en milieu bruité, il faut introduire au coeur du processus de fusion de capteurs une information contextuelle portant sur la fiabilité des capteurs. Nous montrons ici comment estimer efficacement la fiabilité du capteur acoustique par une "Analyse en Composantes Curvilinéaires" (ACC), et comment introduire cette estimation de contexte dans le processus de fusion dans deux architectures de reconnaissance.