Le lip sync par IA recale les lèvres d’une personne filmée sur une nouvelle bande son. Tu doubles ta vidéo en anglais, tu remplaces une phrase ratée, et la bouche suit le nouveau texte au lieu de rester sur l’ancien. La technique tient sur un plan de face, bien éclairé, avec un son propre. Elle se voit dès qu’une de ces trois conditions manque. Voici le fonctionnement, les usages solides et les signes d’un mauvais rendu.
Ce que recouvre la synchronisation labiale automatique
Le terme regroupe trois travaux différents. Ils n’ont ni la même difficulté ni le même rendu.
- Le doublage : tu gardes l’image d’origine et tu remplaces la voix par une autre langue. Le modèle redessine la zone de la bouche pour coller au nouveau texte.
- La retouche : une phrase a été mal dite au tournage. Tu la réenregistres, le modèle recale les lèvres sur ces quelques secondes. Le reste du plan ne bouge pas.
- L’avatar : il n’y a pas de tournage. Une photo ou un personnage généré sert de support, et le visage entier s’anime sur la voix.
Les deux premiers cas partent d’une vidéo réelle et se jugent à la cohérence avec le reste de l’image. Le troisième part de zéro et se juge sur le naturel du mouvement.
Comment un modèle recale une bouche
La chaîne de traitement suit toujours les mêmes étapes, quel que soit l’outil.
- Détection du visage image par image, avec des points de repère sur les lèvres, le menton et la mâchoire.
- Analyse de la nouvelle piste audio, découpée en sons élémentaires avec leur position dans le temps.
- Correspondance entre chaque son et la forme de bouche qui lui va.
- Régénération de la zone bouche et menton, image par image, sur la forme attendue.
- Recollage de cette zone sur l’image d’origine, avec un raccord de teinte et de grain.
Les visèmes, et pourquoi la marge d’erreur passe inaperçue
Un phonème est un son. Un visème est la forme de bouche qui le produit. Les deux ne se correspondent pas un pour un : les sons p, b et m donnent la même bouche fermée, f et v posent la même lèvre sur les dents. Un modèle qui se trompe entre deux sons du même groupe reste crédible à l’œil. C’est ce qui rend le doublage automatique acceptable alors que la transcription sous-jacente reste imparfaite. C’est aussi pour cela que l’erreur, quand elle se voit, se voit beaucoup : elle porte alors sur un groupe différent.
Les usages qui tiennent la route
- Traduire une formation déjà tournée. Le formateur est de face, statique, bien éclairé. C’est le cas le plus favorable.
- Adapter une vidéo produit à plusieurs marchés sans refaire le tournage dans chaque langue.
- Rattraper une erreur de texte repérée au montage, sur un nom de marque ou un tarif.
- Homogénéiser une série de témoignages tournés à des dates différentes, avec une voix unique.
Le point commun de ces quatre cas : le plan cadre un visage de face, et la personne parle sans bouger la tête à grande vitesse.
Ce qui trahit un mauvais lip sync
Regarde ces six détails avant de valider un rendu. Ils suffisent à repérer un travail bâclé.
- La zone de la bouche est plus nette ou plus floue que le reste du visage. Le raccord de grain n’a pas été fait.
- Les dents changent de forme d’une image à l’autre, ou apparaissent alors que la bouche est presque fermée.
- Le menton reste figé pendant que les lèvres bougent. Une vraie parole entraîne la mâchoire.
- Le décalage sur les consonnes explosives. Sur un p ou un b, la bouche se ferme avant le son, pas après.
- La lumière ne suit pas. L’ombre sous la lèvre inférieure reste identique alors que la bouche s’ouvre.
- Le contour se met à vibrer quand la tête tourne, parce que le modèle perd ses points de repère.
Ces mêmes indices servent à reconnaître une vidéo manipulée. Le sujet est traité en détail dans ce guide.
Préparer une vidéo qui se double bien
Le résultat se joue au tournage, pas au traitement. Applique cette liste avant de filmer.
- Cadre le visage de face, ou à trois quarts au maximum. Le profil pur échoue presque toujours.
- Garde une lumière stable sur le bas du visage. Une lampe qui bouge produit des raccords sales.
- Filme en haute définition. Le modèle travaille sur une petite zone : chaque pixel compte.
- Demande à la personne de ne pas porter la main devant sa bouche, et d’éviter les mouvements de tête rapides.
- Enregistre le son séparément, sans musique dessus. La piste servira de référence pour le calage.
- Prévois une marge de durée au montage. Le texte traduit ne tombe pas sur la même longueur que l’original.
La durée, le piège le plus courant
Une phrase traduite d’une langue à l’autre change de longueur. De l’anglais vers le français, elle s’allonge souvent. Si tu imposes la durée du plan d’origine, la voix de synthèse accélère son débit pour rentrer dans la case, et le résultat sonne artificiel. Deux solutions marchent : réécrire la traduction plus courte, ou rallonger le plan avec une image tenue. La première donne un meilleur rendu dans presque tous les cas. Traduire pour le doublage n’est pas traduire un texte : tu écris pour une durée.
Les limites à connaître avant de te lancer
- Plusieurs personnes dans le cadre. Le modèle doit savoir qui parle. Sans séparation des voix, il recale la mauvaise bouche.
- Le chant. Les tenues de note et les mouvements de mâchoire ne suivent pas les règles de la parole.
- Les occlusions. Un micro tenu à la main, une barbe fournie, une mèche devant le visage font décrocher le suivi.
- Les langues peu représentées. Le calage repose sur des données d’entraînement : moins la langue est couverte, plus le rendu reste approximatif.
- Un son source dégradé. Un enregistrement saturé donne une segmentation fausse, donc un calage faux.
Pour choisir un outil de production vidéo, la sélection publiée sur tasksgenius.io donne le panorama des générateurs disponibles.
Le cadre à respecter
Faire parler quelqu’un dans une langue qu’il n’a pas prononcée engage ta responsabilité. Trois règles couvrent la majorité des situations.
- Obtiens l’accord écrit de la personne filmée, en mentionnant le doublage automatique et les langues visées.
- Signale le traitement quand la vidéo sort en public. Les grandes plateformes demandent désormais un étiquetage des contenus générés.
- Ne réutilise pas la voix d’une personne pour lui faire dire autre chose que son propos d’origine. C’est la ligne qui sépare le doublage du trucage.
Par quoi commencer
Prends une vidéo existante de deux minutes, de face, bien éclairée. Fais-la doubler dans une seule langue. Regarde le rendu sur un grand écran et pas sur ton téléphone : le téléphone masque les défauts de raccord. Passe ensuite la liste des six signes de mauvais rendu. Si aucun ne ressort, tu tiens un flux exploitable pour tout ton catalogue. Sinon, le problème vient du tournage, et aucun outil ne le rattrapera.