Seedance 2.0 : diriger une vidéo IA et synchroniser un clip musical

Deux semaines de tests avec Seedance 2.0

La vidéo a été publiée le 22 avril 2026 après environ deux semaines d’essais sur plusieurs plateformes et via API. Le test présenté ici a été réalisé sur Higgsfield, qui sponsorisait la vidéo. Ce soutien est signalé clairement, mais les réussites comme les défauts visibles ont été conservés.

Mon objectif était simple : voir si Seedance 2.0 pouvait servir à diriger une scène au lieu de produire une jolie image animée au hasard. J’ai donc testé des interactions physiques, un plan continu complexe, des références de caméra et un début de clip musical.

Ce que Seedance 2.0 ajoute au workflow

ByteDance présente Seedance 2.0 comme un modèle commun à l’image et au son. Il peut recevoir plusieurs types de références dans une seule demande et s’en servir pour la composition, le mouvement, la caméra, le rythme et les caractéristiques sonores.

• jusqu’à neuf images de référence ;
• jusqu’à trois clips vidéo ;
• jusqu’à trois extraits audio ;
• des consignes en langage naturel ;
• des séquences de quinze secondes avec plusieurs plans et un son généré avec l’image.

Cette combinaison change la manière de rédiger le prompt. Une image peut fixer le personnage, une vidéo peut donner le mouvement de caméra ou la gestuelle, et un extrait audio peut porter le rythme ou la voix. Le texte sert alors à expliquer le rôle de chaque élément.

Tester la physique sans masquer les défauts

Le premier essai montre une voiture qui percute un mur. Le mouvement, les traces de dérapage et l’ambiance sonore sont crédibles, mais la voiture ressort presque intacte. Un autre test avec un œuf donne une chute cohérente, puis la coquille se dissout légèrement au moment de l’impact.

Ces détails comptent. Seedance 2.0 gère mieux les mouvements complexes que beaucoup de modèles précédents, mais il ne transforme pas une génération en simulation physique exacte. Il faut regarder toute la séquence, surtout les impacts, les mains, les objets et les changements rapides de direction.

Un plan continu demande un prompt de tournage

Pour la scène de science-fiction, le prompt décrit un seul plan de quinze secondes avec des vaisseaux en poursuite. J’y précise la scène, les mouvements de caméra, les différentes phases de l’action et le rythme. Le résultat garde une bonne continuité et synchronise correctement le son avec les images.

Un prompt long n’est pas automatiquement meilleur. Il devient utile lorsqu’il organise la durée : ouverture, déplacement, action principale, réaction et fin du plan. Le vocabulaire de tournage aide aussi à distinguer un suivi à l’épaule, un mouvement orbital, un recul ou une montée de caméra.

La méthode pour un clip musical synchronisé

Le point le plus important du test concerne la synchronisation labiale. Je découpe d’abord la chanson en extraits dont la durée correspond exactement aux séquences à générer. Dans la vidéo, quatre mesures à 80 BPM donnent un extrait de douze secondes. À 120 BPM, ces quatre mesures durent huit secondes.

1. découper le chant sur une durée compatible avec la génération ;
2. utiliser la même durée pour l’audio et la vidéo ;
3. fournir une image d’avatar détaillée ;
4. ajouter les paroles chantées dans le prompt ;
5. préciser les mouvements de caméra ;
6. interdire les sous-titres et le texte si vous n’en voulez pas dans l’image.

Pour guider encore mieux les lèvres et la tête, je peux remplacer l’extrait audio par une vidéo où je mime le chant. Seedance reprend alors la gestuelle, tandis que l’image de référence conserve l’apparence de l’avatar. Cette méthode demande une préparation plus longue, mais elle donne davantage de contrôle.

Pourquoi je remets l’audio original au montage

Dans mes essais, l’audio donné comme référence pouvait être déformé lorsqu’il était régénéré avec la vidéo. Je préfère donc utiliser l’extrait pour guider les lèvres et le rythme, puis couper le son de la génération et remettre la piste originale au montage. Le modèle prépare le rush ; le fichier audio propre reste la référence finale.

Ce que les sources officielles confirment

ByteDance confirme les entrées multimodales, les séquences de quinze secondes, l’audio stéréo généré avec l’image, l’édition ciblée et la prolongation de vidéo. L’éditeur reconnaît aussi des défauts persistants sur la stabilité des détails, le rendu du texte, la cohérence entre plusieurs sujets et certaines distorsions audio.

Higgsfield recommande de commencer avec une image nette et un rendu à 720p, de modifier un seul élément par essai, puis d’ajouter la haute définition et le son natif au dernier passage. C’est proche de la méthode utilisée dans la vidéo : tester moins cher, verrouiller le mouvement, puis calculer la version finale.

Les contrôles avant de garder un rush

• regarder le clip jusqu’à la dernière image ;
• vérifier le visage, les mains, les objets et les impacts ;
• contrôler que la caméra suit bien la consigne ;
• comparer la durée de la piste audio et de la séquence ;
• écouter les dialogues et les bruits sans se fier uniquement à la synchronisation visuelle ;
• conserver le prompt, les références et les réglages du tirage retenu.