Ne serait-il pas génial de pouvoir se filmer soi-même et se transformer facilement en un personnage de dessin animé, donner libre court à notre imagination pour nous mettre en scène dans les costumes et décors les plus fantastiques ? Le monde de l’animation a connu une évolution considérable ces dernières années grâce à l’utilisation de la technologie de traitement d’images par intelligence artificielle.
Dans une vidéo publiée sur YouTube, le créateur de contenu Corridor Digital explore cette technologie de l’IA pour donner vie à des personnages de dessins animés à partir d’une vidéo enregistrée sur un fond vert.
Voici le résultat en vidéo:
Inscrivez vous pour ne pas louper les prochaines incroyables news sur l’IA !
Le rêve de créer n’importe quoi grâce à l’IA
Le concept de transformer une vidéo en dessin animé est fascinant, et selon Corridor Digital, cela pourrait être une avancée majeure pour l’animation. L’idée de pouvoir capturer une performance et la visualiser sous n’importe quelle forme est une idée qui a captivé les artistes depuis des décennies. Traditionnellement, les dessins animés en 2D étaient considérés comme le moyen le plus créatif mais le moins démocratisé, nécessitant des compétences incroyables pour dessiner chaque image du film animé. Mais grâce aux avancées technologiques de l’IA, il est désormais possible de transformer une vidéo en dessin animé.
Le rôle de l’IA dans la transformation de la vidéo en dessin animé
Corridor Digital a réalisé une série de vidéos expérimentales avec le traitement d’images IA. Cela ressemble à une génération d’images IA, mais dans leur cas, Corridor Digital transforme des images plutôt que de les générer à partir de zéro.
Corridor Digital a exploré l’utilisation de l’apprentissage automatique pour transformer les images en utilisant une technique de traitement d’image appelée « diffusion ». Cette technique permet à l’ordinateur de générer une image à partir du bruit, de la même manière que nous imaginons une image à partir d’un nuage ou d’une tache d’encre. Lorsqu’on ajoute du bruit à une image, l’ordinateur peut le nettoyer et ajouter des détails qui n’existaient pas auparavant. Cette technique peut être appliquée à une seule image, mais elle est plus difficile à utiliser pour les vidéos, car chaque image doit être traitée individuellement, ce qui rend l’animation très instable.
Corridor Digital a créé un workflow open-source video2anime pour réaliser cette vidéo. Principaux outils qu’ils ont utilisés :
- Stable Diffusion model + DreamBooth fine-tuning,
- Unreal Engine + asset store 3D models,
- Img2Img + DeFlickering effect,
- Heaps of gold ol’ fashioned VFX compositing.
Voici le mode opératoire expliqué:
Trouver une solution aux problèmes de stabilité de l’animation
L’un des problèmes les plus importants à résoudre pour pouvoir transformer une vidéo en dessin animé est de réduire la distorsion et l’instabilité des images. Corridor Digital a réussi à résoudre ce problème en inversant le bruit ajouté à l’image. De cette manière, les images sont plus stables et cohérentes d’une image à l’autre. L’utilisation de plugins de suppression de scintillement pour traiter les images a également permis de résoudre d’autres problèmes techniques.
L’IA un nouveau moyen de créer des dessins animés
Une fois la technologie maîtrisée, Corridor Digital a créé un court-métrage utilisant cette technique pour créer des personnages animés à partir d’une vidéo sur fond vert. Les personnages ont été créés en utilisant des costumes achetés en ligne et en enregistrant le dialogue avant de créer l’animation.
Ils ont pu créer un workflow pour transformer des vidéos en dessins animés, ce qui ouvre de nouvelles possibilités dans le monde de l’animation. Cette technique pourrait être utilisée à l’avenir pour créer des dessins animés, pour créer des publicités ou des films. La technologie de l’apprentissage automatique par intelligence artificielle et du traitement d’image continue de progresser, ce qui pourrait ouvrir de nouvelles possibilités pour l’animation et la création de contenu. Cette nouvelle technologie a le potentiel de démocratiser l’animation et de donner aux créateurs la possibilité de concrétiser facilement et rapidement leur imagination.
Que pensez vous de cette IA ? Quelle utilisation pratique voyez vous de cette nouvelle technologie ? Réagissez en commentaire …
