OpenAI vient de dévoiler SORA sa dernière pépite un modèle de conversion de texte en vidéo text-to-video qui génère une vidéo inégalée en terme de réalisme à partir d’un simple prompt, et c’est vraiment stupéfiant voir effrayant ! J’espère que vous êtes prêt pour une crise existentielle, car ce que vous vous apprêtez à voir est une petite révolution pour l’homme et un bond de géant pour l’intelligence artificielle. Nous savions tous que des modèles vidéo IA plus performants arriveraient, mais SORA le nouvel outil d’OpenAI vient de dépasser toutes nos attentes les plus folles.
Qu’est-ce que SORA et Comment Fonctionne-t-il ?
Vous souvenez-vous de Will Smith mangeant des spaghettis ? Vous souvenez-vous quand à quoi ressemblaient les vidéos générées par l’IA ? Ces IA étaient plus drôle qu’autre chose car il y avait encore beaucoup de chemin à parcourir avant qu’il y ait quoi que ce soit à craindre.
Eh bien, bienvenue dans le futur, car toutes les séquences présentes dans la vidéo ci-dessous ont été générées par la nouvelle IA d’OpenAI SORA sans aucune retourche ou post traitement. Elles ont toutes été complètement synthétisées uniquement à partir d’ordinateurs.
Sora est le premier modèle IA capable de produire des vidéos réalistes d’une minute à partir de texte. Vous vous demandez probablement comment une telle prouesse est possible. Eh bien, Sora utilise une approche similaire à celle des modèles de diffusion comme DALL-E et Stable Diffusion. Il part d’un bruit aléatoire qu’il met progressivement à jour pour former une image cohérente. Cette technologie repose sur une énorme quantité de puissance de calcul, et Sam Altman a même demandé récemment 7 mille milliards de dollars pour acheter des GPUs (Graphics Processing Unit) afin de soutenir cette initiative.
L’Incroyable Avancée de Sora : Vidéos Générées par l’IA
Aujourd’hui, Sam Altman et OpenAI ont annoncé un nouveau modèle appelé SORA, capable de générer des clips vidéo complets d’une minute à partir de simple texte ( texte-to-video). Tout comme DALL.E était capable de comprendre un prompt textuel saisi et de le transformer en une image photoréaliste ou stylisée, SORA peut faire de même en générant des vidéos à partir de simple prompts. SORA est capable de générer des vidéos entières en une seule fois ou d’allonger les vidéos générées. Mais SORA est capable également de comprendre comment tous ces éléments tels que les reflets, les textures, les matériaux et la physique interagissent les uns avec les autres dans le temps pour créer une vidéo raisonnablement réaliste.
En plus de pouvoir générer une vidéo uniquement à partir d’instructions textuelles, le modèle d’IA SORA est capable de prendre une image fixe existante et de générer une vidéo à partir de celle-ci, en animant le contenu de l’image avec précision et en prêtant attention aux petits détails. Le modèle peut également prendre une vidéo existante et l’étendre ou compléter les images manquantes.
SORA est capable de générer des scènes complexes avec plusieurs personnages, des types de mouvements spécifiques et des détails précis sur le sujet et l’arrière-plan. Le modèle comprend non seulement ce que l’utilisateur a demandé dans l’invite, mais aussi comment ces choses existent dans le monde physique et réel.
Le modèle d’IA SORA a une compréhension approfondie du langage, ce qui lui permet d’interpréter avec précision les messages et de générer des personnages convaincants qui expriment des émotions vibrantes. SORA peut également créer plusieurs plans au sein d’une même vidéo générée, en conservant fidèlement les personnages et le style visuel.
Des Exemples Étonnants de Vidéos Générées par Sora
Sur le site internet officiel d’OpenAI, on trouve déjà une multitude d’exemples impressionnants. Par exemple, une élégante femme se promène dans une rue de Tokyo remplie d’enseignes lumineuses et animées. La vidéo est déjà bien avancée, avec un éclairage précis, des matériaux réalistes, des tons de peau naturels, des mouvements fluides et même des reflets.
Limites et Avantages de SORA l’IA Génératrice de Vidéos
Malgré toutes ces avancées, SORA n’est pas parfait. Si vous examinez de près les vidéos générées par SORA, vous remarquerez des imperfections qui trahissent leur origine artificielle. Par exemple, des mouvements inhabituels des personnages ou des problèmes de fréquence d’image et de reflets, et on retrouve même le problème déjà bien connu sur la génération de mains qui sont loin d’être réalistes. Mais comparé à ce que nous avions il y a seulement un an, c’est une avancée spectaculaire.
Le modèle actuel présente des faiblesses. Il peut avoir du mal à simuler avec précision la physique d’une scène complexe et ne pas comprendre les cas spécifiques de cause et d’effet. Par exemple, une personne peut mordre dans un biscuit, mais après coup, le biscuit peut ne pas avoir de trace de morsure.
Le modèle peut également confondre les détails spatiaux, par exemple en confondant la gauche et la droite, et peut éprouver des difficultés à décrire avec précision des événements qui se déroulent dans le temps, par exemple en suivant une trajectoire de caméra spécifique.
Mais ne vous y trompez pas, ces limitations ne sont que temporaires. Il est probable qu’à l’avenir, ces défauts seront corrigés, et les vidéos produites par SORA seront indiscernables de celles tournées par des êtres humains.
L’Impact de Sora sur le Monde de la Vidéo
Maintenant que SORA est là, les possibilités semblent infinies. Imaginez pouvoir éditer une vidéo aussi facilement qu’une image dans Photoshop. Vous pourriez changer le décor derrière une voiture en mouvement en quelques secondes seulement, sans avoir besoin de caméraman ou d’expert en CGI. Et que dire du streaming Minecraft ? SORA peut simuler des mouvements artificiels dans Minecraft, ouvrant ainsi la voie à la création de mondes Minecraft à la demande. De plus, la réalisation de votre propre film Pixar indépendant devient possible grâce à SORA, même s’il s’agit essentiellement de voler le travail des artistes humains.
Combien de temps et de moyens aurait il fallut pour faire une vidéo avec toutes ces anciennes télés avec un programme différent sur chacune d’elle ? Alors qu’avec SORA ce simple prompt suffit :
The camera rotates around a large stack of vintage televisions all shawing different programs – 1950s sci-fi movies, horror movies, news, static, 1970s sitcom, etc, set inside a large New York museum gallery
pour ce résultat:
Imaginez le casse tête si on avait voulu filmer un jeune homme perché sur un nuage en train de lire un livre. Alors que grace à SORA ce simple prompt suffit:
A young man at his 20s is sitting on a piece of cloud in the sky, reading a book
Et le résultat est plus que bluffant :
Les Implications de l’IA Génératrice de Vidéos
Maintenant que ces vidéos générées par IA ont atteint un niveau de qualité remarquable, elles peuvent facilement passer pour des vidéos réelles aux yeux de ceux qui ne sont pas au courant de leur origine artificielle. Cela soulève des questions éthiques et pratiques, notamment en ce qui concerne l’utilisation de ce contenu dans des contextes sensibles comme les élections ou les présentations commerciales.
Avant de donner l’accès de SORA au public et/ou d’intégrer SORA dans les produits d’OpenAI, plusieurs mesures de sécurité importantes seront mises en oeuvre. OpenAI collabore avec des spécialistes en désinformation, contenu haineux et préjugés, appelés « red teamers », qui testeront le modèle de manière critique.
Des outils sont en cours de développement pour repérer les contenus trompeurs, comme un détecteur de vidéos générées par SORA. À l’avenir, OpenAI envisage d’intégrer les métadonnées C2PA si SORA est utilisé dans un produit OpenAI.
En plus de ces nouvelles techniques, OpenAI exploite les méthodes de sécurité déjà en place pour ses produits utilisant DALL-E 3, qui sont également applicables à SORA. Par exemple, le classificateur de texte d’OpenAI rejettera les saisies en violation des politiques, comme celles demandant de la violence extrême ou des contenus sexuels. De même, les classificateurs d’images vérifieront chaque vidéo générée pour s’assurer qu’elle respecte les règles.
OpenAI consultera des décideurs politiques, éducateurs et artistes du monde entier pour comprendre leurs préoccupations et identifier les cas d’utilisation positifs de cette technologie.
Bien que des recherches approfondies aient été menées, OpenAI reconnaît qu’il est impossible d’anticiper toutes les utilisations ou abus potentiels de la technologie. C’est pourquoi l’apprentissage par l’utilisation réelle est essentiel pour améliorer la sécurité des systèmes d’IA au fil du temps.
Un Avenir Révolutionné par l’IA Sora avec encore quelques défis à relever
En conclusion, SORA marque une avancée majeure dans le domaine de la génération de vidéos par IA. Bien que ses débuts soient modestes et qu’il reste des défis à relever, notamment en termes de réalisme, d’éthique et de sécurité, cette technologie promet de transformer radicalement la façon dont nous produisons et consommons du contenu vidéo. Alors que nous nous aventurons dans ce nouveau monde de possibilités, il est important de rester conscients des implications éthiques et sociales de ces avancées technologiques et que cette IA révolutionnaire ouvrira de nouvelles perspectives passionnantes, tout en soulevant des questions importantes sur son utilisation responsable. Dites-nous en commentaire ce que vous pensez de SORA la nouvelle IA d’OpenAI, quelle pourrait être son utilité et quels défis voyez-vous ?