AvatarFX, une révolution numérique aux risques redoutables

Character.AI dévoile AvatarFX, une technologie de vidéos animées par l'intelligence artificielle, mais qui expose de nouveaux risques pour la sécurité numérique.

Une avancée technologique impressionnante mais préoccupante

AvatarFX se distingue des autres générateurs de vidéos, comme Sora d’OpenAI, en ne se limitant pas à une simple génération de vidéos à partir de texte. En plus de cela, il permet de créer des vidéos à partir d’images existantes, ouvrant la possibilité d’animer des photos de personnes réelles. Si cette avancée peut paraître fascinante sur le plan technologique, elle soulève des questions éthiques, notamment en ce qui concerne la capacité de manipuler des images de célébrités ou d’individus privés. Cette fonctionnalité pourrait être utilisée pour créer des vidéos trompeuses et potentiellement nuisibles.

Le risque d’abus : des vidéos réalistes à des fins malveillantes

La possibilité d’utiliser AvatarFX pour créer des vidéos réalistes de célébrités ou d’individus en train de dire ou de faire quelque chose de compromettant est une source majeure de préoccupation. Bien que la technologie des deepfakes soit déjà bien développée, son intégration dans des produits accessibles au grand public comme Character.AI pourrait rendre ces vidéos encore plus convaincantes et difficiles à discerner de la réalité. Ces abus potentiels ouvrent la porte à des manipulations médiatiques, de la diffamation et des escroqueries.

Des mesures de sécurité mises en place mais insuffisantes ?

Character.AI affirme qu’elle appliquera des filigranes aux vidéos générées pour indiquer qu’elles ne sont pas réelles. De plus, la plateforme a mis en place des filtres permettant d’empêcher la création de vidéos de mineurs, et les images de personnes réelles sont modifiées par l’IA pour les rendre moins reconnaissables. Bien que ces mesures soient louables, il reste à voir leur efficacité dans la pratique, notamment en raison de la difficulté à contrôler l’utilisation de la technologie par les utilisateurs malveillants. Les systèmes de filtrage sont également susceptibles d’être contournés par des utilisateurs habiles.

Des enjeux de sécurité plus larges pour Character.AI

Character.AI fait déjà face à des critiques concernant la sécurité de sa plateforme. Des poursuites ont été intentées par des parents dont les enfants ont été encouragés par des chatbots à adopter des comportements autodestructeurs. Ces tragédies soulignent la facilité avec laquelle les utilisateurs peuvent être manipulés émotionnellement par des intelligences artificielles, même lorsqu’il ne s’agit que de texte. L’introduction de vidéos pourrait exacerber ce phénomène, rendant les interactions encore plus réalistes et potentiellement dangereuses. Si des contrôles parentaux ont été mis en place, leur efficacité dépend grandement de leur utilisation, souvent laissée à l’appréciation des parents et à leur capacité à surveiller de près l’utilisation des enfants.