Bienvenue dans

la base de données des incidents d'IA

Six AI-hallucinated judgments formed the basis for the Supreme Court's striking down of an order passed by the National Company Law Tribunal (NCLT) on Thursday.

Three of the cited judgments did not exist, while the remaining three either did not contain the propositions attributed to them or did not correspond to the context for which they were cited.

For instance, the NCLT order cited a 2019 judgment ICICI Bank Ltd v Urban Infrastructure Real Estate Ltd., which did not exist. Along with it, the 2021 case V S Dempo & Co Ltd v Reliance Communications Ltd and the 2022 case Sarbjit Singh v Unio

WASHINGTON – Maria croyait vivre une romance avec un prince de Dubaï, subjuguée par son sourire charmeur et les déclarations d'amour qu'il lui prodiguait lors d'appels vidéo en direct. Mais son prétendant était un avatar virtuel créé par une intelligence artificielle, faisant d'elle une victime de plus d'une arnaque sentimentale en ligne.

Cette affaire illustre comment des escrocs se faisant passer pour le prince héritier de Dubaï piègent leurs victimes en tissant des liens en ligne avant de les escroquer. Des chercheurs ont même réussi à remonter la piste de certaines de ces arnaques jusqu'à des réseaux criminels nigérians.

Maria a rencontré l'escroc se faisant passer pour le prince Hamdan bin Mohammed, également connu sous le pseudonyme de Fazza, sur un site de rencontre. La conversation s'est ensuite poursuivie sur une application de messagerie où il l'a inondée de messages romantiques.

« Il n'arrêtait pas de m'envoyer des messages, même quand je dormais », a confié à l'AFP cette employée de maison philippine, qui a souhaité garder l'anonymat.

« J'avais l'impression d'être ensorcelée. »

Dans un enregistrement d'un appel vidéo WhatsApp consulté par l'AFP, l'escroc, imitant à la perfection le prince, apparaissait furtivement à l'écran. Ses paroles étaient synchronisées avec ses lèvres, mais pas avec la voix du prince.

« Bonjour ma chérie », dit la voix à Maria. « J'apprécie vraiment ton amour et ton soutien. »

Maria, d'abord trop dévastée par le chagrin d'amour pour se douter de la supercherie, a perdu l'équivalent d'une année d'économies.

L'escroc l'a manipulée pour lui soutirer 100 000 pesos (1 625 dollars) pour ce qu'il prétendait être un certificat de mariage et une « carte de membre royale », censés lui permettre de trouver un emploi à Dubaï.

Ses soupçons ont commencé à naître lorsqu'il lui a proposé de la rencontrer dans un hôtel et lui a réclamé 60 000 pesos supplémentaires (974 dollars) pour la réservation. En examinant sa page Facebook, depuis supprimée, elle a constaté que le compte était hébergé au Nigeria.

Elle a coupé les ponts, envoyant un dernier message : « Va te faire voir, escroc ! »

« Beaucoup de gens m'ont dit que j'avais bien fait de garder mon sang-froid après cette expérience », a déclaré Maria.

• Émojis baisers soufflés -

Cette escroquerie s'inscrit dans un système plus vaste d'arnaques au « faux prince de Dubaï », qui ciblent à la fois les cœurs et les portefeuilles.

Les escrocs exploitent l'image du prince émirati en tirant parti de son immense présence en ligne, notamment ses plus de 17 millions d'abonnés sur Instagram, et vont parfois jusqu'à copier ses poèmes pour tromper leurs victimes.

L'AFP a identifié plusieurs groupes Facebook usurpant l'identité du prince, certains comptant des milliers d'abonnés, et invitant leurs utilisateurs à discuter avec lui sur WhatsApp ou Telegram.

Ces groupes publient des images retouchées mais réalistes, dont une montrant le prince à genoux, une bague à la main, et une autre le montrant offrant une rose rouge avec la légende : « Chérie, puis-je avoir un "je t'aime" sur WhatsApp ? »

Alors que certains utilisateurs ont mis en garde dans les commentaires contre les arnaques, beaucoup d'autres ont réagi avec des cœurs et des émojis de baisers.

Face à la propagation de cette fraude, des groupes de sensibilisation ont vu le jour pour alerter les utilisateurs, notamment un sur Instagram intitulé « Ne vous laissez pas avoir par un faux prince ».

Une pétition sur Change.org, intitulée « Stop à l'arnaque Fazza », appelle le personnel du cheikh Hamdan à sensibiliser le public aux escrocs qui se font passer pour le prince en utilisant des numéros de téléphone de Dubaï et « demandent d'importantes sommes d'argent, sous forme de dons ou de certificats de mariage, tous falsifiés ».

« Des paiements importants sont demandés sur des comptes bancaires situés dans des pays autres que celui des victimes, parfois même en cryptomonnaies, ce qui complique le traçage », précise la pétition.

• « La technologie progresse » -

Les autorités de Dubaï n'ont pas répondu à la demande de commentaires de l'AFP.

Il est loin d'être la seule personnalité publique dont l'identité a été usurpée par des escrocs. L'année dernière, les autorités françaises ont ouvert une enquête pour identifier des escrocs se faisant passer pour Brad Pitt et ayant soutiré 830 000 euros (945 000 dollars) à une femme.

L'Alliance mondiale contre les arnaques estime que les consommateurs du monde entier ont perdu 442 milliards de dollars à cause d'escroqueries, notamment sentimentales, l'année dernière.

On ignore quels outils d'IA ont été utilisés pour générer les conversations vidéo en temps réel avec Maria.

Internet regorge de technologies d'échange de visages basées sur l'IA et d'une nouvelle génération d'outils de contrôle gestuel capables de produire des vidéos ultra-réalistes, permettant aux utilisateurs de manipuler avec précision les mouvements et les expressions faciales d'une personne en temps réel.

« La technologie progresse rapidement et il est probable que les deepfakes vidéo en temps réel deviendront bientôt de plus en plus performants », a déclaré David Rand, de l'Université Cornell, à l'AFP.

« Une fois que ce sera le cas, il deviendra fondamentalement impossible de déterminer si une conversation virtuelle est authentique. »

— Par Anuj Chopra à Washington avec Purple Romero à Hong Kong (AFP)

WASHINGTON, 3 juin (Reuters) - Une cour d'appel américaine a sanctionné mercredi deux avocats pour avoir déposé des mémoires truffés d'affaires inexistantes, qu'elle a attribuées à une intelligence artificielle. Elle a rejeté leurs arguments selon lesquels il s'agissait de fautes de frappe et a mis en garde tous les professionnels du droit, les enjoignant à reconnaître rapidement si une erreur dans un document judiciaire résulte d'une « hallucination » de l'IA.

Voici les détails :

• La Cour d'appel du neuvième circuit des États-Unis, basée à San Francisco, dans sa première décision relative à la responsabilité des avocats en cas d'erreurs liées à l'IA, a réprimandé les avocats Mike Sethi et William Rounds et leur a infligé une amende de 2 500 $ chacun.

• Le collège de trois juges a suspendu MM. Sethi et Rounds de leur droit d'exercer devant la cour d'appel pendant six mois. La cour a également ordonné à MM. Sethi et Rounds de déclarer, dans leurs futurs documents pendant deux ans, si une IA générative a été utilisée et, le cas échéant, d'en indiquer le nom.

• Selon la cour d'appel, Sethi et Rounds, qui représentent des plaignants dans une affaire d'immigration, ont imputé les erreurs à des fautes de frappe et ont nié toute responsabilité de l'IA. Sethi et Rounds n'ont pas immédiatement répondu aux demandes de commentaires.

• La cour a déclaré que l'origine des erreurs était « finalement sans importance » pour son analyse. « Les avocats n'ont pas besoin de technologies de pointe pour fabriquer de fausses citations et faire des déclarations manifestement fausses et non étayées », a déclaré le collège de juges.

• Le collège de trois juges d'appel a déclaré que les deux avocats avaient « manqué à leur devoir de loyauté » en ne reconnaissant pas ce que la cour a considéré comme une utilisation manifeste de l'IA. La cour a précisé que Sethi s'était livré à une « substitution subtile » en corrigeant un document contenant des affaires fictives sans révéler qu'elles étaient fabriquées.

Les avocats ne sont pas interdits d'utiliser l'IA, mais ils ont l'obligation déontologique de garantir l'exactitude des documents qu'ils soumettent au tribunal. Dans des dizaines d'affaires, les tribunaux ont sanctionné des avocats, ainsi que des procureurs d'État et fédéraux, pour avoir omis de vérifier l'exactitude des mémoires rédigés à l'aide de l'IA.

Depuis 14 ans, les habitants de Spokane découvraient les soldes et promotions à venir chez Fred's Appliance, magasin d'électroménager local, grâce à la voix et au sourire d'Amber George.

Mais en février, Amber George a remarqué sur les réseaux sociaux que Fred's et la société de production Victory Media avaient réalisé une publicité pour la fête des Présidents, dans laquelle, bien sûr, elle apparaissait.

« Attendez une minute, je n'ai pas filmé ça ! », s'est exclamée Amber George cette semaine, se souvenant de sa réaction en découvrant la publicité. « Ils utilisaient d'anciennes images et des extraits de différentes publicités. Ils ont cloné ma voix. »

« Ce fut un véritable choc », a-t-elle poursuivi. « Je leur faisais confiance. »

Après avoir fait part de ses inquiétudes, Victory Media et Fred's lui ont proposé un avenant à son contrat les autorisant à utiliser l'intelligence artificielle pour créer davantage de publicités.

En réaction, Mme George a mis fin à sa collaboration avec Fred's Appliance et a contacté l'avocat Bob Dunn, de Spokane, qui a déposé une plainte auprès de la Cour supérieure de Spokane mardi.

« Les défendeurs se sont livrés à une exploitation commerciale illégale des droits de propriété exclusifs de Mme George sur son travail antérieur, notamment en l'intégrant à des publicités nouvelles ou substantiellement modifiées, en l'utilisant sur différents supports, en utilisant des images fixes pour créer des séquences vidéo, en utilisant des images des coulisses pour promouvoir l'entreprise… le tout sans son autorisation ni compensation », a écrit M^e Dunn.

Il a invoqué une faute professionnelle et un préjudice, arguant que la valeur commerciale de Mme George en tant que porte-parole et personnalité est liée à ses droits de propriété exclusifs sur l'utilisation de sa voix, de son image et de ses performances.

« Utiliser l'IA pour modifier ou réutiliser d'anciennes images sans sa participation ni son autorisation porte atteinte à son droit de contrôler son image publique », a écrit Dunn.

La plainte vise Fred's Appliance, entreprise fondée en 1962 et qui possède aujourd'hui des magasins à Spokane, Spokane Valley, Coeur d'Alene, Kennewick et quatre dans le Montana, ainsi que Victory Media, basée à Liberty Lake, et Dayne Kuhlmann, son PDG.

Victory Media et Fred's Appliance sont toutes deux représentées par l'avocate Christal Lam, qui a publié un communiqué mercredi indiquant que les entreprises étaient limitées dans leurs déclarations.

« Victory Media a toujours agi avec intégrité et s'est efforcée de faire ce qui était juste pour ses clients, ses partenaires et ses collaborateurs », peut-on lire dans le communiqué de Me Lam. « Nous reconnaissons avoir utilisé la modification vocale assistée par IA pour effectuer un nombre limité de mises à jour de publicités existantes, principalement concernant les prix et les promotions. »

« Nous pensions que ces utilisations étaient autorisées par notre contrat de porte-parole et conformes à nos droits contractuels », poursuit le communiqué. « Lorsque des questions ont été soulevées concernant ces modifications, nous n'avons pas cherché à les dissimuler. Nous avons divulgué de manière proactive les modifications vocales assistées par l'IA, fourni une liste des cas connus et entamé immédiatement des discussions avec notre ancienne porte-parole. »

Selon le communiqué, Victory Media et Fred's Appliance ont proposé une compensation à Mme George, offre qu'elle aurait refusée.

« Nous contestons fermement les allégations selon lesquelles notre ancienne porte-parole aurait été recréée numériquement ou manipulée visuellement par l'IA », indique le communiqué. « Victory Media n'a ni créé ni publié de versions de son image ou de sa ressemblance générées par l'IA, et nous entendons nous défendre vigoureusement contre ces accusations par la voie judiciaire. »

Dans le communiqué, les entreprises ont remercié Mme George pour ses nombreuses années de travail et ont souligné : « Il est regrettable que ce différend n'ait pu être résolu à l'amiable. Nous sommes convaincus que les faits démontreront que Victory Media a agi de bonne foi tout au long de cette procédure. »

Lam a publié un communiqué mercredi soir indiquant que les parties pourraient être sur le point de parvenir à un accord à l'amiable.

« Ce différend porte sur des interprétations divergentes de l'accord relatif au porte-parole », a écrit Lam. « Nous espérons que la poursuite des discussions permettra aux parties de trouver une solution équitable. »

Le visage de Fred's

George, 43 ans, est originaire de Spokane. Elle a fréquenté le lycée Shadle Park et l'Université Eastern Washington. Elle a décroché le poste chez Fred's en 2012.

« C'était formidable. Notre collaboration était excellente », a déclaré George cette semaine. « Ce fut une expérience enrichissante. »

Elle a d'abord travaillé avec la société de production 7Storms pour réaliser les publicités utilisées par Fred's Appliance pour promouvoir ses produits.

Il y a quelques années, Victory Media a pris le relais. Dans le cadre de cette nouvelle collaboration, George a signé un contrat définissant l'étendue de son travail.

Le contrat stipule que « les éléments créatifs produits dans le cadre des Projets… seront la propriété exclusive de la Société et de Victory Media Promotional Content.

La Société et Victory Media ont le droit d'utiliser, de distribuer et d'afficher ces éléments créatifs sans compensation supplémentaire à des fins publicitaires et promotionnelles. »

Peu après avoir commencé à travailler avec Victory Media, George a déclaré avoir vu sa photo apparaître sur des publicités auxquelles elle n'avait pas participé.

Puis, à son insu, son visage est apparu sur un panneau d'affichage.

« Je trouve ça bizarre », a déclaré George en voyant sa photo sur cette grande publicité. « Ils auraient facilement pu me payer, mais j'étais chez Fred's depuis si longtemps que je ne voulais pas me plaindre. »

Puis, la publicité pour les soldes du President's Day a été diffusée, basée sur d'anciennes images et une voix de synthèse imitant George.

« Ils ne m'ont jamais dit ce qu'ils faisaient ni demandé mon consentement », a-t-elle affirmé.

George a alors contacté Kuhlmann, lui faisant remarquer qu'ils avaient créé une publicité à l'aide d'une intelligence artificielle sans sa participation. Elle estimait qu'il s'agissait d'une rupture de contrat.

« Ils m'ont recontactée un mois plus tard et m'ont proposé un avenant à mon contrat », a-t-elle déclaré. « C'était un avenant absurde. Ils voulaient utiliser l'IA et me payer une misère.

« Cela prouvait aussi qu'ils n'avaient pas l'autorisation de faire cela. »

Cette situation a poussé George à contacter son avocat et à mettre fin à sa collaboration avec Fred's.

Outre la production des publicités pour Fred's Appliance, George a également travaillé pendant 11 ans pour la Fondation Rypien, où elle collectait des fonds pour les enfants atteints de cancer.

George a quitté ce poste, a-t-elle expliqué, pour se consacrer à l'éducation de ses deux enfants.

Elle travaille désormais à la production de vidéos promotionnelles pour des produits vendus sur Amazon et reconnaît être une grande adepte du potentiel de l'IA.

« L'IA est incroyable. Je l'utilise personnellement. Elle a même repensé la décoration de ma chambre », a déclaré George. « Mais dans ce cas précis, il y a eu un usage abusif flagrant. »

« Il faut plus de transparence », a-t-elle poursuivi. « Les entreprises doivent obtenir le consentement des utilisateurs, définir des politiques claires et faire preuve de transparence quant à l'utilisation qu'elles comptent en faire. »

« L'intégrité, une fois perdue, est irrécupérable », a-t-elle affirmé.

« En tant qu'artiste, il est important d'avoir une voix authentique », a-t-elle déclaré. « L'utilisation de l'IA diminue ma valeur en tant que porte-parole. Je ne peux ni contrôler ni empêcher mes paroles. »

« C'est effrayant », a-t-elle ajouté. « On ne sait plus ce qui est vrai ou faux. »

WEST TOWN — Dans ce qui pourrait être un mea culpa, un coup de marketing astucieux, ou peut-être les deux, une entreprise dont le robot de livraison de repas a fracassé la vitre d'un abribus de West Town le mois dernier diffuse désormais une publicité d'excuses… à cet abribus même.

Fin mars, un véhicule de Serve Robotics, l'une des deux entreprises déployant des robots de livraison de repas dans certains quartiers de Chicago, a percuté l'abribus de Grand Avenue à West Town, projetant des éclats de verre sur le trottoir.

Pour ne pas être en reste, un robot de Coco, l'autre entreprise exploitant le service de livraison par robots dans la ville, a percuté un abribus dans le quartier d'Old Town quelques jours plus tard.

Les deux entreprises ont affirmé avoir pris en charge les réparations des abribus et que les travaux ont été achevés presque immédiatement. Cependant, des vidéos et des photos des incidents sont rapidement devenues virales sur Internet, ravivant les interrogations sur la sécurité du programme pilote de livraison par robots de la ville.

Depuis plus d'un an, des robots circulent sur les trottoirs de Chicago pour récupérer les commandes de repas dans certains quartiers, dans le cadre d'un projet pilote approuvé en 2022. Coco a été lancé dans la ville fin 2024, tandis que Serve a déployé ses robots en septembre.

Le programme a suscité des réactions mitigées, de nombreux Chicagoans – notamment en ligne – se montrant de plus en plus critiques à l'égard des robots. Un habitant de Lincoln Park a même lancé une pétition demandant à la mairie de suspendre le projet pilote jusqu'à ce que davantage de données soient partagées et qu'une consultation publique soit organisée.

La publicité de Serve à l'abribus de West Town, sur Grand Avenue, près de Racine Avenue, semble être une tentative de regagner la confiance du public après l'accident très médiatisé. Une photo de la publicité a été publiée en ligne pour la première fois par Grace Miserocchi du Tribune.

« Chers voisins de West Town, j'ai pris l'expression "faire irruption sur le marché" un peu trop au pied de la lettre. Je suis vraiment désolé pour l'arrêt de bus… et mon entrée en scène rocambolesque. Je promets de faire mieux », peut-on lire dans une bulle de la publicité, qui apparaît à l'écran d'un robot nommé Nasir, dont l'affichage virtuel indique « Nasir est désolé ».

Un robot de livraison de Serve Robotics, nommé Ramar, attend une commande à l'angle de Grand et Racine, non loin de l'endroit où un autre robot de la même marque a partiellement détruit un abribus en mars. Crédit : Quinn Myers/Block Club Chicago

Dans un communiqué publié mardi, un porte-parole de Serve Robotics a fourni davantage de détails concernant l'incident de mars impliquant son robot.

Les trois capteurs du robot n'ont pas détecté simultanément l'abribus, l'empêchant ainsi de repérer la paroi vitrée. Le porte-parole a déclaré que l'entreprise avait pris des mesures pour résoudre le problème.

« Nous accordons désormais une attention particulière aux zones comme les abribus, afin que les robots se comportent avec plus de prudence à proximité », a-t-il expliqué. « Nous avons également amélioré la façon dont le système interprète les environnements comportant du verre et nous mettons à jour nos logiciels et notre matériel de nouvelle génération pour une détection plus fiable. »

Malgré ces incidents, les robots de livraison continuent de circuler librement dans de nombreux quartiers du nord de la ville et sont fréquemment aperçus sur et aux alentours de Grand Avenue, dans le quartier de West Town. Mardi midi, un robot Serve était stationné au coin de la rue, à proximité de l'abribus désormais réparé, en attente de livraisons.

Cependant, l'avenir du programme pilote de robots reste incertain : bénéficiera-t-il d'un soutien politique suffisant pour être prolongé au-delà de mai 2027, date limite pour que le conseil municipal se prononce sur sa poursuite ?

En décembre, la ville a mis en place une section dédiée sur le site 311 pour permettre aux riverains de signaler les problèmes de sécurité ou autres plaintes concernant les robots de livraison.

En février, le conseiller municipal Daniel La Spata (1er arrondissement) a refusé d'autoriser les entreprises de robots à étendre leur zone de livraison au-delà d'une petite partie du 1er arrondissement, suite aux nombreuses réactions négatives des riverains inquiets pour la sécurité, l'accessibilité et d'autres problèmes.

Parallèlement, dans le quartier d'Old Town, l'abribus de North Avenue, percuté par un robot Coco en mars, arborait encore mardi une publicité pour le Lyric Opera.