AIインシデントデータベース

にようこそ

Six AI-hallucinated judgments formed the basis for the Supreme Court's striking down of an order passed by the National Company Law Tribunal (NCLT) on Thursday.

Three of the cited judgments did not exist, while the remaining three either did not contain the propositions attributed to them or did not correspond to the context for which they were cited.

For instance, the NCLT order cited a 2019 judgment ICICI Bank Ltd v Urban Infrastructure Real Estate Ltd., which did not exist. Along with it, the 2021 case V S Dempo & Co Ltd v Reliance Communications Ltd and the 2022 case Sarbjit Singh v Unio

ワシントン発 ― マリアは、ドバイの王子と恋に落ちていると信じていた。ライブビデオ通話で彼が見せた、誘惑的な笑顔と愛情表現に心を奪われていたのだ。しかし、その求婚者はAIによるディープフェイクであり、彼女はオンラインロマンス詐欺の新たな被害者となった。

この事例は、ドバイの皇太子を装った詐欺師が、オンラインで関係を築き、被害者から金銭をだまし取る手口を如実に示している。研究者たちは、こうした詐欺の一部がナイジェリアの犯罪組織と関連していることを突き止めている。

マリアは、ハムダン・ビン・モハメド王子（ペンネームはファッザ）を装った詐欺師と出会い系サイトで知り合った。その後、会話はメッセージアプリに移り、彼は彼女にロマンチックなメッセージを送り続けた。

「寝ている時でさえ、彼はメッセージを送り続けていました」と、フィリピン人メイドのマリアはAFP通信に語った。彼女は実名と年齢の公表を控えるよう求めた。

「まるで魔法で心が繋がったようでした」 AFP通信が入手したWhatsAppのビデオ通話の録画映像には、王子そっくりの詐欺師が画面に映っていた。口の動きは王子とそっくりだったが、声は王子の声とは違っていた。

「こんにちは、愛しい人」と、その声はマリアに語りかけた。「あなたの愛と支えに心から感謝しています。」

当初、失恋の悲しみに暮れ、詐欺に気づかなかったマリアは、1年分の貯金を失ってしまった。

詐欺師は、結婚証明書と「王室会員証」だと偽り、ドバイで仕事を見つけるのに役立つと持ちかけ、マリアに10万ペソ（約1,625ドル）を支払わせた。

マリアが疑念を抱いたのは、詐欺師がホテルで会うことを提案し、予約金としてさらに6万ペソ（約974ドル）を要求した時だった。その後、削除された詐欺師のFacebookページを調べたところ、アカウントがナイジェリアを拠点としていることに気づいた。

彼女は連絡を絶ち、最後に「地獄へ落ちろ、詐欺師」というメッセージを送った。

「この経験の後、気が狂わなくてよかったと多くの人に言われました」とマリアは語った。

―キスを送る絵文字―

この詐欺は、「偽ドバイ王子」詐欺として知られるようになった、人々の心と財布を狙った広範な詐欺のエコシステムの一部である。

詐欺師たちは、1700万人を超えるインスタグラムのフォロワーを含む、エミラティ王族の膨大なオンラインプレゼンスを利用し、時には王子の本物の詩をコピーして被害者を騙すなど、彼のイメージを悪用している。

AFP通信は、王族になりすました複数のFacebookグループを確認した。中には数千人のフォロワーを持つグループもあり、ユーザーを「王子」とのWhatsAppやTelegramチャットに招待していた。

これらのグループは、加工されたものの本物そっくりな画像を投稿しており、中には王子が片膝をついて指輪を持っている画像や、赤いバラを差し出している画像に「ハニー、WhatsAppで『愛してる』って言ってくれない？」というキャプションを添えた画像もある。

コメント欄では、これらの投稿は詐欺だと警告するユーザーもいたが、多くのユーザーはハートやキスをする絵文字で反応した。

詐欺が広がるにつれ、ユーザーに注意を促すための啓発グループが次々と立ち上がり、Instagramには「偽王子に騙されないで」というグループも存在する。

Change.orgの「ファッザ詐欺を止めよう」と題された署名活動では、シェイク・ハムダンのスタッフに対し、ドバイの電話番号を使って王族を装い、「寄付金や偽造された結婚証明書など、多額の金銭を要求する」詐欺師に対する啓発活動を行うよう求めている。

署名活動では、「被害者の居住国以外の国の銀行口座に多額の送金が要求され、時には仮想通貨で送金されることもあるため、追跡が困難になっている」と指摘している。 ―「技術は進歩している」―

ドバイ当局はAFPのコメント要請に回答しなかった。

詐欺師に身元を悪用された著名人は彼だけではない。昨年、フランス当局はブラッド・ピットを装った詐欺師の特定に向け捜査を開始した。この詐欺師は女性から83万ユーロ（約94万5000ドル）をだまし取った。

世界詐欺対策同盟（GASA）の推計によると、昨年、世界中の消費者はロマンス詐欺を含む詐欺によって4420億ドルもの損失を被った。

マリアとのリアルタイムビデオチャットを生成するために、どのようなAIツールが使用されたかは不明である。

インターネット上には、AIを活用した顔交換技術や、非常にリアルな動画を生成できる新世代のモーションコントロールツールがあふれている。これらのツールを使えば、ユーザーは人物の動きや表情をリアルタイムで正確に操作できる。

「技術は急速に進歩しており、リアルタイムのディープフェイク動画は間もなくますます高度化するだろう」と、コーネル大学のデビッド・ランド氏はAFP通信に語った。

「そうなれば、対面ではない会話が本物かどうかを見分けることは根本的に不可能になるだろう。」

（ワシントン発、アヌージ・チョプラ記者、香港発、パープル・ロメロ記者（AFP通信））

ワシントン、6月3日（ロイター） - 米連邦控訴裁判所は3日、AIが生成したとされる架空の訴訟を多数記載した訴訟書類を提出したとして、弁護士2人に制裁を科した。裁判所は、これらの誤りはタイプミスだという弁護士側の主張を退け、すべての法律専門家に対し、裁判書類の誤りがAIの「幻覚」を見落としたことに起因する場合は速やかに認めるよう警告した。

詳細は以下の通りです。

• サンフランシスコに拠点を置く米国第9巡回控訴裁判所は、AIエラーに対する弁護士の責任に関する初の判決（新規タブで開きます）において、マイク・セティ弁護士とウィリアム・ラウンズ弁護士を懲戒処分とし、それぞれ2,500ドルの罰金を科しました。

• 3人の裁判官からなる合議体は、セティ弁護士とラウンズ弁護士に対し、控訴裁判所での弁護活動を6か月間停止しました。また、両弁護士は今後2年間、生成型AIを使用したかどうか、使用した場合はそのAIプログラムの名称を、提出書類において開示しなければならないと命じました。

控訴裁判所によると、移民訴訟の原告側弁護士であるセティ氏とラウンズ氏は、誤りの原因はタイプミスであり、AIの関与を否定した。セティ氏とラウンズ氏は、コメントの要請にすぐには応じなかった。

裁判所は、誤りの原因は分析において「最終的には無関係」であると述べた。「弁護士は、引用を捏造したり、明らかに虚偽で根拠のない主張をしたりするのに、最先端技術を必要としない」と裁判官団は述べた。

3人の裁判官からなる控訴審裁判官団は、2人の弁護士が、裁判所が明らかにAIの使用と判断した事実を認めなかったことで、「誠実義務に違反した」と述べた。裁判所は、セティ氏が、捏造された判例を含む提出書類を訂正しながら、それが捏造されたものであることを開示しなかったことで、「巧妙なごまかし」を行ったと指摘した。

弁護士はAIの使用を禁止されていませんが、裁判所に提出する書類の正確性を確保する倫理的義務があります。裁判所は、AIが支援した訴訟書類の誤りを精査しなかったとして、数十件の事件で弁護士や州検察官に制裁を科しています。

過去14年間、スポケーンの住民は、地元経営の家電量販店フレッドズ・アプライアンスのセールやキャンペーン情報を、アンバー・ジョージの声と笑顔を通して知っていた。

ところが2月、ジョージはソーシャルメディアで、フレッドズと制作会社ビクトリー・メディアがプレジデンツ・デーの広告を制作し、もちろん自分が出演していることに気づいた。

「ちょっと待って、これ私、撮影してないわ」と、ジョージは今週、その広告を見た時の反応を振り返った。 「彼らは過去の映像や、様々なCMの断片を寄せ集めて使っていました。私の声をクローンしていたんです。」

「本当にショックでした」と彼女は続けた。「彼らを信頼していたのに。」

彼女が懸念を表明した後、ビクトリー・メディアとフレッド社は、人工知能を使って広告を制作することを許可する契約追加条項を彼女に提示した。

これに対し、ジョージ氏はフレッド・アプライアンス社との契約を解除し、スポケーンの弁護士ボブ・ダン氏に連絡を取った。ダン氏は火曜日にスポケーン上級裁判所に訴訟を起こした。

「被告らは、ジョージ氏の過去の作品に関する独占的財産権を、違法に商業的に利用した。具体的には、彼女の過去の作品を新規または大幅に改変した広告に含めたり、様々なメディアで使用したり、静止画から動画を作成したり、舞台裏のコンテンツを宣伝に利用したりした。これらはすべて、彼女の許可も報酬も得ずに行われた」とダン氏は訴状に記している。

ダン氏は、ジョージ氏のスポークスパーソンおよびパーソナリティとしての商業的価値は、彼女の声、肖像、イメージ、パフォーマンスの使用に関する所有権に結びついているため、不正行為と損害賠償を請求している。ダン氏は、「AIを用いて、本人の関与や許可なく古い映像を修正または再利用することは、公の場での自身の表現方法をコントロールする権利を侵害する」と述べている。

訴訟の被告には、1962年創業で、現在スポケーン、スポケーンバレー、コー・ダリーン、ケネウィック、そしてモンタナ州に4店舗を展開するフレッドズ・アプライアンス社、リバティレイクに拠点を置くビクトリー・メディア社、そしてビクトリー・メディア社のCEOであるデイン・クールマン氏が名を連ねている。

ビクトリー・メディア社とフレッドズ・アプライアンス社は、クリスタル・ラム弁護士が代理人を務めており、ラム弁護士は水曜日に声明を発表し、両社は発言できる内容に制限があると述べた。

ラム弁護士の声明には、「ビクトリー・メディア社は常に誠実に事業を運営し、顧客、パートナー、そして共に働く人々にとって正しいことをしようと努めてきました」と記されている。「当社は、既存の広告に対し、主に価格やプロモーションの変更といった限定的な更新を行うために、AIを用いた音声編集を行ったことを認めます。」

「これらの使用は、当社の広報担当者契約に基づき許可されており、契約上の権利に合致していると考えていました」と声明は続けた。「これらの編集に関して疑問が呈された際、当社はそれを隠蔽しようとはしませんでした。AIによる音声編集を積極的に開示し、既知の事例リストを提供するとともに、元広報担当者と直ちに協議を開始しました。」

声明によると、ビクトリー・メディアとフレッドズ・アプライアンスはジョージ氏に補償を申し出たが、彼女はこれを受け入れなかったという。

「元広報担当者がAIによってデジタル的に再現された、あるいは視覚的に操作されたという主張には断固として反対します」と声明は述べている。「ビクトリー・メディアは、彼女の画像や肖像のAI生成版を作成または公開しておらず、法的手段を通じてこれらの主張に対して徹底的に反論するつもりです。」

声明の中で、両社はジョージ氏の長年の貢献に感謝の意を表し、「訴訟なしにこの紛争を解決できなかったことは残念です。ビクトリー・メディアはこのプロセス全体を通して誠意をもって行動したことを、事実が証明してくれると信じています」と述べた。

ラム氏は水曜日遅くに声明を発表し、両当事者が法廷外で和解に近づいている可能性を示唆した。

「この件は、広報担当者契約の解釈の違いに起因するものです」とラム氏は述べた。「継続的な協議を通じて、両当事者が公正な解決に達することを期待しています。」

フレッドの顔

ジョージ氏（43歳）はスポケーン出身で、シャドル・パーク高校とイースタン・ワシントン大学を卒業した。彼女は2012年にフレッドの広報担当に就任した。

「素晴らしい経験でした。素晴らしい仕事関係でした」とジョージ氏は今週語った。「本当に良い経験でした。」

彼女は当初、7Stormsという制作会社と提携し、フレッド・アプライアンスの製品プロモーション用CMを制作していた。

その後、数年前にビクトリー・メディアがその役割を引き継いだ。新たな関係の一環として、ジョージ氏は自身の業務範囲を網羅した契約書に署名した。

契約書には、「プロジェクトの結果として制作されたクリエイティブアセットは、当社およびビクトリーメディアのプロモーションコンテンツの唯一かつ排他的な財産となる」と明記されている。

「当社およびビクトリーメディアは、広告およびプロモーション目的で、追加の報酬なしにこれらのクリエイティブアセットを使用、配布、表示する権利を有する。」

ビクトリーメディアと仕事を始めて間もなく、ジョージ氏は自分が関わっていない広告に自分の写真が掲載されているのを目にするようになった。

その後、ジョージ氏の知らぬ間に、彼女の顔が看板に掲載された。

「これはおかしい」と、大きな広告に自分の写真が掲載されているのを見てジョージ氏は言った。「簡単に報酬を支払ってくれてもよかったのに、フレッド社と長年仕事をしてきたので、文句を言いたくなかった。」

その後、過去の映像とジョージ氏の声を模倣したコンピューター音声を使ったプレジデンツデーセールのCMが放映された。

「彼らは一度も私に何をしているのか説明せず、同意も求めなかった」と彼女は言った。

その後、ジョージ氏はクールマン氏に連絡を取り、彼らが広告を制作する際に使用した素材について指摘した。彼女は、AIが自分の関与なしに利用されたこと、そしてそれが契約違反だと考えていたことを明らかにしました。

「1か月後、彼らから連絡があり、契約の追加条項を提案されました」と彼女は言います。「とんでもない追加条項でした。彼らはAIを使いたいのに、私にはほんのわずかな報酬しか支払わないというのです。」

「しかも、彼らには許可がなかったことも明らかでした。」

この状況を受けて、ジョージさんは弁護士に相談し、フレッド社との関係を解消しました。

フレッド・アプライアンスのプロモーション制作に加え、ジョージさんは11年間、ライピエン財団で小児がん患者のための募金活動にも携わっていました。

ジョージさんは、2人の子供の子育てに専念するため、その活動を辞めたと述べています。

現在は、Amazonで販売されている商品のプロモーションビデオを制作しており、AIの可能性に大いに期待を寄せていると語っています。

「AIは素晴らしいです。私自身も使っています。寝室のデザインをAIにリフォームしてもらったこともあります」とジョージさんは言います。 「しかし、このケースでは、それは甚だしく悪用されました。」

「もっと透明性を高める必要があります」と彼女は続けました。「企業は同意を得て、明確なポリシーを定め、どのように利用するのかを透明性をもって示すべきです。」

「一度失われた誠実さは、二度と取り戻せない」と彼女は述べました。

「パフォーマーや俳優として、本物の声を持つことは重要です」と彼女は言いました。「AIが使われると、スポークスパーソンとしての私の価値は低下します。自分の口からどんな言葉が出てくるのか、監視したり止めたりすることができないからです。」

「恐ろしいことです」と彼女は付け加えました。「何が真実で何がそうでないのか、分からなくなってしまうのです。」

ウェストタウン発 ― 謝罪なのか、巧妙なマーケティング戦略なのか、あるいはその両方なのかは定かではないが、先月ウェストタウンのバス停のガラスを突き破ったフードデリバリーロボットを運行していた企業が、なんとそのバス停に謝罪広告を掲示している。

3月下旬、シカゴの一部地域でフードデリバリーロボットを配備している2社のうちの1社、Serve Robotics社の車両が、ウェストタウンのグランドアベニューにあるバス停に衝突し、ガラスの破片が歩道に飛び散った。

負けじと、市内でロボット配送を運営するもう1つの企業、Coco社のロボットも、数日後にオールドタウンの別のバス停に衝突した（https://blockclubchicago.org/2026/03/25/robots-gone-wild-food-delivery-robots-smash-2-bus-shelters-in-chicago/）。

両社ともバス停の修理費用を負担し、作業はほぼ即座に完了したと述べているが、事故の動画や写真がネット上で拡散し、市のロボット配送試験プログラムの安全性に関する新たな疑問が提起される前に、修理は完了しなかった。

1年以上前から、シカゴでは一部の地域でロボットが歩道を利用してフードデリバリーの注文を受け取っている。これは2022年に承認された試験プログラムによるものだ（https://www.chicago.gov/city/en/depts/mayor/press_room/press_releases/2022/september/PersonalDeliveryDevicePDDPilotProgramPasses.html）。Cocoは2024年後半に市内でサービスを開始し、Serveは9月にロボットを導入した。

このプログラムは賛否両論を巻き起こしており、特にオンライン上では多くのシカゴ市民がロボットに対して批判的な意見を強めている。リンカーンパークの住民は、より多くのデータが公開され、公聴会が開かれるまで試験プログラムを一時停止するよう市役所に求める請願書（https://nosidewalkbots.org/）まで立ち上げた。

ウェストタウンのラシーン通り近くのグランド通りにあるバス停にServeが掲示した広告は、注目を集めた衝突事故の後、市民の支持を取り戻そうとする試みとみられる。この広告の写真は、シカゴ・トリビューンのグレース・ミセロッキ記者によって最初にオンラインに投稿されました。

「ウエストタウンの近隣住民の皆様へ。『市場に侵入する』という言葉を文字通りに解釈しすぎました。バス停の件、そして派手な登場の件、本当に申し訳ありません。今後はもっと気をつけます」と、ナシールという名のロボットから吹き出しが出ている広告には書かれています。ロボットのディスプレイには「ナシールは申し訳なく思っています」と表示されています。

サーブ・ロボティクス社の配達ロボット、ラマーがグランド通りとラシーン通りの角で注文を待っている。この場所は、3月に同社のロボットがバス停の一部を破壊した場所の近くである。写真提供：クイン・マイヤーズ／ブロック・クラブ・シカゴ

火曜日、サーブ・ロボティクス社の広報担当者は、3月に発生した同社のロボットによる事故について、より詳しい情報を発表しました。

ロボットに搭載された「3つのセンサーシステム」が同時にバス停を検知できず、ガラスの壁を検出できなかった。広報担当者によると、同社はこの問題に対処するための措置を講じたという。

「バス停のような場所では、ロボットがより慎重に行動するよう、これまで以上に注意深く対応しています」と広報担当者は述べた。「また、ガラスのある環境を認識するシステムを改善し、検出の信頼性を高めるためにソフトウェアと次世代ハードウェアの両方をアップデートしています。」

こうした衝突事故にもかかわらず、配達ロボットはノースサイドの多くの地域で依然として自由に走行しており、ウエストタウンのグランドアベニューとその周辺では頻繁に見かける。火曜日の正午頃、修理済みのバス停のすぐ近くで、Serve社のロボットが配達を待っていた。

しかし、市議会が継続の是非を決定する期限である2027年5月以降も、ロボットの試験運用プログラムが延長されるだけの政治的な支持を得られるかどうかは不透明だ。

12月、シカゴ市は近隣住民がロボットの安全性に関する問題やその他の苦情を申し立てるための311番の相談窓口を新設しました。

また、2月には、ダニエル・ラ・スパタ市議（第1区）が、安全性やアクセス性などに関する住民からの圧倒的な反対意見を受け、ロボット企業が第1区のごく一部地域以外に事業を拡大することを却下しました。

一方、オールドタウンでは、3月にCocoロボットが衝突したノースアベニューのバス停に、火曜日の時点でもまだリリック・オペラの広告が掲示されていました。