欧州委員会のウルズラ・フォン・デア・ライエン委員長が、2024年5月28日、ドイツのミュンスターにあるミュンスター市庁舎の舞踏室で演説した。
2024年6月1日 11時07分
ニューヨーク（AP通信） — 米国と欧州連合で重要な選挙が近づく中、公開されている人工知能ツールは簡単に兵器化され、有力政治家の声に説得力のある選挙の嘘を吹き込むことができると、デジタル公民権団体が金曜日に述べた。
ワシントンDCに拠点を置くデジタルヘイト対策センターの研究者らは、最も人気のあるAI音声複製ツール6つをテストし、アメリカとヨーロッパの著名な政治家8人の声で選挙に関する5つの虚偽の発言の音声クリップを生成できるかどうかを調べた。
合計240回のテストのうち、193回、つまり80％の確率で、このツールは説得力のある音声クローンを生成したと研究グループは発見した。ある動画では、偽の米国大統領ジョー・バイデンが選挙管理当局が彼の票を2回数えていると言っている。別の動画では、偽のフランス大統領エマニュエル・マクロンが投票所で爆弾の脅迫があるため国民に投票しないよう警告している。
調査結果から、AIが生成した音声を使って有権者を欺くことに対する安全対策に著しい欠陥があることが明らかになった。この脅威は、テクノロジーが高度化し、利用しやすくなったことで、専門家の間でますます懸念されている。一部のツールには、選挙に関する偽情報の生成を阻止するためのルールや技術的な障壁が設けられているが、研究者らは、そうした障壁の多くは簡単な回避策で簡単に回避できることを発見した。
研究者らが使用したツールを提供する企業のうち、複数回のコメント要請に対し回答したのは1社のみだった。ElevenLabsは、安全対策を強化する方法を常に模索していると述べた。
こうしたツールの悪用を防ぐ法律はほとんどなく、企業の自主規制の欠如により、世界中で重要な民主選挙が行われる今年、有権者はAIが作り出す欺瞞行為の危険にさらされることになる。EUの有権者は1週間も経たないうちに議会選挙に投票し、米国では今秋の大統領選挙を前に予備選挙が行われている。
「こうしたプラットフォームを使って嘘をでっち上げ、政治家に何度も何度も嘘を否定させ、後退させることは非常に簡単だ」と、同センターのCEO、イムラン・アーメド氏は語った。「残念ながら、我々の民主主義は、市場に一番乗りしようと必死なAI企業のむき出しの欲望のために売り飛ばされている…彼らは、自分たちのプラットフォームが安全ではないことを知っているにもかかわらずだ」
このセンターは米国、英国、ベルギーにオフィスを持つ非営利団体で、5月に調査を実施した。研究者らはオンライン分析ツール「Semrush」を使用し、月間オーガニックウェブトラフィックが最も多い、公開されているAI音声複製ツール6つを特定した。ElevenLabs、Speechify、PlayHT、Descript、Invideo AI、Veedである。
次に、参加者は政治家が話している実際の音声クリップを提出した。参加者はツールを使って政治家の声を真似し、根拠のない5つの発言を行った。
声明の1つは、投票所での爆破予告を受け、有権者に家に留まるよう警告するものだった。他の4つは、選挙操作、嘘、選挙資金の私費流用、記憶喪失を引き起こす強い薬の服用など、さまざまな告白だった。
このツールは、バイデン氏とマクロン氏に加え、カマラ・ハリス米国副大統領、ドナルド・トランプ前米国大統領、リシ・スナック英国首相、キール・スターマー英国労働党党首、ウルズラ・フォン・デア・ライエン欧州委員会委員長、ティエリー・ブルトンEU域内市場委員の声をリアルにコピーした。
「AI音声クローンツールのいずれも、政治家の声のクローン作成や選挙偽情報の作成を防ぐのに十分な安全対策を備えていなかった」と報告書は述べている。
Descript、Invideo AI、Veed などのツールでは、自分の声ではない声を複製することを防ぐため、音声を複製する前に固有のオーディオ サンプルをアップロードする必要があります。しかし、研究者は、別の AI 音声複製ツールを使用して固有のサンプルを生成することで、この障壁を簡単に回避できることを発見しました。
Invideo AIというツールは、センターが要求した偽の声明を作成しただけでなく、それを推測してさらに偽情報を作成しました。
同社は、投票所での爆弾脅迫について人々に警告するようバイデン氏の声のクローンに指示する音声クリップを制作する際に、独自の文章をいくつか追加した。
「これは民主主義を放棄せよという呼びかけではなく、安全第一の確保を求める嘆願だ」と偽の音声クリップはバイデン氏の声で語った。「我々の民主的権利を祝う選挙は延期されるだけで、否定されるわけではない」
研究者らは、安全性の面では、Speechify と PlayHT のパフォーマンスが最も悪く、40 回のテスト実行すべてで信憑性のある偽の音声を生成したことを発見した。
ElevenLabs は最も優れたパフォーマンスを発揮し、英国と米国の政治家の音声の複製をブロックした唯一のツールだった。しかし、このツールは依然として、EU の著名な政治家の音声を模倣した偽の音声の作成を可能にしていたと報告書は述べている。
イレブンラボのAI安全責任者、アレクサンドラ・ペドラシェフスカ氏は電子メールによる声明で、同社はこの報告書と、それが生成AI操作についての認識を高めることを歓迎していると述べた。
彼女は、ElevenLabs はやるべきことがまだあることを認識しており、同社のブロック機能を含め「安全対策の機能を継続的に改善している」と述べた。
「他の音声AIプラットフォームもこれに倣い、同様の対策を遅滞なく展開することを期待しています」と彼女は述べた。
報告書で言及されている他の企業は、電子メールによるコメント要請に応じなかった。
この発見は、AIが生成した音声クリップがすでに世界中の選挙で有権者を動かすために使われてきた後に発表されたものだ。
2023年秋、スロバキア議会選挙のわずか数日前に、自由党党首の声に似た音声クリップがソーシャルメディアで広く共有された。ディープフェイクには、党首がビール価格の高騰や不正投票について話している様子が収められていたとされる。
今年初め、AIが生成したロボコールがバイデン氏の声を真似て、ニューハンプシャー州の予備選挙の有権者に家にいて11月に投票を「取っておく」よう呼びかけた。民主党の政治コンサルタントのために音声を作成したニューオーリンズのマジシャンが、ElevenLabsのソフトウェアを使用してその音声を作成した方法をAP通信に披露した。
専門家によると、AI で生成された音声は、技術が急速に進歩したこともあり、悪意のある人物が以前から好んで使用してきたという。本物そっくりの偽物を作るには、ほんの数秒の実際の音声しか必要ない。
AIが生成する他のメディアも、専門家や議員、テクノロジー業界のリーダーたちを懸念させている。ChatGPTやその他の人気の生成AIツールを開発するOpenAIは木曜日、政治問題に関する世論を動かすために同社の技術を利用した5つのオンラインキャンペーンを発見し、阻止したことを明らかにした。
デジタルヘイト対策センターのCEO、アハメド氏は、AI音声複製プラットフォームがセキュリティ対策を強化し、作成した音声クリップのライブラリを公開して、疑わしい音声がオンラインで拡散したときに確認できるようにするなど、透明性についてより積極的になることを期待していると述べた。
同氏はまた、議員らが行動を起こす必要があるとも述べた。米国議会は選挙におけるAIを規制する法案をまだ可決していない。EUは広範囲にわたる人工知能法案を可決し、今後2年間で施行される予定だが、音声クローンツールについては特に触れていない。
「議員らは最低限の基準が確保されるよう努力する必要がある」とアハメド氏は語った。「偽情報が選挙にもたらす脅威は、小さな政治的事件を引き起こす可能性だけではなく、人々が見たり聞いたりするものに不信感を抱くようになることだ」
