アメリカ国立標準技術研究所（NIST）は ツールの再リリース どれだけ感受性があるかをテストする 人工知能（AI） モデルは悪意のあるデータによって「汚染」される可能性があります。
この動きはバイデン大統領の 大統領令 これは、AIの安全で安心、信頼できる開発に関するものであり、NISTがモデルテストを支援するという同命令の要件に直接応えるものである。NISTはまた、 最近発売された アメリカ人がAIを利用できるようにするプログラム 合成コンテンツ、またはAI生成コンテンツ 社会の利益のために AI 開発を促進します。
このツールは ジオプターは2年前に最初にリリースされ、中小企業や政府機関を支援することを目的としています。このツールを使用すると、どのような攻撃がAIモデルのパフォーマンスを低下させるかを判断し、パフォーマンスの低下を定量化して、モデルが失敗する条件を確認できます。
また： AIの「モデル崩壊」に注意：合成データによるトレーニングが次世代を汚染する仕組み
なぜこれが重要なのでしょうか?
組織が AI プログラムの安全性を確保するための措置を講じることは非常に重要です。NIST は連邦政府機関がさまざまなシステムで AI を活用することを積極的に奨励しています。AI モデルは既存のデータでトレーニングされるため、誰かが悪意のあるデータを意図的に挿入した場合 (たとえば、AI に一時停止標識や速度制限を無視させるデータ)、結果は悲惨なものになる可能性があると NIST は指摘しています。
AI がもたらす変革的なメリットにもかかわらず、NIST のローリー E. ロカシオ所長は、この技術は他の種類のソフトウェアに関連するものよりもはるかに大きなリスクを伴うと述べています。「これらのガイダンス文書とテスト プラットフォームは、ソフトウェア作成者にこれらの固有のリスクについて知らせ、イノベーションをサポートしながらそれらのリスクを軽減する方法を開発するのに役立ちます」と彼女はリリースで述べています。
また： 安全ガイドラインは、AIゴールドラッシュにおけるデータ保護の必須の第一層を提供する
NIST によれば、Dioptra は、攻撃、防御、モデル アーキテクチャの複数の組み合わせをテストして、どの攻撃が最大の脅威となる可能性があるか、またどのような解決策が最適かをより深く理解できるという。
このツールはすべてのリスクを取り除くことを約束しているわけではありませんが、イノベーションをサポートしながらリスクを軽減するのに役立つと主張しています。 ダウンロード可能 無料で。
