サイバーセキュリティの研究者たちは、かなり前から警告してきた。 生成型人工知能 （GenAI）プログラムは、さまざまな攻撃に対して脆弱であり、 特別に作成されたプロンプト ガードレールを破壊し、機密情報を漏洩させるデータ漏洩など、さまざまな問題が考えられます。
研究が進むにつれて、GenAI が、特に極めて機密性の高い貴重なデータを持つ企業ユーザーにとって、どれほど大きなリスクであるかが専門家によって明らかになりつつあります。
また： 生成AIはガードレールがあっても簡単に悪意のあるものになる可能性があると学者は言う
「これは新たな攻撃対象領域を開く新たな攻撃ベクトルだ」と、サイバーセキュリティベンダーのクラウドストライクの最高技術責任者、エリア・ザイツェフ氏はZDNETとのインタビューで語った。
「生成AIに関しては、多くの人がこの技術を急いで利用しようとし、安全なコンピューティングの通常の制御や方法を回避しているのがわかる」とザイツェフ氏は語った。
「多くの点で、生成型AI技術は新しいオペレーティングシステム、あるいは新しいプログラミング言語と考えることができます」とザイツェフ氏は言う。「多くの人は、その長所と短所、正しい使い方、正しいセキュリティ対策について専門知識を持っていません。」
AIがセキュリティ上の懸念を引き起こした最近の最も悪名高い例は、マイクロソフトのリコール機能である。これは当初、 新しいCopilot+ PC。
セキュリティ研究者は、 リコール機能を備えた PC にアクセスした攻撃者は、キーストローク ロガーやその他のスパイウェアが意図的にマシンにインストールされた場合と同様に、個人の PC とのやり取りの履歴全体を見ることができます。
「彼らは、基本的にスパイウェアを組み込んだ消費者向け機能をリリースしました。これは、ユーザーが行っていることすべてを暗号化されていないローカル ファイルにコピーします」と Zaitsev 氏は説明します。「これは、攻撃者が攻撃して侵入し、あらゆる種類の情報を入手するための金鉱です。」
また： 大規模なサイバー攻撃に揺れる米国の自動車販売店：顧客が知っておくべき3つのこと
反発を受けて、 マイクロソフトはこの機能をデフォルトでオフにすると述べた PCではオプトイン機能になった。セキュリティ研究者は、この機能にはまだリスクがあると述べた。その後、 同社は Copilot+ PCではRecallをプレビュー機能として利用できなくなる。 今は言う 「Recall は、発売後の Windows Update を通じて間もなく提供されます。」
しかし、脅威は設計の悪いアプリケーションだけにとどまりません。大量の貴重な情報を一元管理するという同じ問題が、すべての大規模言語モデル (LLM) テクノロジに存在すると Zaitsev 氏は言います。
「多くの人がこの技術を急いで利用しようとしていますが、彼らは安全なコンピューティングの通常の制御と方法を回避しています」とクラウドストライクのエリア・ザイツェフ氏は言う。
クラウドストライク
「私はこれをネイキッド LLM と呼んでいます」と彼は大規模言語モデルについて語った。「大量の機密情報をトレーニングし、それを大規模言語モデルに入れ、その大規模言語モデルをエンドユーザーが直接アクセスできるようにすると、プロンプト インジェクション攻撃を使用して、機密情報を含むすべてのトレーニング情報を基本的にダンプすることができます。」
企業のテクノロジー担当幹部も同様の懸念を表明している。 今月のインタビュー データストレージベンダーの Pure Storage の CEO である Charlie Giancarlo 氏は、技術ニュースレター「The Technology Letter」で、LLM は「まだエンタープライズ インフラストラクチャに対応していない」と述べています。
ジャンカルロ氏は、LLM に「役割ベースのアクセス制御」が欠けていることを指摘した。このプログラムにより、誰でも LLM のプロンプトを入手し、モデルのトレーニング プロセスで吸収された機密データを見つけることができるようになる。
また： CrowdStrikeによると、サイバー犯罪者はMetaのLlama 2 AIを使用している。
「現時点では、適切な管理体制が整っていない」とジャンカルロ氏は語った。
「AIボットに収益のスクリプトを書かせた場合、問題は、私だけが持つことのできるデータを提供できることです」とCEOは説明した。「しかし、一度ボットに教えたら、それを忘れることはないので、開示前に他の誰かが『ピュアの収益はどうなるのか』と尋ねれば、ボットがそれを答えることになります」。予定された開示前に企業の収益情報を開示すると、インサイダー取引やその他の証券違反につながる可能性がある。
ザイツェフ氏によると、GenAIプログラムは「マルウェアを使わない侵入とも言える、より広いカテゴリーの一部」であり、悪意のあるソフトウェアを開発して標的のコンピュータシステムにインストールする必要がないという。
サイバーセキュリティの専門家は、このようなマルウェアのないコードを「環境寄生型」と呼んでいるとザイツェフ氏は述べ、ソフトウェア プログラムに本来備わっている脆弱性を利用している。「外部から何かを持ち込むのではなく、オペレーティング システムに組み込まれているものを利用しているだけだ」
土地から生計を立てる一般的な例としては、 SQLインジェクションSQL データベースを照会するために使用される構造化照会言語を特定の文字列で作成して、通常はロックダウンされる手順をデータベースに強制的に実行させることができます。
同様に、LLM 自体もデータベースです。モデルの主な機能は「単に超効率的なデータ圧縮」であり、実質的に新しいデータ ストアを作成するからです。「これは SQL インジェクションと非常に似ています」と Zaitsev 氏は言います。「これはこれらのテクノロジの根本的なマイナス特性です。」
しかし、Gen AIの技術は捨て去るべきものではありません。慎重に使用すれば価値があります。「私は、AIの素晴らしい成功を直接見てきました。 [GenAI] 「私たちはすでに、セキュリティ機能の一部を自動化できるクラウドストライクのアシスタントプログラムである『シャーロット AI』を通じて、顧客対応でこの技術を大いに活用しています」とザイツェフ氏は語った。
また： AIの脅威が加速する中、企業のクラウドセキュリティの失敗は「懸念される」
リスクを軽減する手法としては、ユーザーのプロンプトが LLM に送信される前にそれを検証し、応答がユーザーに返される前にそれを検証することが挙げられます。
「検査されていないプロンプトをユーザーが直接 LLM に渡すことは許可されません」と Zaitsev 氏は言います。
例えば、「ネイキッド」LLMは、「RAG」または検索拡張生成を介してアクセスできるデータベースを直接検索できます。 ますます一般的になっている習慣 ユーザープロンプトを取得し、それをデータベースの内容と比較します。これにより、LLM によって圧縮された機密情報だけでなく、外部ソース内の機密情報のリポジトリ全体を公開する LLM の機能が拡張されます。
RAG は、LLM がデータベースにアクセスできるようにするための一般的な方法論です。
百度
重要なのは、ネイキッド LLM がデータ ストアに直接アクセスできないようにすることだと Zaitsev 氏は言います。ある意味では、問題が悪化する前に RAG を抑制する必要があります。
「私たちは、ユーザーが自由形式の質問をすることができる LLM の特性を活用し、それを使ってユーザーが何をしようとしているのかを判断し、その後、より伝統的なプログラミング技術を使用してクエリを実行します」
「例えば、Charlotte AI は多くの場合、ユーザーが一般的な質問をできるようにしますが、Charlotte は、LLM がデータベースを直接照会できるようにするのではなく、API 呼び出しを介して、プラットフォームのどの部分、どのデータセットに真実のソースがあるかを特定し、そこから質問に答えます」
また： AIはサイバーセキュリティを変えており、企業は脅威に目を覚まさなければならない
「当社はすでに API と検索機能を備えたこの堅牢なプラットフォームの構築に投資しているので、LLM に過度に依存する必要はなく、現在はリスクを最小限に抑えています」と Zaitsev 氏は述べています。
「重要なのは、こうしたやり取りを制限し、完全にオープンにしないことです。」
プロンプトでの誤用以外にも、GenAI がトレーニング データを漏洩する可能性があるという事実は、適切な制御を見つける必要がある非常に広範な懸念事項であると Zaitsev 氏は述べています。
「社会保障番号をプロンプトに入力し、それを知らない第三者に送信して、その第三者があなたの社会保障番号を新しい LLM にトレーニングし、誰かがインジェクション攻撃で漏洩する可能性があるのですか?」
「プライバシー、個人を特定できる情報、データがどこに保存されているか、どのように保護されているかを知ること、これらはすべて、Gen AIテクノロジーを構築する際、またそのテクノロジーを使用している他のベンダーを利用する際に人々が考慮すべき事項です。」
