AIでサイバー攻撃を阻止するコンテストでハッカーたちが数百万ドルの賞金獲得を競う

カリフォルニア州ブレア – 米国の重要インフラを守るための戦いの最前線は今月、オレンジ郡の賃貸住宅を貫いた。

アリゾナ州立大学、カリフォルニア大学サンタバーバラ校、パデュー大学の10人以上のハッカーが、テーブルやソファ、キッチンカウンターに広げられたノートパソコンを操作し、互いの肩越しに覗き込み、時には同僚や教授に助けを求めた。

ハッカソンのミッションは、人間の介入なしに、何百万行ものオープンソース コードをスキャンし、セキュリティ上の欠陥を特定して修正できるプログラムを作成することです。このコンテストに成功すれば、国防高等研究計画局 (DARPA) が後援する 2 年間のコンテストで数百万ドルを獲得できます。

このコンテストは、政府がオープンソースソフトウェアの欠陥を国内最大のセキュリティリスクの一つとみなし、その解決には人工知能が不可欠であると考えていることを示す、これまでで最も明確な兆候の一つだ。

Linux オペレーティング システムなどの無料のオープン ソース プログラムは、Web サイトから発電所まであらゆるものの運用に役立っています。コードは、Microsoft や Oracle などの企業の独自仕様のプログラムに含まれるコードよりも本質的に劣っているわけではありませんが、テストを担当する熟練したエンジニアが不足しています。

その結果、適切に管理されていないフリーコードは、全米の半数の個人情報が漏洩した2017年のEquifaxの惨事など、史上最も高額なサイバーセキュリティ侵害の根源となってきた。この事件は、史上最大のデータ侵害和解につながり、同社は改善と罰金で10億ドル以上の損害を被った。

人間があらゆる産業分野に織り込まれているすべてのコードに対応できないとしても、DARPA は機械が対応できることを期待している。

「目標は、大規模な言語モデルを活用して脆弱性を見つけ、それが脆弱性であることを証明し、パッチを適用するエンドツーエンドの『サイバー推論システム』を構築することです」と、指導教授の一人であるアリゾナ州立大学のヤン・ショシタシビリ氏は説明した。

そこに到達するために、チームは AI への高尚な野望の裏にある、しばしば厳しい現実と格闘している。学生たちは、幻覚を捉えるために「健全性チェック」を課したり、パッチが実際に想定通りの問題を解決しているかどうかを確認したり、2 つの AI システムが最適な修正方法について互いに議論し、3 つ目の AI が勝者を決めるといったことを行っている。

「AIは無限の知識を持つ3歳児のようなものです」とカリフォルニア大学サンタバーバラ校の大学院生でチームの共同キャプテンを務めるルーカス・ドレセル氏は語る。「AIには実用的なフィードバックを与える必要があります。」

チーム・シェルフィッシュは、秘密兵器の開発とそれに対する防衛を担当する国防総省の研究機関であるDARPAが運営する、人工知能サイバーチャレンジ（AIxCC）と呼ばれるコンテストに参加している約40人の参加者のうちの1人である。

「オープンソースは重要なインフラ部門で広く普及しているため、広く使用されている重要なコードベースを保護する方法を再定義したい」と、コンテストのDARPAプロジェクトマネージャー、アンドリュー・カーニー氏は述べた。

DARPA は通信障害を乗り越えるためにインターネットの誕生に貢献しましたが、ネットが大きな弱点ももたらしたことは痛いほど明らかになりました。

組み込みのセキュリティがないため、広範囲にわたる相互接続により、誰でも、または何でも、どこからでも開始して、現代世界を動かすマシンへの侵入方法を探すことができます。いったん侵入すると、ユーザーは従業員やシステム管理者を装い、国家機密や企業秘密を盗み、その場所を閉鎖したり、身代金を要求したりすることができます。

ハッカーの被害者はかつてないほど増えている。FBIが運営する米国インターネット犯罪苦情センターに報告されたデータ侵害の件数は、2021年から2023年の間に3倍に増加した。政府機関はライバル国の発電所や給水施設に潜入している。違法な利益で肥え太った犯罪組織は、病院を破壊し、絶望した患者を他の場所に送り込むこともいとわない。

オープンソース ソフトウェアは、学生によって書かれたものであろうと、先見の明のある天才によって書かれたものであろうと、インターネット自体と同じくらい普及しており、ある推定によると、商用ソフトウェアの 90% に埋め込まれています。

すべてのソフトウェアと同様に、このソフトウェアにもバグがあり、その一部はマシンの制御を奪うために悪用される可能性があります。

いくつかの大規模なオープンソース プロジェクトは、Wikipedia とほぼ同規模のボランティアの軍隊によって運営されており、概して良好な状態にあります。中には、大企業のユーザーから助成金を受け、それを仕事にしているメンテナーがいるプロジェクトもあります。

そして、ほとんど覚えていない作者が宿題として書いたプログラムなど、その他すべてがあります。

「オープンソースは常に『自己責任で使用してください』というものです」と、Apache Software Foundation で先駆的な無料サーバーソフトウェア Apache やその他のプロジェクトを数十年にわたって保守した後、Open Source Security Foundation を設立した Brian Behlendorf 氏は言います。

「言論の自由、ビールの自由でさえありません」と彼は言った。「子犬の自由であり、世話と餌が必要です。」

最近、2つのまったく異なる事件によって、そのリスクが強調されました。

最初の脆弱性は、システムアクティビティを追跡するための小さなプログラム「Log4j」に存在するもので、何千人ものソフトウェア開発者が使用し、何百万台ものマシンにインストールされている。

2013年、あるユーザーがLog4jにコードを追加することを提案し、Log4jを保守するApache Foundationの小さなチームがそれを承認しました。2021年11月、中国のエンジニアが追加されたセクションにシステム乗っ取りを可能にする重大な設計上の欠陥があることに気づき、Apacheグループに問題を報告しました。

Apache が問題を修正するパッチを作成中、身元不明の研究者が保留中の変更を発見し、Log4j を実行しているコンピューターを制御する悪質なツールを開発しました。Apache はパッチを急いで公開したため、数千人の防御者と、修正される前に欠陥を悪用しようとする者との間で競争が始まりました。

Log4j インスタンスの多くはまだ修正されていない。木曜日、国家安全保障局などが、北朝鮮のスパイが依然として古いバージョンを実行している米国のウェブサーバーに侵入していると警告した。

ホワイトハウスのサイバー安全審査委員会は、より優れたコーディングと徹底した監査のみが Log4j の欠陥の拡散を阻止できたと結論付け、Apache のようなオープンソースの取り組みには「継続的な財政支援と専門知識が必要」だとした。

国土安全保障省のサイバーセキュリティ・インフラセキュリティ庁（CISA）は、新興企業に少額の助成金を支給し、企業にソフトウェアの中身を公表するよう求めてきた。しかし、こうした取り組みはなかなか進まない。

この脆弱性が最近になって明らかになったのは 3 月のことだ。当時、マイクロソフトのエンジニアは、プロセッサ使用率がわずかに上昇した原因を、アップデートされたばかりの Linux 用オープンソース ツールに求めていた。彼は、ツールの公式メンテナーがスパイ用のバックドアを仕掛けたことを発見し、Linux の最も人気のあるバージョンにバックドアが組み込まれるのを阻止するために、間に合うように内部告発した。

セキュリティ専門家にとっては悪夢のようなシナリオだったが、匿名のメンテナーは、長年の貢献の末、前任のマネージャーに権限を譲るよう働きかけた秘密の同盟者の支援を受けて、プロジェクトの制御権を獲得した。

オープンソースのセキュリティが CISA と国家安全保障機関にとって最優先事項になりつつある中、OpenAI と Microsoft は ChatGPT と生成型人工知能を世界に解き放ちました。

プログラミングを民主化することで、新しいツールは非プログラマーにもソフトウェアの作成を可能にしました。AI は、脆弱性を利用するトリックをより迅速に取り入れ、共通の興味を持つ定期的な連絡相手から送信されたように見える電子メールなど、より説得力のある餌を届けることができる犯罪者ハッカーを含む既存のプログラマーも支援しました。

AI は、大量のログを分析して異常な動作を検出したり、セキュリティ インシデントを要約したりするなど、防御活動も促進します。また、プログラムの作成時にセキュリティ上のミスを警告することもできます。

しかし、攻撃者が見つける前にオープンソース プログラムのセキュリティホールがどこにあるかを把握することは、DARPA と AIxxCC の参加者にとっての聖杯です。

DARPAは2016年のDef Conハッカー大会でサイバーチャレンジを実施し、人工的な環境で互いにハッキングする「キャプチャー・ザ・フラッグ」コンテストでプログラムを競わせた。

今年のコンテストでは、チームは AI 強化プログラムを使用して、何百万行もの実際のコードを理解および改善します。

Shellphish は、8 月に開催される Def Con の準決勝で最高潮に達するステップに向けて、100 万ドルの資金を獲得するのに十分なほど優れたアプローチの概要をまとめた論文を書いた 7 チームのうちの 1 つであり、この準決勝には 40 のエントリーが集まった。優勝者には 2025 年にさらに 200 万ドルが授与される。

Shellphish の最初の 100 万ドルの一部は、ブレアにある Airbnb に掲載された住宅に充てられ、6 月に 3 週間、7 月にさらに 2 週間、ハッカーたちがそこに宿泊した。さらに多くの資金が、5,000 個の中央処理装置コアを使用した大規模なテスト環境に費やされた。

Shellphish は単なるハッカー集団ではありません。メンバー構成が変化する 2 つの公立大学と深い関係があるにもかかわらず、このチームは 20 年間活動を続けており、創設者たちは今も関わっています。

イタリア出身のジョバンニ・ヴィーニャ氏は、カリフォルニア大学サンタバーバラ校で攻撃と防御のテクニックを含むコンピューターセキュリティを教えていたが、学生の関心を高め、能力を伸ばすために、2003年にキャプチャー・ザ・フラッグチームを設立した。このチームは2005年のデフコン大会で優勝し、その後、このチームから派生したチームが4年間にわたりコンテストを主催した。

彼の教え子たちが卒業してアリゾナ州やその他の地域に広がるにつれ、何人かは関わりを続けたか、あるいは自分の生徒をその活動に参加させた。

Shellphish は 2016 年のオリジナル Cyber​​ Grand Challenge に出場しましたが、決勝で敗退しました。

「私たちはこれらのすばらしいツールをすべて持っていたのですが、それらを統合する時間がありませんでした」とショシタイシュビリ氏は回想します。「だから、『オタク狙いに遭わないこと』が私の一番のアドバイスでした。」(オタク狙いとは、興味深い問題で技術者の気をそらすことを指します。)

この取り組みの中心となるのは、セキュリティの分野で「ファザー」と呼ばれるツールです。これは、プログラムにあらゆる種類のデータを送信し、予期せぬ事態にどう対処するかを調べます。

たとえ高性能のファジングツールであっても、最もわかりにくい欠陥や故意に作られたバックドアを見つけるのは困難だと、チームのメンバーは認めている。シェルフィッシュのマスタープログラムやその他のプログラムは、最高の状態では、簡単に手に入る欠陥を素早くたくさん見つけ、悪意のあるハッカーが悪用する前にそれを除去することができるだろう。

「AIは人間が何ヶ月もかかる問題を解決できるようになる」とドレセル氏は語った。

DARPA コンテストの規約では、すべての最終選考者は、ソフトウェア ベンダーと消費者がプログラムを実行できるように、そのプログラムをオープン ソースとしてリリースする必要がある。

ヤン氏は、予想される進歩を、強制的なソフトウェア更新や、ウェブプログラムがブラウザから抜け出してユーザーのデバイス上の他の場所で実行されるのを防ぐブラウザ「サンドボックス」などのセキュリティ上のマイルストーンと比較した。

AIはすべてのソフトウェアを安全にすることはできないだろう、と彼は言う。しかし、AIは人間に試行する時間を与えるだろう。

Shellphish は、最後の、ほとんど眠れない夜をデバッグに費やし、土壇場で慌てて修正した後、午前 9 時の締め切りにプログラムを提出しました。数週間後、ラスベガスで開催される次の Def Con で、最終選考に残ったかどうかがわかります。勝とうが負けようが、彼らの AI 支援コードは他の人が利用できるようになるため、すべての人のセキュリティが向上します。