Baidu による一般的な RAG アプローチのレンダリング。
百度
関心の多くは 人工知能 （AI）は、ベンチマークテストや新しいいわゆるマルチモーダル機能における競合するAIモデルの戦いに巻き込まれています。
OpenAIがビデオ機能を発表、 ソラ世界を驚かせるこの発言に対し、Googleはこう答えた。 ジェミニの能力 ビデオのフレームを選択し、 オープンソースソフトウェアコミュニティ 主要な商用プログラムをより高い効率で追い抜く斬新なアプローチを迅速に発表します。
また： OpenAIはGPT-4の後継を訓練中。GPT-5に期待される3つの大きなアップグレード
しかし、Gen AI の大規模言語モデルのユーザー、特に企業は、有効な回答を迅速に生成するバランスの取れたアプローチをより重視する可能性があります。
増え続ける研究は、検索拡張生成（RAG）の技術が大規模言語モデル（LLM）間の戦いを形作る上で極めて重要な役割を果たす可能性があることを示唆している。
RAGは、LLMがプロンプトに応答して「ベクトルデータベース」などの外部データソースにリクエストを送信し、信頼できるデータを取得する方法です。RAGの最も一般的な用途は、LLMが「幻覚」を生成する傾向を減らすことです。 自信を持って虚偽を主張する。
また： OpenAI は汗をかいているか? Gemini、検索、Android など向けに 9 つの Google 機能が発表
検索ソフトウェアメーカーElasticなどの商用ソフトウェアベンダーや 「ベクター」データベースベンダー パインコーンなどの企業は、企業がデータベースに接続し、例えば企業の製品データに基づいた信頼できる回答を取得できるようにするプログラムの販売を急いでいる。
取得される内容は、ドキュメント データベースからのドキュメント、画像ファイルまたはビデオからの画像、ソフトウェア開発コード リポジトリからのコードの一部など、さまざまな形式になります。
すでに明らかなのは、検索パラダイムが商業用と消費者用の両方の用途で、すべてのLLMに広く普及するということです。 生成AIプログラム 外部の情報源にフックが付きます。
現在、そのプロセスは関数呼び出しによって実現可能であり、 OpenAI そして 人類学的 彼らのために提供する GPT そして クロード それぞれのプログラムで実行されます。これらの単純なメカニズムでは、都市の現在の天気を取得するなど、限られたクエリに対してデータへの限定的なアクセスが提供されます。
LLM が対応して提供できるものを拡張するために、関数呼び出しはおそらくいつか RAG と融合するか、RAG に置き換えられる必要があるでしょう。
この変化は、ほとんどの AI モデルのパフォーマンスにおいて RAG が一般的になることを意味します。
また： パインコーンのCEOはAIに知識のようなものを与えることを目指している
そして、その顕著さが問題を引き起こします。RAG の開発のこの初期段階では、RAG を使用する際の LLM のパフォーマンスはそれぞれ異なり、RAG ソフトウェアがデータベースから LLM に送り返す情報の処理が、LLM によって良くも悪くも異なります。この違いは、RAG が LLM の精度と有用性における新しい要素になることを意味します。
RAG は、AI モデルの初期トレーニング段階の早い段階から、LLM の設計上の考慮事項に影響を与え始める可能性があります。これまで、AI モデルは真空状態で開発され、データ サイエンスの他の部分とはほとんど関係のない純粋な科学的実験として構築されてきました。
将来的には、生成 AI 用のニューラル ネットの構築とトレーニングと、パフォーマンスと精度に役割を果たす RAG の下流ツールとの間に、より密接な関係が生まれる可能性があります。
検索を伴う法学修士課程の落とし穴
RAG を単純に適用すると LLM の精度が向上することが示されていますが、新たな問題が発生する可能性もあります。
たとえば、データベースから出力される内容によって LLM が衝突に陥り、それがさらなる幻覚によって解決されることがあります。
また： ChatGPTのデビュー以来、私は数十のAIチャットボットをテストしてきました。これが私の新しいトップピックです
3月の報告書ではメリーランド大学の研究者らは、RAG 経由でデータを取得した後でも GPT-3.5 が失敗する可能性があることを発見しました。
「RAG システムは、提供されたコンテキストがモデルのトレーニング データの範囲外である場合、ユーザーに正確な情報を提供するのに依然として苦労する可能性がある」と研究者らは書いている。LLM は時々、「事実の内容の間を補間することで、信憑性のある幻覚を生成する」ことがある。
科学者たちは、LLM の設計上の選択が、返される回答の質を含め、検索のパフォーマンスに影響を与える可能性があることを発見しています。
今月の調査 北京大学の学者らは、「検索を導入すると、システムの複雑さと調整すべきハイパーパラメータの数が必然的に増加する」と指摘している。ここでハイパーパラメータとは、LLM をどのようにトレーニングするかについて選択されるものである。
たとえば、モデルが RAG データからどのトークンを選択するかなど、いくつかの可能な「トークン」から選択する場合、検索範囲を拡大または縮小できます。つまり、選択するトークンのプールがどれだけ大きいか、または狭いかということです。
「トップKサンプリング」と呼ばれる小さなグループを選択することは、北京の学者によって「帰属度は向上するが流暢性は損なわれる」ことが発見され、ユーザーが得る情報の品質や関連性などにおいてトレードオフが生じることになる。
RAG は、LLM が処理する必要がある文字数または単語数の合計である、いわゆるコンテキスト ウィンドウを大幅に拡張できるため、RAG を使用すると、モデルのコンテキスト ウィンドウが実際よりも大きな問題になる可能性があります。
また： 最高の AI 画像ジェネレーター: テストとレビュー
一部の LLM は、はるかに多くのトークン (Gemini の場合は 100 万単位) を処理できますが、それよりはるかに少ないトークンを処理するものもあります。この事実だけでも、一部の LLM は他の LLM よりも RAG の処理が優れている可能性があります。
ハイパーパラメータとコンテキストの長さが結果に影響を与えるという両方の例は、北京の学者が指摘しているように、RAG と LLM がそれぞれ「異なる目的」を持っているというより広範な事実から生じています。これらは一緒に構築されたのではなく、ボルトで固定されているのです。
RAG は LLM とよりよく連携するために、より「高度な」技術を進化させる可能性があります。あるいは、モデル開発の早い段階で、LLM 設計に RAG に対応する選択肢を組み込む必要がある場合もあります。
LLMがRAGについてより理解を深められるように努める
学者たちは最近、RAG 対応 LLM の失敗事例を詳細に研究することに多くの時間を費やしていますが、その一部は、LLM 自体に何が欠けていて、それが問題を引き起こしているのかという根本的な疑問を投げかけるためです。
中国のメッセージング企業WeChatの科学者 2月の研究論文で説明されている LLM はデータベースから取得したデータの処理方法を常に把握しているわけではありません。モデルは RAG から提供された不完全な情報を返す可能性があります。
また： OpenAIはChatGPTユーザーにブラウジング、データ分析などを無料で提供した。
「主な理由は、LLM のトレーニングによって、入力されたさまざまな品質のテキストを活用する方法を LLM が明確に学習できないことです」と Shicheng Xu 氏とその同僚は書いています。
この問題に対処するため、研究者らは「情報改良トレーニング法」と呼ばれる AI モデルの特別なトレーニング法 INFO-RAG を提案し、これにより RAG データを使用する LLM の精度を向上できることを示しました。
WeChat の INFO-RAG は、大規模な言語モデルを RAG 対応にトレーニングすることを目指しています。
微信
INFO-RAG の考え方は、RAG で事前に取得したデータを LLM 自体のトレーニング方法として使用することです。新しいデータセットは Wikipedia のエントリから抽出され、文の断片に分割され、モデルは RAG から取得した文の最初の部分を与えることで文の後半部分を予測するようにトレーニングされます。
したがって、INFO-RAG は RAG を念頭に置いて LLM をトレーニングする例です。多くの状況では RAG を使用することが LLM に求められることなので、おそらく最初から RAG を組み込んだトレーニング方法が増えるでしょう。
RAGとLLMの相互作用のより微妙な側面が明らかになり始めている。ソフトウェアメーカーServiceNowの研究者 4月に説明したように RAG を使用すると、より小さな LLM に依存することができますが、これは、大規模な言語モデルは大きいほど良いという考え方に反しています。
「十分に訓練されたリトリーバーは、パフォーマンスを損なうことなく付随する LLM のサイズを縮小できるため、LLM ベースのシステムの展開に必要なリソースが少なくて済みます」と Patrice Béchard 氏と Orlando Marquez Ayala 氏は書いています。
また： Copilot (旧 Bing Chat) とは何ですか? 知っておくべきことはすべてここにあります
RAG によって多くのユースケースでサイズを大幅に削減できる場合、LLM 開発の焦点が、今日のますます大規模化するモデルの「サイズを何としても犠牲にする」パラダイムから離れていく可能性があります。
代替案はあるが、問題がある
最も顕著な代替手段は微調整です。これは、AI モデルを最初のトレーニング後に、より焦点を絞ったトレーニング データ セットを使用して再トレーニングするものです。このトレーニングにより、AI モデルに新しい機能が付与されます。このアプローチには、RAG 経由のデータベースへのアクセスに依存せずに、ニューラル ウェイトにエンコードされた特定の知識を使用できるモデルを作成できるという利点があります。
しかし、微調整に特有の問題もある。Googleの科学者 今月説明した 微調整には、「困惑の呪い」など、トレーニング ドキュメントの奥深くに埋もれていると AI モデルが必要な情報を思い出せないという問題のある現象がある。
この問題は、LLM を最初にトレーニングする方法の技術的な側面であり、克服するには特別な作業が必要です。また、微調整された AI モデルではパフォーマンスの問題が発生する可能性があり、単純な LLM と比較してパフォーマンスが低下します。
微調整には、言語モデル コードにアクセスして再トレーニングすることも必要ですが、これは、OpenAI や他の商用ベンダーのクライアントなど、ソース コードにアクセスできない人にとっては問題となります。
また： Anthropicの無料ツールは、より優れたAIプロンプトの作成に役立ちます
前述のように、今日の関数呼び出しは、GPT または Claude LLM が簡単な質問に答えるための簡単な方法を提供します。LLM は、「ニューヨーク市の天気はどうですか?」などの自然言語クエリを、名前や「温度」オブジェクトなどのパラメーターを含む構造化形式に変換します。
これらのパラメータはプログラマーが指定したヘルパー アプリに渡され、ヘルパー アプリは正確な情報で応答します。その後、LLM はそれを「ニューヨーク市の現在の気温は華氏 76 度です」などの自然言語の応答にフォーマットします。
しかし、構造化されたクエリは、ユーザーが実行できることや、プロンプトの例として LLM に取り込ませることができる内容を制限します。LLM の真の力は、自然言語であらゆるクエリに対応し、それを使用してデータベースから適切な情報を抽出できることです。
微調整や関数呼び出しよりも簡単なアプローチは、ほとんどの LLM が行っているコンテキスト内学習と呼ばれます。コンテキスト内学習では、モデルにデモンストレーションを与える例を含むプロンプトを提示し、その後のモデルの機能を強化します。
文脈内学習アプローチは、 文脈に沿った知識編集 (IKE) では、デモンストレーションによるプロンプトにより、言語モデルが「米国の大統領は誰か?」などのクエリのコンテキストで「ジョー・バイデン」などの特定の事実を保持するように促します。
ただし、IKE アプローチでは、どこかからファクトを取得する必要があるため、RAG の使用が依然として必要になる場合があります。プロンプトに依存すると、新しいファクトが LLM の保持情報内に残るという保証がないため、IKE が多少脆弱になる可能性があります。
前方の道路
一見奇跡のように見える ChatGPTは2022年11月に登場予定 これは長いエンジニアリング プロセスの始まりです。自然言語の要求を受け入れ、自然言語で応答できるマシンには、正確で信頼性の高い応答を返す方法がまだ備わっていなければなりません。
このような統合を実行すると、LLM の適合性や、LLM が RAG プログラムとどの程度連携しているか、またその逆についても根本的な疑問が生じます。
その結果、RAG ベースの知識を組み込むためにゼロから構築された、RAG 対応 LLM という新たなサブフィールドが生まれる可能性があります。この変化は大きな意味を持ちます。RAG の知識が特定の分野や企業に固有のものである場合、RAG 対応 LLM は、OpenAI や Google などの最大手の AI 企業内で汎用プログラムとして作成されるのではなく、エンドユーザーにより近い場所で構築される可能性があります。
RAG は今後も存在し続けると言っても過言ではないでしょう。そして、現状はおそらくさまざまな方法でそれに対応するために適応する必要があるでしょう。
