Appleは当初AI分野への参入が遅れていたものの、 Appleの世界開発者会議同社はAIに全力を注いでいる。 アップルインテリジェンス Appleは、同社のほぼすべての製品にAIソリューションを提供する予定だが、同社はそこで止まるつもりはない。むしろ、AppleはAI言語モデルにさらに踏み込んでいる。
先週木曜日、Appleは DCLM-ベースライン-7B70億パラメータの言語モデルである が、Hugging Face で公開されました。このモデルは、言語モデルのトレーニング データセットの品質を向上させる取り組みである DataComp for Language Models (DCLM) ベンチマークの一部です。
また： GPT-4o mini を試してみませんか? よりスマートで安価な AI モデルにアクセスする 3 つの方法 – そのうち 2 つは無料です
70 億のパラメータを持つこのモデルは、Llama 2、Gemma などの人気モデルに匹敵します。大規模マルチタスク言語理解 (MMLU) ベンチマークで、同程度のサイズの人気モデルとテストしたところ、DCLM-Baseline-7B は競争力があり、以下に示すように Mistral 7B よりも優れたパフォーマンスを発揮しました。
DCLM-Baseline-7B の優れたパフォーマンスにもかかわらず、最も際立っている点の 1 つは、Apple の研究科学者 Vaishaal Shankar 氏が強調したように、モデルが「オープン データ、オープン ウェイト モデル、オープン トレーニング コード」を備えた、真にオープン ソースであることです。
DCLM モデルを huggingface でリリースしました。私たちの知る限り、これらは間違いなく最高のパフォーマンスを発揮する真のオープンソース モデルです (オープン データ、オープン ウェイト モデル、オープン トレーニング コード) 1/5
— ヴァイシャール シャンカール (@Vaishaal) 2024年7月18日
多くの人がこのアプローチを称賛している。他の研究者や開発者がモデルを構築し、この分野でさらに進歩させることができるからだ。このモデルは DCLMベースライン データと組み合わせ スターコーダー そして プルーフパイル2 データを活用して、コーディングや数学などの他のタスクに習熟します。
また： Apple の iOS 18 にアップデートできるすべての iPhone モデル (およびアップデートできないモデル)
Apple は、DCLM-Baseline-7B、モデルの重み、トレーニング コード、データセットのリリースに加えて、強力な 14 億のパラメータ バージョンもパッケージに含めました。
これはAppleが初めてAIモデルを導入したわけではなく、これまでにも次のようなモデルをリリースしている。 Ferret-UI、マルチモーダル大規模言語モデル（MLLM）、および 言語モデルとしての参照解決 (ReALM)、会話型AIシステム。秋にiOS 18とApple Intelligenceが利用可能になると、AppleがAI分野で競争する様子を見ることができるようになり、同社のAIへの取り組みの潜在的な成功をより正確に測定できるようになるだろう。
