私は コーディング能力をテストした ZDNETの多くの生成AIツールの1つである。今回は パープレキシティ.ai。
Perplexityは検索エンジンとAIチャットボットを合わせたような感じだ。他のものとどう違うのかと尋ねたところ、 生成AI このツールでは、ボットはリアルタイムの情報アクセスを使用し、毎日ウェブをインデックスしているという。ユーザーは、Perplexity にソースやプラットフォームに焦点を合わせるように依頼することで、検索範囲を絞り込むことができる。
また： ChatGPT を使ってコードを書く方法: ChatGPT でできることとできないこと
Perplexity の無料版はかなり制限されています。分析には OpenAI の GPT-3.5 モデルを使用し、1 日に 5 つの質問しか許可されません。また、ドキュメントのアップロードはサポートされていますが、1 日に 3 つまでに制限されています。
PerplexityのPro版は月額20ドルです。このバージョンでは、無制限の「クイック」検索、1日あたり600回のPro検索、AIモデルの選択が可能です。以下から選択できます。 GPT-4o、 クロード3、Sonar Large (LLaMa 3) など。Pro バージョンでは、月額 5 ドルの API クレジットも提供されます。
Perplexity のプログラミング能力を最初にテストするために、Pro 版は購入せず、無料版を実行することにしました。私は AI に対してこれらのコーディング テストを実行しましたが、結果はさまざまでした。このテストを続けてみたい場合は、ブラウザで「AI チャットボットのコーディング能力をテストする方法 – あなたもできます'には、私が適用するすべての標準テスト、その仕組みの説明、結果で何を探すべきかについての詳細が含まれています。
また： AI はプログラミングの仕事を引き継ぐのでしょうか、それともプログラマーを AI マネージャーに変えてしまうのでしょうか?
それでは、各テストの結果を詳しく調べ、以前のテストとどのように比較するかを見てみましょう。 クロード 3.5 ソネット、 マイクロソフト コパイロット、 メタAI、 メタコード呼び出し、 Google Gemini アドバンス、 そして チャットGPT。
1. WordPressプラグインの作成
このチャレンジでは、いくつかのことが求められます。まず、AI に、ランダム化される (ただし重複は排除されない) 行を入力するためのユーザー インターフェイスを作成するように要求します。次に、テストでは、リストをランダム化するだけでなく、結果のリストで重複項目が隣り合わないように表示するボタンを AI に作成するように要求します。
これまでのところ、Meta Code Llama を除くほとんどの AI は、かなり妥当な UI を作成しました。中には他のものよりも魅力的なものもありましたが、どれも目的を果たしました。
また： ジェネレーティブAIでコードをより速く書くが、その際にはリスクに注意する
ただし、ChatGPT (3.5、4、4o) のみが正しいランダム出力を生成しました。他のほとんどの AI は、クリックしても何も起こらないボタンを表示するだけでした。
Perplexity は機能しました。仕様に正確な UI が生成され、Randomize ボタンが機能して重複した行が分離されました。
今回のテストと前回のテストの集計結果は次のとおりです。
- 困惑: インターフェース: 良好、機能性: 良好
- クロード 3.5 ソネット: インターフェース: 良好、機能性: 不合格
- チャットGPT GPT-4o: インターフェース: 良好、機能性: 良好
- マイクロソフト コパイロット: インターフェース: 適切、機能性: 不合格
- メタAI： インターフェース: 適切、機能性: 不合格
- メタコード呼び出し: 完全な失敗
- Google Gemini アドバンス: インターフェース: 良好、機能性: 不合格
- チャットGPT 4: インターフェース: 良好、機能性: 良好
- チャットGPT 3.5: インターフェース: 良好、機能性: 良好
2. 文字列関数の書き換え
このテストは、ドルとセントを確認する検証機能を修正します。
私の元のコードには誤りがあり、整数のドルしか許可せず、セントは許可しませんでした。ユーザーがバグレポートを送信したときに、そのことに気付きました。最初は間違ったコードを ChatGPT に渡しましたが、ChatGPT は関数を書き換えてドルの金額と小数点の右側 2 桁を許可してくれました。
困惑もこのテストに合格しました。
生成されたコードはもっとタイトにできたかもしれませんが、うまくいきました。ユーザーが提供した文字列にゼロしか含まれていない場合、Perplexity の実装ではすべて削除されました。これを補うために、Perplexity はまずゼロをチェックしました。
また： ソフトウェアエンジニアリングにAIを導入しますか？知っておくべきことはすべてここにあります
このアプローチは実行可能ですが、Perplexity が生成した正規表現は、この変動を考慮して記述することもできます。これは単純な実装の選択であり、多くの有能なプログラマーはどちらの方法も選択したはずなので、Perplexity のアプローチは受け入れられます。
Perplexity のコードは、送信されたデータが正しくテストされ、ドルとセントの形式と一致していることを確認しました。その後、コードは文字列を数値に変換しました。また、解析された数値が有効で負でないかどうかも確認しました。
全体的に、Perplexity は堅牢なコードを生成しました。以下は、今回のテストと以前のテストの集計結果です。
- 困惑: 成功しました
- クロード 3.5 ソネット: 失敗した
- チャットGPT GPT-4o: 成功しました
- マイクロソフト コパイロット: 失敗した
- メタAI: 失敗した
- メタコード呼び出し: 成功しました
- Google Gemini アドバンス: 失敗した
- チャットGPT 4: 成功しました
- チャットGPT 3.5: 成功しました
3. 厄介なバグを見つける
コード内のバグに困惑したので、ChatGPT に助けを求めました。結局、問題の原因は直感的に明らかではなかったため、見逃してしまいました。
パラメータ渡しエラーには、WordPress フレームワークの機能に関する知識が必要です。PHP ではコードの一部に問題があるように思われたため、私はこのバグを見逃してしまいましたが、実際には問題はコードが WordPress 固有の操作をどのように遷移するかにありました。
Perplexity は問題を発見し、修正方法を正しく診断しました。
また： AI は共同ソフトウェア開発のチームプレーヤーになれるでしょうか?
今回のテストと前回のテストの集計結果は次のとおりです。
- 困惑: 成功しました
- クロード 3.5 ソネット: 成功しました
- チャットGPT GPT-4o: 成功しました
- マイクロソフト コパイロット: 失敗した
- メタAI: 成功しました
- メタコード呼び出し: 失敗した
- Google Gemini アドバンス: 失敗した
- チャットGPT 4: 成功しました
- チャットGPT 3.5: 成功しました
4. スクリプトの作成
この最終テストでは、AI の知識ベースの広範さを分析します。このテストでは、Chrome ドキュメント オブジェクト モデル、AppleScript、および Keyboard Maestro と呼ばれるサードパーティの Mac スクリプト ツールに関する知識を必要とするコードを生成するように求められます。
Perplexity は Keyboard Maestro を認識していないようで、変数の値を取得するために必要なスクリプト言語の呼び出しを記述していませんでした。
また： プログラミングを超えて: AIが新しい世代の職種を生み出す
困惑も クロード・ソネットが犯したのと同じ間違い、実行すると構文エラー メッセージが表示される AppleScript コード行が生成されました。この間違いは、AppleScript が大文字と小文字を無視する方法と、2 つの値を比較するときに文字列の大文字と小文字を考慮する場所についての知識が不足していることを示しています。
今回のテストと前回のテストの集計結果は次のとおりです。
- 困惑: 失敗した
- クロード 3.5 ソネット: 失敗した
- チャットGPT GPT-4o: 成功したが、留保付き
- マイクロソフト コパイロット: 失敗した
- メタAI: 失敗した
- メタコード呼び出し: 失敗した
- Google Gemini アドバンス: 成功しました
- チャットGPT 4: 成功しました
- チャットGPT 3.5: 失敗した
全体的な結果
4 つのテストの全体的な結果は次のとおりです。
全体的に、Perplexity はうまくいきました。ChatGPT 3.5 が 4 番目のテストに失敗したため、AI は失敗するかもしれないと思いました。また、Perplexity の無料バージョンは GPT-3.5 モデルを使用します。
Microsoft の Copilot も OpenAI の AI エンジンを使用するはずでしたが、Copilot はほとんどすべてで失敗したため、これらの結果には驚きました。Perplexity は GPT-3.5 の結果を反映しましたが、無料バージョンでは GPT-3.5 が使用されているため、これは当然のことです。
Perplexity Proのパフォーマンスを知りたい場合はお知らせください。十分なリクエストがあれば、サインアップします。 もう一つの月額AI料金 いくつかのテストを実行します。
Perplexity の無料版または Pro 版を試しましたか? 下のコメント欄でお知らせください。
ソーシャルメディアで日々のプロジェクトの最新情報をフォローできます。ぜひ登録してください。 毎週更新されるニュースレター、Twitter/Xでフォローしてください デイビッド・ゲワーツ、Facebookで Facebook.com/DavidGewirtz、インスタグラムで Instagram.com/DavidGewirtz、YouTubeでは YouTube.com/DavidGewirtzTV。
