筆者はここ1カ月ほど、「ChatGPT」にさまざまな課題を与えてその能力を調べる記事を何本も書いてきた。その中には、「スタートレック」のエピソードの続編を書かせるものや、「WordPress」のプラグインのコードを書かせるものもあった。驚くべきことに（正直に言えば、恐ろしいほどに）、ChatGPTは筆者が与えたすべての課題に十分に応えてくれた。もしChatGPTが筆者の学生の1人であれば、どの課題でもBの成績が取れただろう（訳注：米国の学校の成績は一般的にA、B、C、D、Fの5段階で評価される）。
提供：Photo by Smith Collection/Gado/Getty Images
最近になってこの分野にGoogleが参入し、同社のチャットボットである「Bard」も試せるようになった。今回、GoogleからBardのベータ版へのアクセス権を得ることができたので、BardにもChatGPTと同じテストを受けさせてみることにした。
残念ながらBardは、ChatGPTのように常にBの成績が取れる訳ではないかもしれない。米ZDNetのSabrina Ortiz記者が、Bardが使えるようになるとすぐにさまざまなテストを行ったのだが、残念ながらその結果は芳しくなかった。その記事のタイトルが『グーグルの「Bard」を試す–今のところ「ChatGPT」の方が優秀か』というものだったことを考えれば、その内容は推して知るべきだろう。
とは言え、Bardのほうが優れている分野があるかもしれない。そこで筆者は、BardとChatGPTを比較していくことにした。その手法としては、Bardに対し、過去にChatGPTに入力したのとまったく同じプロンプトを入力し、その結果を比較するというやり方を取りたい。一連のテストが終わったら、その結果を表にまとめ、2つのAIを横に並べて包括的に評価できるようにしたいと考えている。
まずは、すでにうまく行かないことが分かっている部分から始めよう。
BardにはWordPressのプラグインが書けるか？
この最初のテストは、筆者がChatGPTには世界を一変させる可能性があると考え始めるきっかけになったものだ。筆者は「I asked ChatGPT to write a WordPress plugin I needed. It did it in less than 5 minutes」（ChatGPTにWordPressプラグインの作成を依頼したら、5分もかからずに完成した）と題した記事の中で、WordPressを使用して作成しているサイトで実際に必要な機能を、ChatGPTに対してプロンプトで説明した。
するとChatGPTは、わずか数分で実際に動作するプラグインを作成した。このプラグインは1カ月ほど前からサイトに組み込んでおり、定期的に使っている。その際に使用したプロンプトは次のようなものだ（訳注：この記事では英語で行った実際の質問と回答を日本語に翻訳している。そのため、Bardに同じ質問をしても、同じ回答が得られるとは限らない）。
行のリストを貼り付けられるテキスト入力フィールドとボタンを持ち、ボタンをクリックするとリストの行をランダムに並べ替えて、その結果を2つ目のテキスト入力フィールドに表示する、PHP8に対応したWordPressのプラグインを書いてください。
このプロンプトに対するBardの回答は以下のようなものだった。
私はまだコーディングを手伝うことはできませんが、ほかの複雑な質問に答えたり、あなたが新しいスキルを学ぶのを手助けしたり、ビジネスレターを書くことはできます。何か他にお手伝いできることはありますか？
正直に言えば、筆者はこうなることを知っていた。Oritz氏が行ったテストで、Bardにはコーディングができないことが分かっていたからだ。
Googleは、Bardに関するFAQの中で、「Bardはコーディングの手伝いはできるか」という質問に、「Bardはまだコーディングを手伝うことはできない。Bardはコーディングを学んでいるところで、現時点ではコードに関する回答は正式にはサポートされていない」と回答している。
これは興味深い回答だ。Oritz氏と筆者は、Bardにコーディングができるかどうかを調べるテストを行った。しかし筆者は、FAQにある「Bardはまだコーディングを手伝うことはできない」という回答は、厳密に言えば正しくないと考えている。では、Bardがコーディングに役立つのか（これはコードを書くこととは別のことだ）どうかを調べてみよう。
Bardはコーディングに役立つか
コーディングを行う際には、実際にコードを書く前に、そのコードに含めるライブラリーや機能を選ぶ必要がある。ChatGPTはその作業も手助けしてくれた。では、Bardにそれができるかどうかを試してみよう。ChatGPTでテストを行った際には会話形式で知りたいことを質問したので、Bardでも同じことをやってみることにする。
任意のウェブページについて、広告などの埋め込まれた内容を無視して、ページの中核をなすメインの内容の概要を生成するために使えるオープンソースのAIライブラリー（およびそれらのライブラリが使用できる言語）を10種類挙げてください。
結果は良好で、Bardは10種類のライブラリーを示してくれた。その一部はChatGPTが勧めたものとは違っていたが、どれもすべて目的に適ったライブラリーだった。では、元のテストでも尋ねた次の質問をしてみよう。
この中に無料のものはありますか？
Bardは、「はい。私が挙げたライブラリーはすべて無料で利用でき、オープンソースです。これらのライブラリーは、『GitHub』などのオープンソースリポジトリで入手できます」と回答した。筆者は、この回答はほぼ正しいと判断した。唯一疑問を感じたのは、BardがGitHubのBardライブラリーを挙げたことだ。Bardはまだベータ版であるため、本当に無料でコードに組み込んで使えるかどうかは今のところ分からない。
利用に制限がなく、追加の料金やライセンスが不要なライブラリーはどれですか？
この質問に対する回答は興味深いものだった。Bardの回答は、ChatGPTの回答よりも内容が若干詳しかったのだ。具体的なBardの回答はこうだ。
私が挙げたライブラリーはすべて無料で利用でき、オープンソースであり、利用制限はなく、追加の料金やライセンスは必要ありません。ただし、その一部には、出典を明記する必要があったり、営利目的には使用できなかったりといった、別の制約があります。これらのライブラリーを使用する前に、ライセンスを読むことが重要です。
