「ChatGPT」が書いた文章を見分けることは可能か–5つの検出ツールをテスト │ クラウド図鑑

AI生成の盗用に対抗することは可能なのか、どこまで対抗できるのか、という問題を筆者が初めて取り上げたのは、2023年1月のことだった。生成AIの認知度が世界で爆発的に高まってからわずか数カ月が過ぎた頃だ。それから半年がたち、もう何年も生成AIを探究しているように感じられるが、実際には6カ月しか検討していない。

ともかく、これは1月の記事の更新版だ。最初にGPT検出ツールをテストしたときに使ったのは、「GPT-2 Output Detector」、Writer.comの「AI Content Detector」、Content at Scaleの「AI Content Detection」の3つだった。最も優れていたのは、正解率66％のGPT-2 Output Detectorだ。今回はこれらに加えて、「GPTZero」と「ZeroGPT」（そう、これらは別のツールだ）、Writefullの「GPT Detector」の3つを使用する。

残念ながら、Writer.comのAI Content Detectorは1月の検証時に正常に機能せず、今回も機能しなかったので、テスト対象から除外した。最初の記事が1月に公開された後にWriter.comのチームから届いたコメントを後ほど紹介する。

だが、話を進める前に、盗用の概念と、この問題との関連について説明しておく必要がある。Websterは「plagiarize」（盗用）を次のように定義している。「（他者のアイデアや言葉を）盗んで、自分のものであるかのように見せかけること。出典を明示せずに（他者の作品を）使用すること」

この定義はAIが作成したコンテンツに当てはまる。「Notion AI」や「ChatGPT」などのAIツールを使用している人がコンテンツを盗んでいるわけではないが、AIによって作成された文章であることを明記せずに自分の作品だと主張した場合は、やはりWebsterの盗用の定義に該当する。

今回の実験的な記事では、ChatGPTの力を借りた。筆者が書いた文は通常の書体と太字にして、ChatGPTの文は斜体で表記している。ChatGPTが生成した各セクションの後に、検出ツールの結果を記載した。記事の最後で、検出ツールの全体的なパフォーマンスを評価する。

筆者が自分で書いた上記の文章を検出ツールでチェックしたところ、以下の結果となった。

GPT-2 Output Detector：99.98％本物
Content at Scale AI Content Detection：100％。人間が書いた可能性が非常に高い
GPTZero：このテキストはすべて人間によって書かれた可能性が高い
ZeroGPT：AI/GPTの可能性は28.9％。おそらく人間が書いたテキスト
Writefull GPT Detector：GPT-3、GPT-4、またはChatGPTが生成した可能性は1％

　人間が書いたコンテンツ：5つのツールのうち4つが正解

それでは、もっと掘り下げてみよう（編集部注：以下のプロンプトとChatGPTの回答は、原文にある英語のプロンプトと回答を和訳して記載しています。原文については記事末尾のリンクを参照してください）。

　ChatGPTが盗用という点で教師や編集者にとって真の問題になり得る理由を説明してほしい。

ChatGPTは、OpenAIによって開発されたGPT（Generative Pre-trained Transformer）言語モデルの一種だ。与えられた入力シーケンス内の次の単語やフレーズを予測することで、人間が書いたような文を生成できるように設計されている。ChatGPTはテキストの生成やプロンプトへの応答ができる便利なツールだが、盗用という点では、教師や編集者にとって問題となる可能性もある。

ChatGPTが教師や編集者の問題になり得る主な理由の1つは、本物の人間が書いたテキストに酷似したテキストを生成する場合があることだ。そのため、学生やその他の個人がChatGPTを使用してテキストを生成し、それを自分の作品として提出することで、盗用を行うおそれがある。

教師や編集者にとって、特定のテキストがChatGPTによって生成されたものか、人間によって書かれたものかを区別するのは、非常に難しい場合がある。というのも、AIが作成したことを示す明白な間違いや矛盾が、生成されたテキストに含まれていない場合があるからだ。そのため、教師や編集者が盗用を特定して防止するのは難しい。なぜなら、特定のテキストがオリジナルなのか、別のソースからコピーされたものなのかを区別できない可能性があるからだ。

全体として、ChatGPTなどの言語モデルは、盗用に関して教師や編集者の問題となるおそれがある。なぜなら、人間が書いたテキストとの区別が難しいテキストを生成することがあり、学生やその他の個人が気づかれずに盗用を行いやすくなるからだ。