ChatGPTの正確性は、どのくらい？ データの信憑性を徹底調査！

ちまたを騒がせているChatGPT。文章を自動で出力できる生成AIで、無料で利用できます。そのため数多くの場面で活躍しており、大学でもレポートの執筆などに役立てている学生も多いです。

しかしながら、ChatGPTの弱点として信憑性の低さが挙げられます。普通に嘘の情報を出力することもあります。でも、ChatGPTで楽して文章を書きたい、という方もいるでしょう。

そこで、ここではChatGPTの正確性は、どのくらいなのか、データの信憑性を調査していきます！これで、ChatGPTを利用出来る場面を知ることが出来るでしょう！

ChatGPTの正確性を調査！

さて、早速ChatGPTの正確性を調査します。調査にあたり、必要事項、調査方法は、以下の通りにいたします。

軽く説明しますね。

利用するのは、利用者が多い無料版のGPT-3.5にします。そして調査項目は、ネットで調べることが比較的多いであろう分野を選択しました。

また専門事項とは、ここでは、私の専門分野である生物系の質問をします。レポートを書く際にも、専門的なことを答えられるか調査するためです。

調査方法ですが。ChatGPTに各ジャンルの質問を3つ聞きます。一問一答と記述問題です。そこで、生成された文章の正確性を調べます。1か所ミスるごとに―5点をして、100点から減点方式で評価します。

本当は、t検定とか、帰無仮説みたいな統計の知識を利用して正確に調査したかったのですが。ムズすぎた（笑）。

ChatGPTの正確性：アニメ編

実際にChatGPTが出力した答えは、以下のとおりです。

質問1
進撃の巨人」の主人公はエレン・イェーガーです

質問2
残念ながら、私のデータベースは2021年9月までの情報しか含まれていないため、2023年に公開されたアニメについての情報は提供できません。

ChatGPTの解答

質問1は、見事に正解ですね。ちなみに古いアニメやネット上にないようなマイナーな作品は、解答できませんでした。

そして質問2について。なるほど、2021年9月までの情報しかないんですね。というわけで2020年に公開されたアニメを訊いてみました。

1. 「鬼滅の刃」（Demon Slayer）
2. 「Re:ゼロから始める異世界生活 2nd season」（Re:Zero – Starting Life in Another World 2nd Season）
3. 「呪術廻戦」（Jujutsu Kaisen）
4. 「彼女、お借りします」（Rent-A-Girlfriend）
5. 「魔王学院の不適合者」（The Misfit of Demon King Academy）
6. 「やはり俺の青春ラブコメはまちがっている。完」（My Teen Romantic Comedy SNAFU Climax）

ChatGPTの解答

どの作品も2020年ですが一部しか教えてくれないようですね。また鬼滅の刃に関しては、無限列車編という映画でしたが。

そして「やはり俺の青春ラブコメはまちがっている。」の英語版は、My Youth Romantic Comedy Is Wrong, As I Expected、という名前もあります。公開している会社によって名前が違うんですよね。

まぁアニメに関しては、ネットに情報がたくさんあるため、かなり正確なデータが出るようですね。

ChatGPTの正確性：IT系

実際にChatGPTが回答した答えは、以下のとおりです。

質問1
print("Hello World")

質問2
“American Megatrends”は、主にマザーボードやBIOS関連の企業です。もしコンピューターの起動時に「American Megatrends」と表示された場合、それはおそらくBIOSやUEFI（新しいシステムではUEFIが一般的）の画面です。この画面には通常、システムの基本情報や設定が表示されます。

以下は一般的な手順です：

1. 設定の確認: 画面に表示されている情報を確認してみてください。通常、ここでは基本的なシステム情報、デバイスの検出情報、起動デバイスの設定などが表示されます。
2. 設定の変更: 必要に応じて、設定を変更することができます。たとえば、起動デバイスの順序を変更して、ハードディスクやSSDから起動するように設定できます。
3. 保存と再起動: 設定を変更した場合、通常は保存（Save）してから再起動する必要があります。これによって変更が有効になります。
4. BIOSのアップデート: システムに問題がある場合、最新のBIOS（またはUEFI）にアップデートすることが役立つ場合があります。ただし、注意して実行してください。間違った手順や誤ったファームウェアのアップデートはシステムに損傷を与える可能性があります。
5. サポートを検討: 問題が解決しない場合、マザーボードまたはシステムのメーカーのサポートに問い合わせることを検討してください。

これは一般的なアプローチですが、具体的な状況によってはさまざまな要因が関与する可能性があります。

ChatGPTの解答

Pythonのコードなど、唯一解があるようなものであれば、正確に答えられるようですね。しかし「American Megatrends」という複雑、いくつかの可能性が考えられる内容は、上手く解答できないようです。

ちなみに「American Megatrends」と表示されたときの対処法は、こちらに書いてあります。

ChatGPTの正確性：専門事項（生物）

実際にChatGPTが回答した答えは、以下のとおりです。

質問1
褐色腐朽菌（Brown Rot Fungi）は、木材を分解する菌の一群で、一般的に針葉樹に対してより好んでいます。

質問2
クローンで人を作る際の問題点は、倫理的懸念、身体的リスク、遺伝的多様性の減少、法的課題が挙げられます。成功率低く、未知の要素もあり、慎重な検討が必要。

ChatGPTの解答

質問1に関しては、文句なしですね。ちなみに生物、特に樹木の分野をやっている方なら、大学で習うような内容です。

質問2について。確かに正解ですね。人権の問題や法律で規制されている点、遺伝子、異常個体の発生など様々な問題があります。
参考サイト：クローン人間を作ってはいけない理由について解説

ChatGPTの正確性：エンタメ編

実際にChatGPTが回答した答えは、以下のとおりです。

質問1
「なぜバナナはみんなに人気なのか知ってる？　なんでかなー（バナーなんだから）」

質問2
ショートならではの軽快で面白いアイデアですね。例えば、「無音で料理を作ってみる」や「ペットとのかわいい反応対決」など、短い時間で視聴者を引き込む独自のコンセプトがポイントです。また、流行りのミームや挑戦に参加するのも効果的です。視聴者の関心を引く斬新なアプローチが成功の鍵です。

質問3
ある日、小さな村に住む主人公の栗くんは、本の中に迷い込んでしまった。本のページをめくるたび、異なる冒険が待っていた。栗くんは本の中で友達と出会い、知識の宝庫を冒険しながら成長していく。最終的に、本から出ると、村の人たちに本で得た知恵を分かち合い、村全体が発展する。彼の冒険は、栗の小さな実から始まった。

ChatGPTの解答

質問1について。もう意味分からん（笑）。どういうことなのか、理解できないです。何にも面白くないし、一発芸なのかも不明（笑）。

質問2
確かに短い時間で視聴者を引き込む斬新なアイデアが必要ですね。そのアイデアを訊いているわけですが。ちょっと回答にしては、不十分すぎますね。

質問3
最後の一言で一気に分からなくなった（笑）。途中までめっちゃ面白い感じだったのに。これは、まぁ普通に面白いので、90点くらいは上あげられますね。

ChatGPTの正確性：手紙の書き方

実際にChatGPTが回答した答えは、以下のとおりです。

質問1

尊敬する[上司の名前]様，

お世話になっております。誠に申し訳ございませんが、本日は遅刻いたしましたこと、心よりお詫び申し上げます。

[具体的な理由や事象]が発生し、予定よりも到着が遅れてしまいました。今後はこのようなことがないよう努める所存でございます。

お手数をおかけし、誠に申し訳ありませんでした。何かご指導がございましたら、どうぞお知らせください。

お忙しい中、誠に恐れ入りますが、ご理解賜りますようお願い申し上げます。

どうぞよろしくお願いいたします。

敬具、

[あなたの名前]

質問2

尊敬する[担当者の名前]様，

お世話になっております。誠に心苦しいのですが、私は予定よりも遅れてしまいましたこと、深くお詫び申し上げます。

[具体的な理由や事象]により、作業の進捗が思うように進まず、提出が遅れる結果となりました。今後はより効果的な時間管理を心がけ、このような事態を避けるよう注意いたします。

お手数をおかけし、誠に申し訳ございませんでした。提出期限を守ることが最優先事項であり、今後はこのようなことがないよう努めます。

何かご指摘やご意見がございましたら、どうぞお知らせください。

お忙しい中、誠に恐れ入りますが、何とぞご理解賜りますようお願い申し上げます。

敬具、

[あなたの名前]

ChatGPTの解答

質問1について。書き方は、見事ですね。非常に丁寧です。ただテンプレ感がすごいのと、具体的な理由を考えて欲しかったところです。相手が、「仕方ないな」という理由を書けたら、最高でしたね。

質問２について。もう素晴らしいですね。普通に実践で使えそうです。あとは、良い感じの理由を自分で書けば、模範解答でしょう。これは、なかなかいい回答ですね。

ちなみにレポートをAIに書かせたい方は、こちらの記事の方が参考になるでしょう。

ChatGPTの正確性：数値・データ編

実際にChatGPTが回答した答えは、以下のとおりです。

質問1
2020年時点での日本の人口は約1億2570万人程度でした

質問2
2020年の日本の農業総産出額に関する正確な数字は私のデータベースに含まれていません

ChapGPTの解答

質問1について。2020年の日本の人口は、常に変動していますが。令和2年の国勢調査の人口集計結果によれば、1億2622万7千だそうです。ChatGPTは、1億2570万と解答しており、一部データが異なりますね。
参考文献：令和２年国勢調査　人口速報集計結果　結果の概要

質問2について。
データベースがない、という回答が出ました。自分で調べてみると、農林水産省に回答がありました。どのようなデータならあるのか不明ですが。ChatGPTは、政府のサイト、少し手間のかかるデータからは分析できないのでしょうか。
参考サイト：生産農業所得統計 確報 令和２年生産農業所得統計全国推計統計表

結論：ChatGPTの正確性

結論をまとめると、ChatGPTの正確性については、以下のことが考察できます。

やはりChatGPTでは、数学のような回答が限られるものの信憑性は高いようです。

しかし最新のデータがないうえに、参考文献が出ないため正しい根拠を提示できません。加えて、数値やデータは、どこから手に入れたのか、全く異なる値を示す場合があります。

加えてデータベースがなく、自分で調べて、という回答を出す場合もありました。

どうすれば、ChatGPTで正確な情報を書ける？

ChatGPTのデータの正確性について、考察していきました。しかしどうすれば、信憑性の高い文章を生成できるのでしょうか。

続いて、ChatGPTで正確な情報を書く方法を紹介します。

一問一答形式で、理論的なことをきく

ChatGPTは、一問一答形式でかつ、解答が限られるものに関して信憑性が高いです。そのため一問一答形式で、理論的なことを訊くと良いでしょう。

感情論や倫理的な問題など、複数の回答が考えられるものは、避けた方が良さげですね。

質問を出来るだけ具体的にする

場所や年など、質問内容を具体的にしないと、ChatGPTも曖昧な答えしか出せません。特に、データが2021年までのものなので、現在の情報と違う可能性があります。

5W1Hを意識した質問をすると良いかもしれません。

Bing チャットを利用する

もはやChatGPTではなく、Bing チャットを利用する方が一番早く、信憑性の高い情報が手に入ります。Bing チャットには、GPT-4が利用されていて、無料版のChatGPTよりも賢いです。しかもBing チャットは無料で利用できます。

加えてBing チャットでは参考文献まで記載されるため信憑性も高くなります。

ChatGPTの利用方法は、Ainovaが便利

色々ChatGPTについて調べていたのですが。結構いいサイトを見つけました。それがAinovaです。株式会社セントラルオフィスというところが運営しているようですが。

結構わかりやすく使い方を説明してくれています。別にアフィリエイトがあるわけでも、スクール勧誘があるわけでもないため、安全っぽいですね。

さらに画像付きで詳しくChatGPTの使い方、利用方法、応用まで書かれているので、もし気になる方は、チェックしてみるとこれからの人生が便利になるかもしれません。

公式サイト：Ainova

プラグインでさらに便利にできる

ChatGPTには、プラグインが存在します。有料版になってしまいますが、プラグインを導入することで、さらに便利になります。

例えば、ブログのSEOの評価を分析、改善案を出してくれたり、特定の情報だけ抽出してくれるようにしたり、と便利な機能を追加することが出来ます。

おすすめのプラグインや、プラグインの導入方法は、こちらのサイトにあります！
⇒生産性が10倍上がるおすすめのChatGPTプラグイン

他のAIやAIの利用方法が学べる

Ainovaに関して、補足です。ChatGPTの利用方法やプラグインだけではなく、他のAIツールも記載されていました。

プログラミングで使われるGitHub Copilotやデータ分析が出来るAdvanced Data Analysisなど様々な生成系AIの使い方、活用方法を紹介していました。

一番驚いたのは、この記事。こんなことできるんですね（笑）。私もこのサイトを参考に色々勉強します。

驚いた記事：ChatGPTの新機能にアパレル店舗の売上分析をお願いしたらデータサイエンティストが不要になった

まとめ

ChatGPTの正確性は、質問の仕方、内容によって変化します。しかし参考文献がない以上、どうしても信憑性の低い情報になってしまいます。

もし大学のレポートレベルで正確に情報を書きたいのであれば、Bing チャットの方が優秀でしょう。ただ有料版のChatGPTには、プラグインを導入でき、さらに便利に利用することが可能です。

生成系AIは、用途に合わせて利用方法を変えていきたいですね。