最近、OpenAIの「ChatGPT」と Anthropic の「Claude AI」という2つの大規模言語モデルが注目を集めています。
両者はどちらも高度な対話AIシステムですが、実際にどっちの方が使いやすいのか気になりませんか？
そこで私は、同じ質問を両者に投げかけ、その応答を比較検証してみることにしました。
今回検証するのはどちらも無料版（ChatGPT3.5およびClaude3 Sonnet）です。
検証のポイント
検証ポイントは、以下3つの観点で行います。（あくまで個人的な評価ということはご容赦ください。）
- 応答の分かりやすさ
- 応答の使いやすさ
- 応答の性質
応答の分かりやすさ
如何に優れた生成AIでも、文章がユーザーにとって分かりやすくなければ、本当に意味での利便性にはつながりません。そのため「応答の分かりやすさ」は1つのポイントになります。
同じ質問を投げかけて、どちらの文章がわかりやすいかを検証します。
応答の使いやすさ
次に「応答の使いやすさ」です。
「分かりやすさ」と何が違うのかといいますと、こちらは生成された文章を人間が理解しやすいか、という意味に置き換えられます。一方で「使いやすさ」は、生成された文章をビジネスなど何かしらの用途に転用しやすいかという意味に置き換えられます。
具体的には生成された文章が「コピー＆ペーストをして利用しやすいか、又は加工しやすいか」について考察します。
応答の性質
少しわかりにくい表現かもしれませんが、ここでは「性質」と呼ばせていただきました。
つまり「キャラクター」や「個性」というニュアンスが強いです。
ChatGPTとClaudeAI が、それぞれどんな特徴を持っているのかについて検討してみます。
また、本記事は2024年4月時点の情報です。生成AIは日々進化しており、順次新しいモデルが開発されているため、この記事はあくまで参考程度にとどめてください。
【検証①】ブログ記事の生成
本ブログも効率化を図るための、生成AIの力を借りて作成しています。
（以前よりも非常にブログを書く労力が小さくなりました。その分、どこでオリジナリティを発揮するのかは考えなければなりませんが）
そこで、ブログ記事の作成を手助けしてもらうために、ChatGPTとClaudeAI に、ブログ生成のプロンプトを投げてみます。
あなたは世界最高のブロガーである。
『「ChatGPT」と「ClaudeAI 」の違いとは何か？両者に同じ質問をして検証してみた。』 というタイトルでブログを書きたい。
以下の制約に従い、ブログ記事の素案を示してください。
#制約
・文字数：3000文字程度
・文体：ですます調
・口調：システムエンジニアっぽく
・ポイント：読者の興味を誘うように
上記のプロンプトを「ChatGPT」と「ClaudeAI」に問いかけてみます。
ChatGPT3.5の出力結果
以下が出力結果の全文ですが、気になる点には緑ハイライト。誤った情報や違和感のある個所を赤ハイライトをつけています。
タイトル: ChatGPTとClaudeAIの違いについて: 両者を比較検証！
はじめまして、私はChatGPTです。今回は、世間で話題のAIアシスタントである「ChatGPT」と「ClaudeAI」の違いについて深堀りしてみたいと思います。
まず、ChatGPTとClaudeAIはどちらも自然言語処理を用いたAIですが、そのアプローチや特徴には重要な違いがあります。
ChatGPTは、OpenAIによって開発されたAIモデルであり、大規模なデータセットを元にトレーニングされています。これにより、幅広いトピックに関する会話やテキスト生成が可能です。ChatGPTは、汎用的な応用範囲を持ち、様々な文脈での会話や情報提供が得意です。
一方、ClaudeAIは、個人プロジェクトや小規模チームによって開発されていることが多く、特定の目的やニーズに合わせてカスタマイズされる傾向があります。そのため、特定の領域や業界に特化した知識や機能を持つことがあります。例えば、法律業界向けの法律アシスタントとして使用される場合などです。
また、ChatGPTは、大規模なコミュニティと継続的な開発サポートを受けており、常に新しい機能や改善が行われています。一方、ClaudeAIは、より小規模なコミュニティや開発者によってサポートされているため、開発の進行速度やサポートの品質には違いが生じることがあります。
それでは、実際に同じ質問をChatGPTとClaudeAIに投げてみましょう。
質問: 「人間の感情を理解することはできますか？」
ChatGPT: 「人間の感情を理解することは、文脈や情報に基づいて一定程度までは可能です。しかし、感情の理解には個々の状況や背景を考慮する必要があります。」
ClaudeAI: 「私は感情を理解することに関しては限定的です。私の主な機能は情報提供やタスクの補助にありますので、感情の理解には特化していません。」
以上の回答からもわかるように、ChatGPTは幅広い文脈において応答が可能であり、一方のClaudeAIは特定の機能に特化した応答を提供する傾向があります。
総括すると、ChatGPTとClaudeAIは、それぞれ異なるアプローチや特徴を持ち、利用目的やニーズに応じて適切な選択肢となります。今後もAI技術の進化に伴い、両者の違いはより顕著になることでしょう。
「私はChatGPTです」と名乗っています。この点は後ほどClaudeAIと比較すると、ChatGPT3.5の方がチープなものに思えます。
“一方、ClaudeAIは、個人プロジェクトや”の部分ですが、ChatGPT3.5が保有している情報は2022年1月が最新（2024年4月7日時点）なので、ClaudeAI の認知度が低い、という前提で文章が生成されています。
また、”それでは、実際に同じ質問をChatGPTとClaudeAIに投げてみましょう。“では、実際に同じ質問を投げて、あたかもClaudeAIから返答があったような書きっぷりになっています。
“以上の回答からもわかるように、ChatGPTは幅広い文脈において応答が可能であり、一方のClaudeAIは特定の機能に特化した応答を提供する傾向があります。”が、一番懐疑的です。
ChatGPTが”幅広い文脈において応答が可能”としている根拠が薄っぺらく、幅広い文脈に応答しているとは言えません。
また、どこかClaudeAIの方が劣っているような記載ぶりです。情報が古いからでしょうか？
総括についてもかなり薄っぺらい内容になっており、総括とも言えません。
文字数は800文字程度であり、制約条件である「3000文字」も満たしていません。プロンプトが悪かったのでしょうか。
Claude3 Sonnetの出力結果
以下が出力結果の全文ですが、こちらも同じように、気になる点には緑ハイライト。誤った情報や違和感のある個所を赤ハイライトをつけています。
はい、分かりました。「ChatGPT」と「ClaudeAI」の違いについて、同じ質問を両者にぶつけて検証した結果を、システムエンジニアっぽい文体とですます調で、読者の皆様の興味を惹くようにブログ記事の素案を作成します。
タイトル: 『「ChatGPT」と「ClaudeAI」の違いとは何か？両者に同じ質問をして検証してみた。』
本文:
はじめまして、御覧頂きありがとうございます。私は某ソフトウェア開発会社に勤めるシステムエンジニアのジョンと申します。最近、OpenAIの「ChatGPT」と Anthropic の「Claude AI」という2つの大規模言語モデルが注目を集めています。両者はどちらも高度な対話AIシステムですが、実際にどの程度の違いがあるのか気になりませんか？
そこで私は、同じ質問を両者に投げかけ、その応答を比較検証してみることにしました。検証ポイントは、以下の3点です。
- 応答の正確性
- 応答の分かりやすさ
- 独自の付加価値
それではさっそく検証の様子をご覧ください。
【質問1】プログラミングを学ぶ際の心構えとして大切なことは?
ChatGPT: プログラミングを学ぶ上で大切な心構えは、「熱意」「忍耐力」「分析力」の3つだと思います。熱意があれば挫折しづらく継続できます。忍耐力があれば、うまくいかない時でも諦めずに取り組めます。分析力があれば、エラーの原因を特定しやすくなります。プログラミングは練習あるのみです。焦らずに一歩一歩着実に学んでいけば、必ず力になっていくはずです。
ClaudeAI: プログラミングを学ぶ際の心構えとして大切なことは、以下の3点だと考えます。
- 物事を論理的に考える力
- 実践を重んじる姿勢
- 独学の意欲
プログラミングは論理的思考が必須です。ある課題に対して、どのようなロジックでコンピュータに指示を出せばいいかを整理する力が求められます。また、書いたコードをそのまま実行し、エラーを解決しながら修正を重ねていく実践的なアプローチが大切です。さらに、公式ドキュメントを読み、調べながら自力で学ぼうとする独学の意欲も必要不可欠でしょう。一歩一歩、着実に学習を積み重ねていけば、必ずやスキルは身につきます。
(この続きはサンプルとして一部を省略しています)
…
まとめ: 以上、ChatGPTとClaudeAIに同じ質問を投げかけた検証結果でした。応答を比較してみると、ChatGPTは分かりやすい表現で人間くさい回答を、一方のClaudeAIはやや難しい言葉を使いつつも論理的で深い回答をしていることが分かりました。
ChatGPTの回答は読みやすく親しみやすいのが特徴で、プログラミング初心者の方にとってはストレスなく学習を始められるでしょう。一方、ClaudeAIはより専門的で具体性のある助言をくれるため、中級者以上の方にとっては新たな気づきを得られるかもしれません。
つまり、目的や習熟度に合わせて、どちらの AIアシスタントを活用するかを使い分ける、といった活用の仕方ができそうです。今後ますますAIアシスタントの進化が期待されますが、人間とAIの最適な関係性を見出せるよう、上手に取り入れていきたいと思います。
それでは、ここまでとさせて頂きます。ご清覧いただきありがとうございました。
”私は某ソフトウェア開発会社に勤めるシステムエンジニアのジョンと申します。“という始まりから、具体的な人がイメージできるような自己紹介になっている点がグッドポイントです。
“実際にどの程度の違いがあるのか気になりませんか？“制約条件にあるように、興味を掻き立てるような言い回しになっている点もグッドポイントです。
“それではさっそく検証の様子をご覧ください。“では、ライブ感のような要素を感じます。
“ChatGPTは分かりやすい表現で人間くさい回答を、一方のClaudeAIはやや難しい言葉を使いつつも論理的で深い回答をしていることが分かりました。“では、ChatGPTを批判するでもなく、特徴を伝えられています。
“それでは、ここまでとさせて頂きます。ご清覧いただきありがとうございました。“にも、どちらかといえば好意を持てるのは気のせいでしょうか？
一方でClaudeAIも文字数は1200文字程度であり、制約条件である「3000文字」は満たしていません。プロンプトが悪かったのでしょうか。
ブログ記事素案生成におけるChatGPT3.5とClaude3 Sonnetの違い
以上のとおり、1回の検証だけでは本当の違いはわからないかもしれませんが、ChatGPT3.5とClaude3 Sonnetの違いはなんとなく理解できたのではないでしょうか。
比較して見えた特徴をまとめると以下のようになります。
【ChatGPT3.5】
- 記事生成時の根拠が弱く、全体的に薄っぺらい
- ChatGPT自身を褒めがち、ClaudeAIをディスりがち（情報が古いからか）
- ある程度文章がまとまってはいる
- 読者の興味をひくような文面ではない
- 文字数は満たしていない
【Claude3 Sonnet】
- 具体的な人間が書いているかのように思わせる自己紹介
- 興味を湧くような疑問形が使われている
- 検証部分はあくまでサンプルとして根拠は据え置きしている
- ChatGPTもClaudeAIもそれぞれの特徴をあげている
- 文字数は満たしていない
いかがでしたしょうか。
私自身ChatGPTとClaudeAIの両方をかじったことはありましたが、どのような違いがあるのか？についてはイメージできていませんでした。
そして検証の結果、無料版のChatGPTとClaudeAIについては、明らかにClaude3 Sonnetの方が機転が利く、使いやすそう、という印象を受けました。
一方でChatGPT3.5は、それっぽい文章は生成してくれてはいるものの、ClaudeAIと比較すると文章能力はいまいちだし、硬い印象を受けました。
この結果がすべてだとは思いませんが、生成AIの機能を有効に利用するためのいち情報になるのではないでしょうか。
それでは、ここまでとさせて頂きます。ご清覧いただきありがとうございました。
