最近 ChatGPTよりもAnthropicのClaudeのほうが賢いという噂を目にして、試しにClaudeを使ってみている。確かに賢い気もするが、はっきりとしたことはわからない。せっかくなので色々と試してみようと思う。
去年の8月にLangChainというライブラリを使った実装の練習で、OpenAIのGPT3に『走れメロス』の内容を質問した。なので今回もそれを踏襲して『走れメロス』の内容について質問して、小説の内容を正しく反映した回答が生成できるかを試した。
試したこと
小説に対する質問をして、それに対して自然で正しい内容を生成するかを見た。
- 試す環境
- Webサービスの Claude https://claude.ai/chats
- モデル
- Claude 3 シリーズの最上位である Claude 3 Opus を使う
- 小説
- 『走れメロス』約10,000文字
- 質問
- メロスが走った目的はなんですか？
- メロスの妹は誰と結婚しましたか？
- メロスはセリヌンティウスを救えましたか？
ファイルを添付して質問する
WebのClaudeではファイルを添付できるので、小説の本文が入ったテキストファイルをアップロードしてから質問した。3つの質問で、それぞれ正しい説得力のある返答を生成できていた。国語のテストなら正解でいいだろう。気のせいかも知れないが、「〜たのです」というに口調が小説のスタイルに引っ張られて、昔の小説っぽくなっている気がする。いつもの日本語の回答だとシンプルな丁寧語で「〜でした」という口調になる。
ファイルなしで質問する
ここまでやった後で、『走れメロス』に関しては本文のファイルなくても答えられるのでは、という懸念が生まれた。この懸念は正しく、本文の添付がなくても同じように内容を正しく反映した回答が生成された。『走れメロス』は学習済みということがわかった。
本文を改変して質問する
学習済みでない小説について質問したいので、『走れメロス』の一部を改変して、その小説について質問することにした。
質問に合わせて、以下の変更を行った。
- 原文には書かれていない婿の名前を追加する
- セリヌンティウスを死亡させる
この改変内容を含んだ回答になっているかを試してみる。
1つ目の質問は改変内容は無関係。2つ目の質問には、期待通り婿の名前が含まれている。3つ目の質問には、期待通りセリヌンティウスが死亡したと書かれている。ということで、改変内容を反映してた内容を正しく答えることができていた。
まとめ
Claude 3 Opus は小説の内容を把握しているような回答を生成する事ができるということが確認できた。
有名な小説は学習済みの可能性があるので、注意が必要。検証用のデータは学習されている可能性のないデータを使う必要がある。
