マジセミドライブ

ウェビナー関連のニュースやITサービス&ツールの最新情報を随時配信します。

AIツール実験室

2023.09.20

【AIツール実験室】いちばん賢い チャットAI 選手権!

【AIツール実験室】いちばん賢い チャットAI 選手権!

はじめに

ごあいさつ

日本全国の「いちばん賢いチャットAIを探索中」のみなさま、
おつかれさまです。

きのこたけのこ戦争

「きのこの山」vs「たけのこの里」戦争 最新状況レポート
が公開されていました。

→forest.watch.impress.co.jp →「きのこの山」vs「たけのこの里」論争の最新状況、家計簿アプリ「Zaim」がレポート

担当者Aは、別段お菓子を必要としてないため、
どちらが勝っても負けても別に構わないのですが、

高い熱量で争いを繰り広げる両陣営の「どうでもいい小競り合い」を見かけるたびに、
『平和な争いでおもしろいなー』と思いつつ、
あえてどちらかといえば、
若干劣勢であると噂される「きのこ軍」を応援してあげたいかな、
くらいの感じでした。

しかし、なんとういうことでしょう。
このレポートを書いたライターは、
「きのこ軍の奮闘によるシェア拡大」について、
あろうことか、
『どんな卑怯な手を使ったのでしょうか。』など、
「たけのこ丸出しの発言」をしているのです。

『これはやっちまったな・・・とうとう、きのこ軍のきのこ魂に火をつけちまったな・・・』
というわけで、

「正義のきのこ軍」の偉大なる勝利のために動きます、
マジセミ担当者Aでございます。

今回の作戦

今回は、
論理思考クイズの解答成績による、
「いちばん賢いチャットAI」はどれなのか? について、
探ってみようと思います。

5名の名探偵が、事件の謎に挑みます。

「ChatGPT4」と「ChatGPT3.5」の実力の違いが分かると面白いですね。

参戦する5名の名探偵(チャットAI)リスト

No チャットAI URL
ChatGPT4 https://chat.openai.com/
ChatGPT3.5 https://chat.openai.com/
Bing AI https://www.bing.com/search?q=Bing+AI&showconv=1&FORM=hpcodx
Bard https://bard.google.com/chat
Perplexity https://www.perplexity.ai/

クイズ問題検索方法

クイズ問題は、
ChatGPT4+WebPilotで探してきてもらいます。

※問題の一部を修正しています。

前回までのあらすじ

→【ChatGPT使ってみる実験室】ChatGPT4と戦う「論理思考クイズ 大会!」

ご注意点

※本記事は、担当者Aの主観により作成されていますので、なにとぞ、そういうことでよろしくお願いします。

※各チャットAIには、ゆらぎがあります。あくまでご参考としてください。

問題1【初級編】動物園

問題

ある人が動物園に行くと、
オリが1つ空になっており、
「NO17」と書かれた看板が近くに落ちていた。

園内のガイドをしていた人は、
それを見ると大慌てで逃げ出してしまった。

このオリにはいったい何がいたのだろう?

おしゃれなイメージ画像

正解

※ドラッグすると表示されます。

「ライオン」でした。

「NO17」と上下逆にすると、「LION」になります。

プロンプト

■指示
以下の問題について解答してください。

■備考
「なぜそのような解答になったのか?」について、詳しく説明してください。

■問題
ある人が動物園に行くと、オリが1つ空になっており、
「NO17」と書かれた看板が近くに落ちていた。

園内のガイドをしていた人は、それを見ると大慌てで逃げ出してしまった。
このオリにはいったい何がいたのだろう?

①「ChatGPT4」探偵の解答

実行結果

判定=「✕」

エースの風格「ChatGPT4」が、
「NO17」について解けませんでした。

残念でした。

②「ChatGPT3.5」探偵の解答

実行結果

判定=「✕」

「NO17」について解けませんでした。

残念でした。

③「Bing AI」探偵の解答

実行結果

判定=「◯」

「NO17」について、解けました。

面白がっている様子が、グッジョブです!

④「Bard」探偵の解答

実行結果

判定=「✕」

「NO17」について解けませんでした。

候補の1番目に「ライオン」が出ていましたが、
残念でした。

⑤「Perplexity」探偵の解答

実行結果

判定=「✕」

解答不可でした。

まとめ

「BingAI探偵」のみが正解 という結果でした。

なかなかすごいですね。

問題2【中級編】ホテル内殺人事件

問題

レストレード警部はホテルに滞在していた。

チェックアウトの時刻が迫っており急いで支度をしていると、
同じフロアの別室から女性の従業員の悲鳴が聞こえ、
警部は慌てて客室にかけつけた。

そこには撲殺された男性の死体と、
おそらく「凶器と思われる破片」が粉々になって散らばっていた。

「私がここに来た時には既にこうなっていたんです!」
震えながら女性はそう答えた。

フロアは一時騒然としたが、地元警察がかけつけ、
女性従業員もようやく落ち着きを取り戻した様子だった。

「こんな時に申し訳ないが、最初に死体を発見した時のことを訊きたい。
あなたは第一発見者ですから」
警部は女性に訊いた。

警部は当初捜査に加わるつもりはなかったが、
めったに起こらない大事件に戸惑う地元警察から協力を依頼され、
捜査に参加することになったのだ。

「あなたは死体を発見したあと部屋のものを動かしましたか?」
「部屋のもの?この人のカバンとか、散らばっている酒瓶ですか?いいえ。恐ろしくなってその場から動けなくなりましたから」

「なるほど。では、あなたは、なぜ部屋を訪ねたのですか?」
「チェックアウトを過ぎても部屋から出てこないし、連絡も取れなかったので…はあ出勤早々最悪よ…」

女性従業員と話した後、
レストレード警部が帰り支度をし始めたので、
現場検証中の捜査官が警部を引き留めようとした。

「私もわりと忙しい身なのでね。それより君らの上司に会いたい」
なぜ?と訊かれ警部はこのように答えた。
「犯人が分かったからさ」

Q1:犯人は誰か?
Q2:レストレード警部が犯人を特定した根拠は何か?

出典

→manpukuoyakudati.com →【2分間ミステリ】難事件を推理し解決せよ 制限時間は2分 -子供から大人まで楽しめる面白ひらめきクイズ- →問題2 ホテル内殺人事件

おしゃれなイメージ画像

正解

※ドラッグすると表示されます。

Q1:
犯人は誰か?
A1:
女性従業員

Q2:
レストレード警部が犯人を特定した根拠は何か?
A2:
女性従業員が、「凶器と思われる破片」を「酒瓶」と言ったため。
「凶器と思われる破片」が「割れた酒瓶」であると知っているということは、
「酒瓶が割れる前の状態」を見ているということなので、犯人は女性従業員。

※だがしかし・・・
部屋の中にあるものを細かく記憶していたため、
割れたものが酒瓶であると分かる
というケースがありそうですよね。

プロンプト

■指示
以下の問題について解答してください。

■備考
「なぜそのような解答になったのか?」について、詳しく説明してください。

■問題
★★★「問題」をコピペ★★★

①「ChatGPT4」探偵の解答

実行結果

判定=「◯」

>女性がそれらの具体的な物を指摘したことから、彼女が事前にそれを知っていた

正解です。

お見事でした!

②「ChatGPT3.5」探偵の解答

実行結果

判定=「✕」

>特定の詳細は提供されていませんが

提供されていました。

③「Bing AI」探偵の解答

実行結果

判定=「◯」

>部屋に散らばっている破片(おそらく凶器)を知っていたことです。

正解です!

④「Bard」探偵の解答

実行結果

判定=「✕」

>一般的に、自殺者は、チェックアウトを過ぎても部屋から出てこないことが多い。
そりゃ、出てこないことが多いことでしょう。

けったいな謎推理でした。
おもしろかったです。

⑤「Perplexity」探偵の解答

実行結果

判定=「✕」

とりあえず、検索しようとしているのかもしれません。

まとめ

「ChatGPT4探偵」と「BingAI探偵」が正解でした。

結構、難しいですね。

問題3【上級編】暗号メッセージ

問題

とあるホテルで事件が起こりました。
某大学の松田教授が殺されていたのです。

財布や時計、ノートパソコンなどの貴重品がそのままであったため、物取りの犯行でないことはすぐにわかりました。

捜査の結果、アリバイと怨恨の有無から容疑者が二人にしぼられました。
一人は加藤道孝という助教授で、自分の論文を松田教授に奪われ、発表されたことに恨みを持っていました。
もう一人は坂下智樹という、松田教授が勤める大学の学生で、就職が内定していたにもかかわらず松田教授に単位をもらえず、留年が決定して内定を取り消されたことに恨みを持っていました。
無論どちらも犯行を否認しています。

そんな中、大学の松田教授のパソコンに、一通のメールが届いているのが発見されました。
送信元は松田教授自身のノートパソコンで、送信日時は殺された時刻とほぼ一致しました。
内容は『21+45+13+72+42+41+21』
どうやら暗号のようです。

これを読んだ敏腕刑事のあなたは、犯人をしぼることができました。
さて、どちらが犯人でしょうか?

※ノートパソコンから暗号メッセージメールを送信した人物は「松田教授」であることが確定している。
※犯人は「加藤か坂下のどちらか」であることは間違いない。

おしゃれなイメージ画像

正解

※ドラッグすると表示されます。

答え:
加藤道孝

解説:
暗号の数字は、五十音の「何行」「何段」を示していました。
例として、21=「か」、45=「と」、13=「う」となります。
このように解読すると「かとうみちたか」、すなわち「加藤道孝」となります。

プロンプト

■指示
以下の問題について解答してください。

■備考
「なぜそのような解答になったのか?」について、詳しく説明してください。

■問題
★★★「問題」をコピペ★★★

①「ChatGPT4」探偵の解答

実行結果

判定=「✕」

携帯電話のキー打ち込み説が展開されましたが、
残念な結果となりました。

そもそも、英語圏のAIに、
日本語ひらがな50音表変換を期待するのは、
厳しかったのかもしれません。

②「ChatGPT3.5」探偵の解答

実行結果

判定=「✕」ながらも「新機軸賞」

まさかの「被害者である松田教授が真犯人説」となりました。

問題には、
>※犯人は「加藤か坂下のどちらか」であることは間違いない
とありましたが、
「実行犯」+「真なる教唆犯」説への展開もある可能性の提示について、
驚きました。

「ChatGPT3.5」には、新機軸賞をさしあげます。

③「Bing AI」探偵の解答

実行結果

判定=「✕」

>これは容疑者の一人である坂下智樹(UOTPMST)の名前と一致します。

まったく、一致してませんでした。

ゴリ押しがすごいですね。

④「Bard」探偵の解答

実行結果

判定=「✕」

>「JMKHTWJ」という文字列を意味します。
>この文字列は、「助教授加藤道孝」の頭文字を並べたものであることがわかります。

ゴリゴリに押し通したようです。

⑤「Perplexity」探偵の解答

実行結果

判定=「✕」

>暗号を解読すると「KATO」と綴ることができます。

できません。

まとめ

探偵全員が不正解でした。

やはり、英語圏のAIに、日本語ひらがな50音表変換を期待するのは、厳しい問題だったようです。

「日本語で入力されている」→「日本語ひらがな50音表変換パターンかも?」くらいにまで、
さらに賢くなっていただきたいところであります。

最終結果まとめ

勝ち負け表

チャットAI 動物園 ホテル殺人 暗号メッセージ 正解数
①ChatGPT4 1勝!
②ChatGPT3.5 全敗
③BingAI 2勝!!
④Bard 全敗
⑤Perplexity 全敗

優勝名探偵 決定!

今回の難問3問の競技の結果、
3問中2問を正解した「③BingAI」が優勝名探偵となりました。

おめでとうございます!

反省会

論理思考クイズの解答は結構難しい

3名が全問不正解という難しい大会となりました。

論理思考するタイプの問題解答は、まだちょっと難しいのかもしれません。

論理思考問題を作成するのは、さらに難しい模様

ミステリの巨匠?「ChatGPT4」先生として、
問題を作成してもらったのですが、
たいへんいまいちな結果でした。

「ChatGPT4」>「ChatGPT3.5」

「ChatGPT3.5」は全問不正解だったので、
『ChatGPT4のほうがすごい』ことが分かりました。

課金名探偵「ChatGPT4」敗れる

課金名探偵「ChatGPT4」は、
無料名探偵「BingAI」に続く、
2位という結果でした。

全問正解する課金パワーを見せつけてほしかったのですが、
1問だけ正解という物足りない結果です。

さらなる修行を積んでもらいたいところであります。

おわりに

いつも利用しているチャットAIに、
ミステリ問題を出して「どのくらい解けるのか?」について、
試してみてください。

【お知らせ】記事リストポータルページ

こちらの記事リストポータルページでは、
【ChatGPTプラグイン探訪】および【ちょちょいと自動化DX】の記事一覧を参照できます。

→記事リストポータルページ

【お知らせ】「マジセミ」のご紹介

「マジセミ」では、日々、多くのIT関連セミナーを開催しています。

多くのセミナーの中から「ご自身のスキルやビジネスを強化できるセミナー」を見つけて、ぜひ1度、参加してみてください。

マジセミのイメージロゴ

マジセミ関連プラットフォーム

プラットフォーム 説明 URL
マジセミ マジセミで実施されるさまざまなセミナーの開催情報を確認できます。
「IT関連セミナー」「製造業関連セミナー」など、ご自身のビジネスを強化できるセミナーを検索できます。
→majisemi.com
マジセミサービス 「セミナーを開催したい方」向けの情報を確認できます。
トライアルからの利用が可能です。
→majisemi.com →service
マジセミドライブ 「IT関連コンテンツ」などを紹介しています。 →majisemi.com
→topics
マジセミFacebook 毎日「マジセミ関連情報」や「IT関連ニュース」などを紹介しています。
★フォローお願いします。
→facebook.com
→OSSNews
マジセミTwitter マジセミFacebookと同様に、
毎日「マジセミ関連情報」や「IT関連ニュース」などを紹介しています。
★フォローお願いします。
→twitter.com
→Majisemi_it

※「ご意見」「ご感想」「誤字がありましたよ」「こんな使い方もあるみたいですよ」などありましたら、
マジセミSNS(Facebook or Twitter)まで、お知らせください。

おすすめの記事

【デジタル寺田の3分用語解説】「 経済産業省:コンテンツ制作のための 生成AI 利活用ガイドブック 」とは?📘

デジタル寺田の3分用語解説

2024.11.18

【デジタル寺田の3分用語解説】「 経済産業省:コンテンツ制作のための 生成AI 利活用ガイドブック 」とは?📘

経済産業省による「 生成AI 利活用ガイドブック 」は、企業やクリエイター向けに、安心して「生成AI」を利用するための、「指針」「実例」「注意点」を明示しています。「業務効率化」や「新しいアイデア創出」の支援を目的としています。

【デジタル寺田の3分用語解説】「 VMWare 問題 」とは?🖥️

デジタル寺田の3分用語解説

2024.11.18

【デジタル寺田の3分用語解説】「 VMWare 問題 」とは?🖥️

「 VMWare 」の仮想化技術は、「ITインフラの効率化」に大きく貢献する技術ですが、Broadcomによる買収後のライセンス変更が大きな問題として注目されています。柔軟で慎重な契約見直しが今後の鍵となります。

【デジタル寺田の3分用語解説】「 2029年問題 」とは?📅

デジタル寺田の3分用語解説

2024.11.18

【デジタル寺田の3分用語解説】「 2029年問題 」とは?📅

「 2029年問題 」とは、高校でのデジタル教育改革により、新入社員と既存社員間でデジタルスキル格差が拡大する懸念を指します。企業は早急に対応が求められています。この格差は、企業競争力や業務効率にも、影響を及ぼす可能性があります。