【衝撃】ChatGPTが東大受験に挑戦した結果 「数学は1点、英語は8割越え」という結果に「受験用に調整されたChatGPTだったみたい」「逆に伸び代があるね」

ChatGPT、東大入試に挑む　英語8割超も数学1点で「不合格」https://t.co/KTjzQ0M8mc

「この計算は手作業では困難。数学の専門書をおすすめする」。人ごとのような答案もありました。古文も文脈を理解できず0点。一方、英作文や英訳は満点でした。 pic.twitter.com/9kPN1Dlkwf

— 日本経済新聞 電子版（日経電子版） (@nikkei) May 5, 2024

GPTvs東大、こんな感じだったのか https://t.co/pDiW3sYuZB pic.twitter.com/o0kIS6ACK2

— いい話 (@goodstoriez) May 5, 2024

こういうのをみるたびに悪意を感じる。
ひとことだけ言うとすれば「使い方が悪い」

— ふじわらこうすけ｜Kosuke Fujiwara (@finkick_dolphin) May 5, 2024

むしろ合格できないことに驚いた
逆に伸び代があるね

— 0byteおじさん (@void2art) May 5, 2024

🤖「次は受かるさ。」

— ひつじ (@combatsheep) May 5, 2024

数学の回答はあんまりネットに転がってないだろうから、単にデータセットに無いものは出力出来ないだけでは？
数学回答特化で学習させれば既存の問題は解けそうだけと、論理を考えてるわけじゃないから未解明の問題は解けなさそう。

— なゆた (@numakame) May 6, 2024

東大入試の過去問を学習していないだけな気がします。Fine-tuningしたLLMだと合格点が取れるのではないでしょうか。 #ChatGPT

— 風の民@「す19」 (@allforbigfire) May 5, 2024

学習元に英語圏のデータが相当多い気はするので海外の入試問題はまた結果が違ったりするのでは

— mame (@mametti_3) May 5, 2024

言われて気づいたんだが、統計、線形代数、解析の塊である大規模言語モデルが全く数学解けないというのはおもしろい話である https://t.co/rQEMfEuSDF

— あるふ (@alfredplpl) May 5, 2024

英語がペラペラに話せます(ドヤァ)という時代はもう終わった

語学力しか取り柄のない人材よりも、課題解決能力を身につけている人材に高い金を払うべきだと示唆しているように感じますね

— とりま3000万目指すmiho95 (@miho1231up) May 5, 2024

俺らAIに負けてて草

— Ryuunm (@JkKpc1vmvy14255) May 5, 2024

英語の宿題はChatGPTにやらせて大丈夫だと分かりました。これから一番必要なくなるのは語学教育かもね

— zetumu (@zetumu) May 5, 2024

これは、プロンプトの問題。
試しに、2024年東大入試数学の第1問の(1)をプロンプトを工夫して解いてみたら、一発で解けた。これだけで5点くらい取れているはず。
解答例：https://t.co/F7Yi9MTCe6 https://t.co/O2wi7vWnd6 pic.twitter.com/4Dd4Vo6lXf

— IT navi (@itnavi2022) May 5, 2024

このレベルでも99.5%の人より頭いいけど、それでもこのAIが東大不合格なんて浅はかな記事で自分達を慰めても意味がない。全然当てにならんし、LLMを舐めちゃいけない。

数学も物理もプロンプトの書き方一つで結果は変わる。多分世界史も地理も。前提となる立場や出力形式を変えるだけで結果は改善する… https://t.co/qOL5TrYEyg

— 成田 修造 / Shuzo Narita (@shuzonarita) May 5, 2024

なるほどこれからは古文の時代だ、とはもちろんならない

— イカリングの面積 (@todasatoru) May 5, 2024

英語がそれだけ取れるなら国立は無理でも早慶なら余裕で受かるね。

— キウイ (@honomusubi369) May 5, 2024

英語をどこまで勉強する必要があるのか議論になりそうですね
仕事でもメールや発言を同時で高精度で正解だしてくれるとなると…

— たっきー【関活中】 (@osakatokyo1997) May 5, 2024

こんなん学習させればいいだけ
東大入試を攻略できるのも時間の問題だと思う

— やす (@yasu5042) May 5, 2024

東ロボくんと組み合わせたら、東大受かるじゃん

— Tet (@Ttsywtnb) May 5, 2024

そりゃあ、データベースとして使ってないものは回答できないだろうよ。

— jyaga0606Z@綺麗なjyaga (@jyaga0606Z) May 5, 2024

受験用に調整されたChatGPTだったみたいだね。

生成AIを「受験脳」に鍛える　本番で突如不機嫌に：日本経済新聞https://t.co/M9mZRGIpPG

— ぴよちゃん🐥 (@kamomenoaoharu) May 5, 2024

ラムダ技術部さんの｢chat gptはちゃんとやり方を細かく教えてあげないと余りのある割り算すら解けない｣っていう検証思い出した。
そのぐらいのレベルならまあそうなるよね。 https://t.co/whUjaStHP0

— みょって沖縄県民なんでしょうか？違いますけど。 (@myo000000) May 6, 2024

へんねこさんAI説出てきたな https://t.co/ei1uzOOZBP

— 遍在するネコ浪 (@hico_heca) May 6, 2024