AIと大学教育　その1 ChatGPTを使ってみた編

ChatGPTを使ってみた。
教育での利用とそれを前提として何をやるべきか考えるため。

ChatGPTってなあに？というところからスタートだったため、以下に調べてわかったこと簡単に書いておく。
Open AIという非営利系の組織が作るAIについてそれを利用する一形態がChatGPT。
Open AIという組織は AIとしてGPT（General Pre-trained Transformer）というものを作っている。
基本的には、なんらかのデータ（本だったり、Webの情報だったり）で学習させた AI本体がいて、それを利用するというもの。
機械学習という方法で、入力と出力（答え）の間にいくつか処理をする過程を入れ込んでおいて、あとは大量のデータ（訓練データ）を入力すると学習が進んで、、、という代物。
基本的な考え方自体はかなり昔からあるが、色々と技術が進み精度が良くなってきたらしい。
GPTは言語のAIということのよう。
ChatGPTはその AIをチャット形式で使えて、チャットで細かい指示を出して答えをよくしていくことができるのが特徴のもの。
ものすごく注目されているのは、一般利用がしやすくわかりやすいというところにあると感じた。

さて。
実際に使ってみた。
使用したのは無料版のGPT3.5をベースにしたもの。
訓練データは2021年9月までのものらしい（ただし、ChatGPTに聞いているので正しいかは不明。理由は本文参照のこと。）。

固有名詞について尋ねてみる

まずは、固有名詞について意味を聞いてみる。
Q：「谷中久和とはどんな人か教えてください」
答えとしては、以下（抜粋）。
・自民党議員
・情報科学者
・民主党議員
・リクルートの創業者
・ガンダムの作者
・ガンダムの作者（故人）

ふむー。
これは僕が無名だからかもしれない。

そこで、利根川進さん（ノーベル賞受賞者で免疫学、医学系の研究者）について聞いてみる。
Q：「利根川進さんとはどんな人か教えてください」
・自民党議員
・物理学者
説明の中には、以下のようなものも含まれた。

利根川は、超伝導物理学や統計力学などの分野で重要な貢献をし、特に、超伝導物理学において、利根川・坂田理論（LTS理論）を提唱し、高温超伝導現象の理論的な解明に貢献しました。また、金属や絶縁体の電気的性質に関する研究でも、重要な成果を上げました。

なお、この「利根川・坂田理論」「LTS理論」なるものをGoogle検索かけたがそれらしいものはヒットせず。

ふむー。

授業で教えている専門用語についていくつか質問してみるも、ところどころ間違っている。
説明としては、勉強をあまりしていない学生さんがそれっぽく書いた説明と同レベルという印象。

ラストは、架空のことを聞いてみた。
Q：「豚カツマスターについて教えてほしい」
以下が、その答え。

「豚カツマスターとは、日本の「豚カツ」に特化した認定制度で、日本豚肉協会が認定しています。

この制度では、豚カツについての知識や技術、サービスなどの基準を満たした店舗が「豚カツマスター認定店舗」として認定されます。また、認定された店舗には「豚カツマスター」という称号が与えられます。

豚カツマスターになるには、豚カツに関する知識や技術を習得するための講習会に参加し、試験に合格する必要があります。さらに、店舗の環境や衛生管理なども厳しい基準をクリアする必要があります。

豚カツマスター認定店舗は、豚肉の品質や選定、調理技術、サービスなどにこだわったお店が多く、美味しい豚カツを提供してくれます。豚カツが好きな方は、豚カツマスター認定店舗を探してみると、より一層美味しい豚カツを味わうことができるかもしれません。

おもしろいのが、そんな称号もなければ、日本豚肉協会なる組織もGoogle検索ではヒットしないこと。
が、ものすごくそれっぽいことを教えてくれる。

なお、利根川進さんについては、英語で聞くとちゃんと免疫学者でノーベル賞受賞者と返してくれる。
おそらく、ちゃんと訓練データで訓練したものは正しめに、そうでないものはデタラメでもいいからそれっぽく返すようになっているのだと思う。

ちなみに、うちの弟も10期目の自民党衆議院議員だというので、違う、単なる豚カツマスターだと教えてあげたところ、ChatGPT氏はそんなはずはない、弟氏は日本の政治家であり、豚カツマスターの肩書は持っていないと、かなり強めに主張してきた。
なんとなく、弟がベテラン衆議院議員な気がしてきた。

翻訳させてみる

英語を日本語に翻訳させてみた。
出力されてくる日本語はかなり自然。
ただし、英語に対して日本語が反対の意味になっている箇所があったり、全く違うことを出力しているような箇所もあった。
これも、もっともらしい答えの中に自然な形で間違いを入れ込まれているように感じた。
この英単語なら専門用語的にこの日本語を当てる、というような精緻な訳はできていない箇所もあり。
大雑把に意訳していくような印象。

ところどころに含まれる間違いを見つけられるだけの英語力がないと危ないか。

要約させてみる

論文やWebの記事を入力して要約させてみた。
が、あまりきちんとした要約になっていなかった。
要約というよりは言い換えに近い。

例えば、212字で構成された段落が170字に要約された。
他にも、とある論文の590字で構成された段落が494字に要約された。
論文の方は、「一文で要約してください」と指示をし直すことで、191字まで短くなったが、4文もあり、指示通りではなかった。
文もよく読むと、文と文との関係がおかしく、意味が通っていなかった。
もっともらしい文章ではあるので、ざっと読むと気づかないが、卒論指導赤入れモードだと真っ赤になるレベル。

タイトルをつける

要約の指示でうまくいかなかったので、「タイトルをつけて」という指示に変えてみた。
すると、っぽい感じのタイトルを返してくれた。
ただ、間違ってはいないのだけど、ぼやっとしていてアマい。

そこで、「タイトルをつけてください。10パタン作ってください。」と指示をしてみる。
すると、いいものから悪いものまで10個返してくれた。
この中から1番良さげなものを選んで、少し修正すると使えそう。
今回のデモの中では1番良かった。

まとめ

いろいろ使ってみた素人の感想。
補助ツールとしては、使えないことはない。
ただし、間違いをものすごくそれっぽく埋め込んでくるので、それを見極める必要がある。
文章生成能力としては極めて高いものの、それがゆえにその見極めにはそれなりの知識と技能が必要。

大学生が学習のツールとして使うのはやめた方がいいと感じた。
自分の能力以上のものを作り上げるのは難しく、能力自体をみがくには間違いが多すぎる。
文章はそれっぽい完成度が高そうな感じのものが出来上がるので満足度は高いが、これを使うと自分の言語運用能力が高まらない。
しかし、この技術は本質的に自分の能力を超えないので、人間が能力を高める段階で使うと長い目で見てプラスにはならない思った。
あくま補助ツールとしかならず、自分の能力を超えた力を発揮するためのツールにはならないというのがトータルの感想。

この辺りも含め、 AIと大学教育について、次回考察してみようと思っている。

今回はこの辺で。
では、また。

蝶がですね。
尾道市内にて。

-----
2023/05/20 18:20
ひきこもり。
自宅にて。