生成AI時代の出題方法
生成AIを使用して自動生成した答案や回答文などを提出する例が世界各国で報告されている。国によっては犯罪行為として捜査の対象となった例もあるようなのだが,例えば,大学におけるオンラインによるレポート提出等においてそのような行為が実行された場合,明らかに業務妨害罪を構成するので,悪質な事例に関しては直ちに刑事処罰を検討すべきだろう。
それはさておき,AIに対抗するための最善の方法は,自然人が同じようなアウトプットを提出した場合でも0点とする方法を考えることだ。
例えば,文脈理解や深層理解をすることなく,あるいは,前提条件である大量の資料や講義案を全部読んで理解することなく,講義を全く受けなくても誰でも書ける一般論を書いたレポートや答案が提出された場合,提出された文それ自体としては正しい内容が書かれていたとしても,(AIによる場合でも自然人の脳による場合でも)一律に0点とするという方法がある。
生成AIは,簡単な文脈理解ならできることがあり,特に,一定の既知のパターンが存在するときには処理可能なことがある。
だが,生成AIの特性を熟考した上で,自動処理によっては絶対に特定された解析結果を出力できないようにする特別の条件設定は可能であり,そのような条件設定を常に考案し続けている。これは,生成AIが全く機能しようがないパターンの発見の努力の蓄積にほかならない。
このような方法を現実に実施している。
このような出題を実現するためには,(不意打ちを避けるため)「当該講義内容を完全に理解し,その理解を踏まえて視点を絞った答案またはレポートを提出すること」を求めていることを事前に明示することが大事だ。
ただし,そのような条件が明示されているということを受講生が読み取って理解できるだけの日本語処理能力をもっているかどうかは別なのだが,一般的な法学部学生の能力として要求される日本語処理能力のレベルを超えているとは考えられない。
加えて,一般に,採点者自身も非常に優秀であり,かつ,精神的・肉体的に相当にタフであることが求められる。
以上のように考え,AIを使用した場合には逆に不利な採点となるような出題文を研究・作成し続けている。
私自身は凡人の一員であり優秀者ではないので,努力の積み重ねによって問題を克服している。
実際に実施し続けてみて,受講生がそのような意図の出題になっていることに気づいているかどうかは分からない。
なぜなら,それ自体としては優秀な答案のように見えるけれども,誰でも書ける一般論しか書いておらず,講義内容を踏まえているとは評価できない答案が提出されるからだ。
予定どおり,講義を受けていなくても誰でも書けるような一般的・概括的な内容だけのものは,生成AIによるものであれ自然人の脳によるものであれ関係なく,一律に0点として成績評価している。
知的能力としては非常に優秀な学生として評価可能な学生であっても,講義内容を踏まえた文を作成できなければ0点と評価する。生成AIからの出力をベースにし,それに手を加えて作成されたものと明らかに推定される文もあり,そのようなものを提出した学生については,単に0点として成績評価するだけではなく,学則上の処分の要否を検討している。
知能テストではなく,(暗記すべき事柄を暗記しているかどうかを点検するための)検定試験でもなく,(個々の受講生が学習した内容を「***を学んだ」方式で復唱させるような)初等教育段階の人を馬鹿にしたようなテスト(または幼稚な「おさらいごっこ」)でもなく,(大学法学部としての講義内容の)理解度テストなので,そのように採点するのは当然のことだ。
半期で1回約2万5000字×実質12回(合計約30万字相当)の講義案の内容を常に頭の中に入れているので,そのような採点を現実に実施することができる。
講義案は,完全にオリジナルのものであり,毎年,必要な箇所を改訂している。
その結果,今年度は大量留年としなければならないかもしれないので,(採点結果を調整すべきかどうかを含め)目下検討中・・・
| 固定リンク
コメント