AI アシスタントが教育に及ぼす潜在的な影響を調査した EPFL の研究では、GPT-4 のようなシステムが大学の試験問題の 85% に正解できることが判明しました。
ChatGPT は 2022 年末に爆発的に人気が高まり、最初の 1 か月だけで 1 億人を超えるユーザーが集まりました。それ以来、人工知能は社会の多くの側面を変えてきました。特に、高等教育においてAIを利用する学生が増えています。これらのツールは教育と教育を改善する機会を提供し、学習成果に重大な課題をもたらしますが、これらのツールが学習評価方法に与える影響については、これまで包括的に研究されていません。
スイスのローザンヌ工科大学のコンピューターおよびコミュニケーション科学の EPFL 研究者らは、国立科学アカデミー紀要 (PNAS) に掲載された新しい論文の中で、50 の EPFL コースを対象に大規模な研究を実施し、現在のパフォーマンスを測定したと述べました。高等教育のコース評価における大規模な言語モデル。選択されたコースは、コンピューター サイエンス、数学、生物学、化学、物理学、材料科学を含む幅広い STEM 分野をカバーする 9 つの学士、修士、およびオンライン プログラムから抽出されました。
「自然言語処理研究所 (NLP) の所長で EPFL AI センターのメンバーであるアントワーヌ・ボセルット助教授は、さまざまな学位コースから多様な教材を入手し、学生が提供するものに最も近い形式に編成されたと説明しました。 AI モデルに入力し、モデルによって生成された応答を再評価します。
GPT-3.5 と GPT-4 に焦点を当て、研究者らは 8 つのプロンプト戦略を使用して応答を生成したところ、GPT-4 は平均して質問の 65.8% に正解でき、さらには全体の質問の 85.1% に正解できることがわかりました。少なくとも 1 つのプロンプト戦略。
「我們對這個結果感到非常驚訝，沒有人料到 AI 會在這麼多門課程中取得這麼高的正確答案比例。重要的是，65% 的問題正確答案是使用最基本的無知識提示策略達到的，因此任何人在不瞭解任何技術的情況下，都可以達到這個目標。」論文的共同作者、NPL 科學家 Anna Sotnikova 說，甚至只要有一些科目基本知識，就有可能達到 85% 的成功率，這實在令人震驚。
次に、研究者らはこれらの AI システムを「試して」、その脆弱性、つまり、生徒が必要な学力を学ぶためにたどる典型的な認知経路を回避するために AI システムを使用できるかどうかを評価しました。
「我們擔心的是，如果這些模型真如我們所指出的那樣有能力，那麼使用這些模型的學生可能會縮短學習新概念的過程。這可能會讓某些技能的基礎在較早階段就變得較弱，使得日後學習更複雜的概念變得更困難。」助理教授Bosselut 说：「也許這需要討論我們應該先教什麼，才能讓我們所擁有的技術與學生在未來數十年所做的事產生最佳的協同效應。」
AI アシスタントの開発におけるもう 1 つの重要なポイントは、AI アシスタントは悪化するのではなく、改善されるだけであるということです。
「人工智能在很多方面對高等教育機構提出了挑戰，例如：未來的畢業生需要哪些新技能，哪些技能正在變得過時，我們如何才能提供規模化的反饋，以及我們如何衡量知識？」EPFL 負責學術事務的副校長 Pierre Dillenbourg 表示：「這些問題幾乎在 EPFL 的每次管理會議中都會出現，而最重要的是我們的團隊所啟動的專案，能夠儘可能為這些問題提供以實證為基礎的答案。」
長期的には、教育システムが AI の存在に適応する必要があるのは明らかです。
「… 我覺得現在與 LLM 的一個很好的類比就是計算機，當計算機被引入時，人們也有類似的擔心，擔心孩子們不再學習數學。現在，在教育的早期階段，通常不允許使用計算機，但到了高中及以上的階段，計算機就會出現，在學生學習依賴計算機的進階技能時，計算機也能兼顧較低層次的工作，」NLP 的博士生 Beatriz Borges 補充道。
この記事の最初の公開者は、EPFL。著者:ピーターセンは尋ねた。
(CC BY-SA 4.0)
コメント