Введение. Написание иноязычных творческих письменных работ выступает одной из составляющих цели обучения иностранному языку в вузе. Современные инструменты искусственного интеллекта (ChatGPT 4.0) способны предоставлять обучающимся оценочную обратную связь и рекомендации по доработке эссе. Вместе с тем, качество обратной связи от ChatGPT и других инструментов ИИ выступает предметом обсуждения в преподавательской среде. Цель работы – сравнить между собой качество предоставляемой обратной связи от инструмента ИИ ChatGPT и преподавателей при оценке эссе студентов.
Материалы и методы. В качестве материалов использовался банк эссе на английском языке (N=350), написанных студентами-лингвистами (уровень А2-В1). Участниками выступили 12 преподавателей английского языка Тамбовского государственного университета имени Г.Р. Державина (Российская Федерация). По каждому эссе одни преподаватель и ChatGPT давали оценочную обратную связь по критериям: 1) содержание эссе; 2) организация и структура эссе; 3) подтверждение идей и аргументов; 4) язык эссе (лексическая сторона речи, грамматическая сторона речи, синтаксис); 5) оригинальность идеи. Полученные рекомендации от преподавателя и ChatGPT были оценены на основе нормативно-ориентированного тестирования. Для анализа результатов использовался t-критерий Стьюдента.
Результаты исследования. Выявлено, что по качеству предоставляемой оценочной обратной связи ChatGPT сравнился с преподавателем по таким критериям, как: «содержание работы» (t=0,24; p>0,05), «организация и структура» (t=1; p>0,05), «подтверждение идей и аргументов» (t=1,43; p>0,05). Более того, по критериям «язык эссе» (t=1,67; p≤0,05) и «оригинальность эссе» (t=1,78; p≤0,05) ChatGPT превзошел преподавателя (не природного носителя языка), что объясняется фактом разработки языковой модели GPT на основе больших англоязычных текстовых данных. Это позволило инструменту ИИ быть более точным в оценке именно языковой корректности письменного высказывания.
Заключение. Новизна исследования состоит в подтверждении способности инструмента ИИ ChatGPT в предоставлении качественной обратной связи при оценке творческих письменных работ на уровне преподавателя или лучше. Полученные результаты позволяют более интенсивно внедрять ChatGPT в процесс обучения иностранному языку и оценки уровня развития речевых умений обучающихся.
Ключевые слова: искусственный интеллект, ChatGPT, автоматизированная оценка, оценочная обратная связь, обучение письменной речи, сравнение качества оценки
Ссылка для цитирования: Сысоев П. В., Филатов Е. М., Хмаренко Н. И., Мурунов С. С. Преподаватель vs искусственный интеллект: сравнение качества предоставляемой преподавателем и генеративным искусственным интеллектом обратной связи при оценке письменных творческих работ студентов // Перспективы науки и образования. 2024. № 5 (71). С. 694–712. doi: 10.32744/pse.2024.5.41
Информация об авторах:
Сысоев Павел Викторович (Россия, Тамбов) - Профессор, доктор педагогических наук,
профессор кафедры лингвистики и лингводидактики. Тамбовский государственный университет имени Г.Р. Державина. E-mail: psysoyev@yandex.ru. ORCID ID: 0000-0001-7478-7828. Scopus Author ID: 8419258800
Филатов Евгений Михайлович (Россия, Тамбов) - Научный сотрудник лаборатории языкового поликультурного образования. Тамбовский государственный университет имени Г.Р. Державина. E-mail: filatovgenya200@gmail.com. ORCID ID: 0000-0001-6331-4718. Scopus Author ID: 58609035100
Хмаренко Никита Иванович (Россия, Тамбов) - Старший преподаватель кафедры лингвистики и лингводидактики. Тамбовский государственный университет имени Г.Р. Державина. E-mail: PochNikita@yandex.ru. ORCID ID: 0000-0003-3004-4592
Мурунов Сергей Сергеевич (Россия, Тамбов) - Преподаватель кафедры лингвистики и лингводидактики. Тамбовский государственный университет имени Г.Р. Державина. E-mail: sergeymurunov@gmail.com. ORCID ID: 0000-0002-1346-3640
Оставить комментарий