1. Введение

Современный этап развития образования характеризуется активным внедрением цифровых технологий, в том числе инструментов искусственного интеллекта (далее — ИИ), в процесс профессиональной подготовки педагогических кадров. Особую актуальность данная тенденция приобретает в сфере методики обучения иностранным языкам и оценке качества педагогического образования, где возрастает потребность в оперативной, содержательной и методически корректной обратной связи, в том числе направленной на развитие профессиональной рефлексии будущего учителя.

В условиях цифровизации высшего педагогического образования инструменты генеративного ИИ рассматриваются не только как технические средства автоматизации отдельных видов учебной деятельности, но и как потенциальный способ повышения качества подготовки будущих учителей иностранного языка. Использование ИИ в педагогической оценке требует научного осмысления, критического анализа, соотнесения с этическими нормами и традиционной деятельностью преподавателя-методиста.

Целью настоящего исследования является оценка возможностей генеративного искусственного интеллекта (на примере ChatGPT) в предоставлении студентам педагогического вуза обратной связи при выполнении заданий педагогической практики, выявление его потенциала и ограничений с позиции оценки качества профессиональной подготовки будущих учителей иностранного языка.

Под термином нейросеть обычно понимается математическая модель (алгоритм), реализуемая в программном обеспечении, которая воспроизводит базовые свойства биологических нейронов и используется для обработки данных и решения интеллектуальных задач [3]. Это определение близко к тем, что приводятся в специализированной литературе и энциклопедических источниках по искусственным нейронным сетям.

П.В. Сысоев определяет искусственный интеллект применительно к методике обучения иностранным языкам как искусственно созданный, носителями которого являются объекты, не обладающие интеллектом по своей природе [9]. Данное направление базируется на междисциплинарных исследованиях и интегрирует достижения информатики, математики, когнитивистики, лингвистики и педагогики.

Особое значение в контексте настоящего исследования имеют большие языковые модели, представляющие собой модели глубокого обучения, способные понимать и генерировать тексты на естественном языке. Их использование в образовательной практике связано с возможностью автоматизированного предоставления различных видов обратной связи: учебно-социальной, информационно-справочной, методической, аналитической и оценочной [11]. В работах отечественных и зарубежных методистов (М.Н. Евстигнеев, П.В. Сысоев, И.А. Евстигнеева [2], С.С. Марунов [5], А.А. Коренев, А.В. Мычкина [4] и др.) подчеркивается потенциал ИИ в автоматизации контроля, аналитической обработке учебных результатов и поддержке профессионального развития будущих педагогов. Вместе с тем отмечается необходимость сохранения ведущей роли преподавателя в интерпретации результатов и формировании методически корректных выводов.

2. Методы и принципы исследования

Представленное исследование носит аналитический характер с элементами педагогического эксперимента. В нем приняли участие 19 студентов третьего курса педагогического вуза, проходивших педагогическую практику в качестве учителей английского языка в российских общеобразовательных школах и колледжах. В рамках практики студентами выполнялись следующие задания:

1. Аналитическое задание, связанное с анализом нормативно-правового документа в сфере образования и его влияния на преподавание иностранного языка в общеобразовательной школе в РФ (10 баллов).

2. Анализы посещенного урока иностранного языка по чек-листу дидактико-методического анализа (30 баллов).

3. Разработка развернутого конспекта урока иностранного языка (20 баллов).

4. Педагогическая рефлексия проведенного урока (20 баллов).

Каждое задание оценивалось преподавателем-методистом и, в ряде случаев, генеративным искусственным интеллектом ChatGPT. Сопоставление оценок проводилось по следующим критериям: временные затраты на проверку, полнота и структурированность обратной связи, корректность методической терминологии, аналитическая глубина комментариев. Эксперимент связан с параллельным использованием человеческой и автоматизированной оценки, а также анализом восприятия полученной обратной связи самими студентами.

3. Основные результаты

Результаты анализа показали, что генеративный искусственный интеллект (в частности ChatGPT) способен предоставлять оперативную, развернутую и структурированную обратную связь по большинству параметров оценки письменных работ. В частности, ИИ демонстрировал высокую степень детализации комментариев, логичность структуры и ориентацию на профессионально значимые аспекты деятельности будущего учителя. При проверке первого аналитического задания ChatGPT быстро создал развернутый комментарий студенческих работ по следующим параметрам: сильные стороны анализа, точки для улучшения, общий профессиональный вывод. Далее по запросу преподавателя ChatGPT дополнительно составил обобщенный комментарий по всем работам студенческой группы, подготовленный в формате для озвучивания на итоговой конференции вместе с оценками по следующим параметрам: общие сильные стороны, недочеты и направления для улучшения, итоговая оценка работ группы, общие выводы. Приведем пример общих выводов от ChatGPT по выполнению задания 1 группой студентов 3-го курса педагогического вуза:

1. Группа демонстрирует хорошее понимание образовательной реформы и её последствий для системы, учащихся и педагогов.

2. Наибольшие успехи — это умение проводить комплексный анализ, видеть долгосрочные последствия и социальные риски реформы.

3. Главные направления для дальнейшей работы — расширение положительных аргументов, предложения по компенсации недостатка часов, а также связь с ФГОС и экзаменационными требованиями.

В целом загруженные в СДО Moodle работы группы показывают высокий уровень профессиональной подготовки и методической грамотности. При дальнейшем развитии способности к критическому анализу и практических рекомендаций студенты смогут уверенно работать с нормативными документами и оценивать их влияние на систему образования и педагогическую практику.

Так как второе и третье задания педагогической практики имели табличное представление, преподаватель столкнулся с техническими ограничениями бесплатной версии ChatGPT, которая может проверять только три файла в день. Здесь возникла необходимость наличия достаточного промежутка времени, в течение которого можно проверить такое количество студенческих работ. В методическом комментарии по выполненной работе студента в рамках второго задания выделяются следующие разделы: общая характеристика работы, сильные стороны работы, рекомендации по улучшению работы, итоговая оценка. Критерии проверки развернутого конспекта урока: постановка задач урока (нами отмечено, что ChatGPT неправильно использует термины «навыки» и «умения»), этапы урока, время на каждый этап, описание каждого этапа, методический комментарий (практическая, коммуникативная направленность урока, комплексная реализация задач, целенаправленность и логика урока, использование ИКТ, результативность урока). ChatGPT также составил итоговую шкалу оценки, которую можно использовать в качестве таблицы проверки.

Одним из заданий педагогической практики стала педагогическая рефлексия проведенного урока, которую студенты могли загрузить в письменной форме в СДО Moodle или ответить устно на итоговой конференции на основе карты-схемы комплексного дидактико-методического анализа урока иностранного языка в школе (автор — С.В. Чернышов) [13]. Студенты, которые загрузили свою письменную педагогическую рефлексию в Инфода Moodle до начала итоговой конференции, смогли лучше подготовиться к устному ответу на основе полученного развернутого комментария. Так поступили 9 студентов из 19. Результаты опроса студентов на итоговой конференции показали, что учащиеся положительно отозвались о качестве получаемой обратной связи, никто из них методических ошибок со стороны ИИ не заметил. Ниже приведен среднеарифметический балл студентов данной учебной группы по каждому заданию производственной (педагогической) практики с указанием процента участия генеративного ИИ в оценке работы студентов.

Сред.ариф.балл (зад.1) — 9 (max. — 10). 100% ChatGPT checking.

Сред.ариф.балл (зад.2) — 25.72 (max. — 30). 5.5% ChatGPT checking.

Сред.ариф.балл (зад.3) — 16.22 (max. — 20). 16.67% ChatGPT checking.

Сред.ариф.балл (пед.реф.) — 19.33 (max. — 20). 50% ChatGPT checking.

Для повышения качества обратной связи от ChatGPT необходимо составлять грамотную формулировку промпта. Правильный промпт должен включать в себя точное указание роли (например, действуй как опытный методист, преподаватель обучения иностранным языкам, доцент кафедры лингводидактики и современных технологий иноязычного образования), глагола (действия), подробно описанную задачу, целевую аудиторию, особые указания (длину, формат, стиль текста и др.). Для большей детализации необходимо уточнять промпт, прикреплять примеры (например, файл с правильным выполнением задания), сохранять лучшие промпты (создавая копилку удачных промптов) для профессиональных целей. Для более точной обратной связи преподаватель всегда может продолжить общение с ChatGPT и попросить его детализировать ответ, а также попробовать разные инструменты ИИ и сравнить результаты генерации [6]. При этом необходимо пользователям учитывать проблему ИИ-плагиата или несанкционированного использования материалов генеративного ИИ и соблюдать основы авторской этики [10].

Приведем пример промпта для ChatGPT для проверки правильности выполнения задания №3 в рамках педагогической практики будущих учителей иностранного языка: «Ты опытный методист, преподаватель методики обучения иностранным языкам. Тебе нужно проверить задания производственной педагогической практики у студентов 3 курса педагогического вуза. Задание для проверки звучит следующим образом: Представьте развернутый конспект Вашего урока на основе УМК «Английский в фокусе» или любого другого УМК, который вы используете в образовательном учреждении для онлайн (или очных) занятий. Рекомендации по составлению развернутого конспекта:

1. Сформулируйте задачи урока.

2. Назовите основные этапы урока.

3. Укажите время, отводимое на проведение основных этапов.

4. Для каждого этапа урока:

а) сформулируйте задачу этапа;

б) укажите упражнения, обслуживающие каждый этап.

В графе «Методический комментарий» дайте краткий комментарий:

а) по практической, коммуникативной направленности урока;

б) комплексной реализации практической, образовательной, воспитательной и развивающей задач обучения на уроке;

в) целенаправленности и логики урока;

г) использованию ИКТ;

д) результативности урока (основные задачи урока выполнены или нет)».

В качестве продолжения общения с ChatGPT в рамках комментирования студенческих работ:

«Теперь составь обобщенный комментарий по всем работам данной студенческой группы для того, чтобы их озвучить на итоговой конференции вместе с отметками».

В ходе проведенного исследования выделены определенные плюсы автоматизированной обратной связи от ChatGPT, а именно: освобождение преподавателя от трудоемкости проверки письменных работ учащихся; значительное сокращение сроков проверки письменных работ и предоставление учащимся обратной связи по ряду критериев оценки работы, снижение страха учащихся получить негативную обратную связь от преподавателя, повышение мотивации учащихся использовать цифровые технологии и искусственный интеллект в обучении и образовании. Однако нужно преподавателю и студентам нужно учиться критически подходить к полученным рекомендациям и аргументированно принимать советы виртуальных помощников. Ниже приведем пример общего заключения от ChatGPT по заданию №3:

Развернутый конспект урока Натальи Т. является образцом высококачественной методической разработки. Студентка демонстрирует глубокое понимание структуры урока развития УМЕНИЯ* чтения, отличное владение ТЕХНОЛОГИЕЙ* предтекстовой–текстовой–послетекстовой работы и умение организовать коммуникативную деятельность учащихся. Урок логичен, последователен, насыщен речевой практикой, полностью соответствует требованиям ФГОС и УМК «Spotlight». Работа Натальи Т. может быть рекомендована как пример грамотного методического оформления урока.

Или пример комментария от ChatGPT по работе Софьи П.: формулировка грамотная, содержательная: отмечены сильные стороны урока, развитая аргументация, внимание к эмоциональному климату и ИКТ, акцент на положительном результате.

ИТОГОВАЯ ОЦЕНКА КАЧЕСТВА ПЕДАГОГИЧЕСКОЙ РЕФЛЕКСИИ:

Полнота раскрытия параметров — средняя.

Глубина анализа — высокая.

Наличие самоанализа — частичное.

Работа с ошибками и затруднениями — частично хорошая.

Связь с методическими принципами — хорошая.

Уровень рефлексивности — высокая.

ИТОГ: 16 / 20 баллов (высокий уровень, но с пробелами в структурности и полноте).

Рекомендации студенту от ChatGPT:

1. Добавлять контекстные сведения об уроке: дата, класс, количество учащихся, место в разделе.

2. Включать анализ собственных трудностей и ошибок.

3. Четче описывать структуру основной части урока по этапам.

4. В рефлексии использовать инструменты, актуальные для возраста: стикеры, шкалы, эмодзи-линейки.

Исследование показано, что скорость предоставления обратной связи от ИИ выше по сравнения с преподавателем, а также объем и детализированность комментария от ИИ. При проверки языковой правильности речи учителя иностранного языка, которая зафиксирована в картах урока, языковая модель ChatGPT 4.0, функционирующая на основе миллионов аутентичных текстов, лучше преподавателя, который не является носителем языка, может верно определить языковые неточности [12]. Однако искусственный интеллект может испытывать дефицит информации, при котором он начинает фантазировать и выдавать ложные данные.

Таким образом, искусственный интеллект поднимает образовательный процесс на качественно новый уровень по степени решения задач. Студенты-будущие учителя иностранного языка профессионально развиваются на основе полученной обратной связи от преподавателя (на основе генерирования идей от ChatGPT), самостоятельной учебной деятельности, учебной автономии, включающей готовность и способность учащегося самостоятельно проектировать свою траекторию обучения [1], [7], [8]. ChatGPT оказался способным предоставлять студентам быструю и более развернутую обратную связь как по содержанию, так и по обсуждаемым аспектам, по сравнению с преподавателем. Загрузка и проверка рефлексии до конференции помогла студентам-будущим учителям иностранного языка, которые проходили педагогическую практику, подготовиться лучше к устному выступлению и исправить ошибки до устного выступления на итоговой конференции.

Стоит отметить, что генеративный ИИ превосходит человека по качественным и количественным показателям, однако недостаточно обучен в области использования методической терминологии и формулировании целей и задач урока иностранного языка. Например:

1. Комментарий от ChatGPT: тренировать использование порядка прилагательных в описании людей.

2. Комментарий преподавателя-методиста: тренировать учащихся в использовании правильного порядка прилагательных при описании людей на иностранном языке.

3. Комментарий от ChatGPT: Развитие навыков чтения вслух и навыков извлечения информации из текста.

4. Комментарий преподавателя-методиста: Совершенствование навыков чтения вслух на иностранном языке и умений извлекать информацию из иноязычного текста.

Качественный анализ данных расхождений в комментариях показал, что они преимущественно связаны со следующим:

- некорректным использованием методической терминологии (например, понятий «умение» и «навык»);

- формальным характером формулировок целей и задач урока иностранного языка;

- недостаточной глубиной интерпретации методических ошибок в контексте конкретной учебной ситуации.

ChatGPT способен генерировать новые идеи и предложения, собирать и анализировать данные, решать всевозможные задачи и предлагать новые решения. Преподаватель, в отличие от ИИ, в ходе анализа особенно четко учитывает контекст образовательной среды, уровень подготовленности учащихся и индивидуальные особенности студента-практиканта, что отражается в более адресной и педагогически ориентированной обратной связи. Следовательно, полученные данные позволяют рассматривать генеративный ИИ как вспомогательный инструмент методической поддержки будущих учителей иностранного языка. Использование ИИ способствует развитию аналитических умений студентов, формированию способности к самооценке и рефлексии, а также повышению уровня прозрачности критериев оценивания. Вместе с тем результаты исследования подтверждают, что ИИ не может выступать самостоятельным субъектом педагогической оценки. Его использование без методического контроля со стороны преподавателя может приводить к закреплению терминологических неточностей.

* — изменения, которые внесены преподавателем-методистом.

4. Обсуждение

Следовательно, проведенное исследование показало, что использование инструментов ИИ предъявляет к педагогу определенные квалификационные требования, а именно, в области ИИ-плагиата, промпт-инжиниринга, управления учебным процессом и профессионального саморазвития. Компетенция преподавателя-методиста в использовании генеративного ИИ — это его способность и готовность применять современные технологии ИИ в организации учебного процесса, обучении учащихся, контроле их достижений и профессионального саморазвития. При этом необходимо соблюдать этику информационной безопасности, а также нормативно правовые нормы. Кроме того, необходимо учитывать основополагающие принципы, которые регламентируют интеграцию ИИ в образование, а именно: направленность на развитие человеческого потенциала, равноправный доступ к техническим решениям на базе ИИ, безопасность использования в образовательном процессе технических решений на базе ИИ, контролируемое использование результатов ИИ. В тех случаях, когда ИИ испытывает дефицит информации из-за ограниченного доступа к базам данных, он начинает ее придумывать. Следовательно, использование обратной связи от ИИ без критического осмысления запрещено. Кроме того, ChatGPT имеет определенные ограничения по загрузки файлов в бесплатной версии (только три файла в день). За основу обратной связи преподаватель может взять ответ, предложенный ChatGPT.

5. Заключение

Проведенное исследование позволяет сделать вывод о том, что использование генеративного ИИ в оценке заданий педагогической практики обладает значительным потенциалом для повышения качества подготовки будущих учителей иностранного языка. Он способствует развитию профессиональной рефлексии, ускоряет получение обратной связи и поддерживает формирование аналитической культуры студентов. В то же время ключевая роль в оценке качества профессиональной подготовки должна сохраняться за преподавателем-методистом, который обеспечивает методическую корректность, контекстуальную интерпретацию и педагогическую направленность процесса оценивания студенческих работ. Оптимальным представляется интегративный способ, при котором генеративный ИИ используется как инструмент поддержки, а не замены педагога-методиста.

The additional file for this article can be found as follows: