Feedback Quality in the Pedagogical Practice of Future Foreign Language Teachers and the Potential of Generative Artificial Intelligence

Современный этап развития образования характеризуется активным внедрением цифровых технологий, в том числе инструментов искусственного интеллекта (далее — ИИ), в процесс профессиональной подготовки педагогических кадров. Особую актуальность данная тенденция приобретает в сфере методики обучения иностранным языкам и оценке качества педагогического образования, где возрастает потребность в оперативной, содержательной и методически корректной обратной связи, в том числе направленной на развитие профессиональной рефлексии будущего учителя.

В условиях цифровизации высшего педагогического образования инструменты генеративного ИИ рассматриваются не только как технические средства автоматизации отдельных видов учебной деятельности, но и как потенциальный способ повышения качества подготовки будущих учителей иностранного языка. Использование ИИ в педагогической оценке требует научного осмысления, критического анализа, соотнесения с этическими нормами и традиционной деятельностью преподавателя-методиста.

Целью настоящего исследования является оценка возможностей генеративного искусственного интеллекта (на примере ChatGPT) в предоставлении студентам педагогического вуза обратной связи при выполнении заданий педагогической практики, выявление его потенциала и ограничений с позиции оценки качества профессиональной подготовки будущих учителей иностранного языка.

Под термином нейросеть обычно понимается математическая модель (алгоритм), реализуемая в программном обеспечении, которая воспроизводит базовые свойства биологических нейронов и используется для обработки данных и решения интеллектуальных задач

П.В. Сысоев определяет искусственный интеллект применительно к методике обучения иностранным языкам как искусственно созданный, носителями которого являются объекты, не обладающие интеллектом по своей природе

Особое значение в контексте настоящего исследования имеют большие языковые модели, представляющие собой модели глубокого обучения, способные понимать и генерировать тексты на естественном языке. Их использование в образовательной практике связано с возможностью автоматизированного предоставления различных видов обратной связи: учебно-социальной, информационно-справочной, методической, аналитической и оценочной

Представленное исследование носит аналитический характер с элементами педагогического эксперимента. В нем приняли участие 19 студентов третьего курса педагогического вуза, проходивших педагогическую практику в качестве учителей английского языка в российских общеобразовательных школах и колледжах. В рамках практики студентами выполнялись следующие задания:

1. Аналитическое задание, связанное с анализом нормативно-правового документа в сфере образования и его влияния на преподавание иностранного языка в общеобразовательной школе в РФ (10 баллов).

2. Анализы посещенного урока иностранного языка по чек-листу дидактико-методического анализа (30 баллов).

3. Разработка развернутого конспекта урока иностранного языка (20 баллов).

4. Педагогическая рефлексия проведенного урока (20 баллов).

Каждое задание оценивалось преподавателем-методистом и, в ряде случаев, генеративным искусственным интеллектом ChatGPT. Сопоставление оценок проводилось по следующим критериям: временные затраты на проверку, полнота и структурированность обратной связи, корректность методической терминологии, аналитическая глубина комментариев. Эксперимент связан с параллельным использованием человеческой и автоматизированной оценки, а также анализом восприятия полученной обратной связи самими студентами.

Результаты анализа показали, что генеративный искусственный интеллект (в частности ChatGPT) способен предоставлять оперативную, развернутую и структурированную обратную связь по большинству параметров оценки письменных работ. В частности, ИИ демонстрировал высокую степень детализации комментариев, логичность структуры и ориентацию на профессионально значимые аспекты деятельности будущего учителя. При проверке первого аналитического задания ChatGPT быстро создал развернутый комментарий студенческих работ по следующим параметрам: сильные стороны анализа, точки для улучшения, общий профессиональный вывод. Далее по запросу преподавателя ChatGPT дополнительно составил обобщенный комментарий по всем работам студенческой группы, подготовленный в формате для озвучивания на итоговой конференции вместе с оценками по следующим параметрам: общие сильные стороны, недочеты и направления для улучшения, итоговая оценка работ группы, общие выводы. Приведем пример общих выводов от ChatGPT по выполнению задания 1 группой студентов 3-го курса педагогического вуза:

1. Группа демонстрирует хорошее понимание образовательной реформы и её последствий для системы, учащихся и педагогов.

2. Наибольшие успехи — это умение проводить комплексный анализ, видеть долгосрочные последствия и социальные риски реформы.

3. Главные направления для дальнейшей работы — расширение положительных аргументов, предложения по компенсации недостатка часов, а также связь с ФГОС и экзаменационными требованиями.

В целом загруженные в СДО Moodle работы группы показывают высокий уровень профессиональной подготовки и методической грамотности. При дальнейшем развитии способности к критическому анализу и практических рекомендаций студенты смогут уверенно работать с нормативными документами и оценивать их влияние на систему образования и педагогическую практику.

Так как второе и третье задания педагогической практики имели табличное представление, преподаватель столкнулся с техническими ограничениями бесплатной версии ChatGPT, которая может проверять только три файла в день. Здесь возникла необходимость наличия достаточного промежутка времени, в течение которого можно проверить такое количество студенческих работ. В методическом комментарии по выполненной работе студента в рамках второго задания выделяются следующие разделы: общая характеристика работы, сильные стороны работы, рекомендации по улучшению работы, итоговая оценка. Критерии проверки развернутого конспекта урока: постановка задач урока (нами отмечено, что ChatGPT неправильно использует термины «навыки» и «умения»), этапы урока, время на каждый этап, описание каждого этапа, методический комментарий (практическая, коммуникативная направленность урока, комплексная реализация задач, целенаправленность и логика урока, использование ИКТ, результативность урока). ChatGPT также составил итоговую шкалу оценки, которую можно использовать в качестве таблицы проверки.

Одним из заданий педагогической практики стала педагогическая рефлексия проведенного урока, которую студенты могли загрузить в письменной форме в СДО Moodle или ответить устно на итоговой конференции на основе карты-схемы комплексного дидактико-методического анализа урока иностранного языка в школе (автор — С.В. Чернышов)

Сред.ариф.балл (зад.1) — 9 (max. — 10). 100% ChatGPT checking.

Сред.ариф.балл (зад.2) — 25.72 (max. — 30). 5.5% ChatGPT checking.

Сред.ариф.балл (зад.3) — 16.22 (max. — 20). 16.67% ChatGPT checking.

Сред.ариф.балл (пед.реф.) — 19.33 (max. — 20). 50% ChatGPT checking.

Для повышения качества обратной связи от ChatGPT необходимо составлять грамотную формулировку промпта. Правильный промпт должен включать в себя точное указание роли (например, действуй как опытный методист, преподаватель обучения иностранным языкам, доцент кафедры лингводидактики и современных технологий иноязычного образования), глагола (действия), подробно описанную задачу, целевую аудиторию, особые указания (длину, формат, стиль текста и др.). Для большей детализации необходимо уточнять промпт, прикреплять примеры (например, файл с правильным выполнением задания), сохранять лучшие промпты (создавая копилку удачных промптов) для профессиональных целей. Для более точной обратной связи преподаватель всегда может продолжить общение с ChatGPT и попросить его детализировать ответ, а также попробовать разные инструменты ИИ и сравнить результаты генерации

Приведем пример промпта для ChatGPT для проверки правильности выполнения задания №3 в рамках педагогической практики будущих учителей иностранного языка: «Ты опытный методист, преподаватель методики обучения иностранным языкам. Тебе нужно проверить задания производственной педагогической практики у студентов 3 курса педагогического вуза. Задание для проверки звучит следующим образом: Представьте развернутый конспект Вашего урока на основе УМК «Английский в фокусе» или любого другого УМК, который вы используете в образовательном учреждении для онлайн (или очных) занятий. Рекомендации по составлению развернутого конспекта:

1. Сформулируйте задачи урока.

2. Назовите основные этапы урока.

3. Укажите время, отводимое на проведение основных этапов.

4. Для каждого этапа урока:

а) сформулируйте задачу этапа;

б) укажите упражнения, обслуживающие каждый этап.

В графе «Методический комментарий» дайте краткий комментарий:

а) по практической, коммуникативной направленности урока;

б) комплексной реализации практической, образовательной, воспитательной и развивающей задач обучения на уроке;

в) целенаправленности и логики урока;

г) использованию ИКТ;

д) результативности урока (основные задачи урока выполнены или нет)».

В качестве продолжения общения с ChatGPT в рамках комментирования студенческих работ:

«Теперь составь обобщенный комментарий по всем работам данной студенческой группы для того, чтобы их озвучить на итоговой конференции вместе с отметками».

В ходе проведенного исследования выделены определенные плюсы автоматизированной обратной связи от ChatGPT, а именно: освобождение преподавателя от трудоемкости проверки письменных работ учащихся; значительное сокращение сроков проверки письменных работ и предоставление учащимся обратной связи по ряду критериев оценки работы, снижение страха учащихся получить негативную обратную связь от преподавателя, повышение мотивации учащихся использовать цифровые технологии и искусственный интеллект в обучении и образовании. Однако нужно преподавателю и студентам нужно учиться критически подходить к полученным рекомендациям и аргументированно принимать советы виртуальных помощников. Ниже приведем пример общего заключения от ChatGPT по заданию №3:

Развернутый конспект урока Натальи Т. является образцом высококачественной методической разработки. Студентка демонстрирует глубокое понимание структуры урока развития УМЕНИЯ* чтения, отличное владение ТЕХНОЛОГИЕЙ* предтекстовой–текстовой–послетекстовой работы и умение организовать коммуникативную деятельность учащихся. Урок логичен, последователен, насыщен речевой практикой, полностью соответствует требованиям ФГОС и УМК «Spotlight». Работа Натальи Т. может быть рекомендована как пример грамотного методического оформления урока.

Или пример комментария от ChatGPT по работе Софьи П.: формулировка грамотная, содержательная: отмечены сильные стороны урока, развитая аргументация, внимание к эмоциональному климату и ИКТ, акцент на положительном результате.

ИТОГОВАЯ ОЦЕНКА КАЧЕСТВА ПЕДАГОГИЧЕСКОЙ РЕФЛЕКСИИ:

Полнота раскрытия параметров — средняя.

Глубина анализа — высокая.

Наличие самоанализа — частичное.

Работа с ошибками и затруднениями — частично хорошая.

Связь с методическими принципами — хорошая.

Уровень рефлексивности — высокая.

ИТОГ: 16 / 20 баллов (высокий уровень, но с пробелами в структурности и полноте).

Рекомендации студенту от ChatGPT:

1. Добавлять контекстные сведения об уроке: дата, класс, количество учащихся, место в разделе.

2. Включать анализ собственных трудностей и ошибок.

3. Четче описывать структуру основной части урока по этапам.

4. В рефлексии использовать инструменты, актуальные для возраста: стикеры, шкалы, эмодзи-линейки.

Исследование показано, что скорость предоставления обратной связи от ИИ выше по сравнения с преподавателем, а также объем и детализированность комментария от ИИ. При проверки языковой правильности речи учителя иностранного языка, которая зафиксирована в картах урока, языковая модель ChatGPT 4.0, функционирующая на основе миллионов аутентичных текстов, лучше преподавателя, который не является носителем языка, может верно определить языковые неточности

Таким образом, искусственный интеллект поднимает образовательный процесс на качественно новый уровень по степени решения задач. Студенты-будущие учителя иностранного языка профессионально развиваются на основе полученной обратной связи от преподавателя (на основе генерирования идей от ChatGPT), самостоятельной учебной деятельности, учебной автономии, включающей готовность и способность учащегося самостоятельно проектировать свою траекторию обучения

Стоит отметить, что генеративный ИИ превосходит человека по качественным и количественным показателям, однако недостаточно обучен в области использования методической терминологии и формулировании целей и задач урока иностранного языка. Например:

1. Комментарий от ChatGPT: тренировать использование порядка прилагательных в описании людей.

2. Комментарий преподавателя-методиста: тренировать учащихся в использовании правильного порядка прилагательных при описании людей на иностранном языке.

3. Комментарий от ChatGPT: Развитие навыков чтения вслух и навыков извлечения информации из текста.

4. Комментарий преподавателя-методиста: Совершенствование навыков чтения вслух на иностранном языке и умений извлекать информацию из иноязычного текста.

Качественный анализ данных расхождений в комментариях показал, что они преимущественно связаны со следующим:

- некорректным использованием методической терминологии (например, понятий «умение» и «навык»);

- формальным характером формулировок целей и задач урока иностранного языка;

- недостаточной глубиной интерпретации методических ошибок в контексте конкретной учебной ситуации.

ChatGPT способен генерировать новые идеи и предложения, собирать и анализировать данные, решать всевозможные задачи и предлагать новые решения. Преподаватель, в отличие от ИИ, в ходе анализа особенно четко учитывает контекст образовательной среды, уровень подготовленности учащихся и индивидуальные особенности студента-практиканта, что отражается в более адресной и педагогически ориентированной обратной связи. Следовательно, полученные данные позволяют рассматривать генеративный ИИ как вспомогательный инструмент методической поддержки будущих учителей иностранного языка. Использование ИИ способствует развитию аналитических умений студентов, формированию способности к самооценке и рефлексии, а также повышению уровня прозрачности критериев оценивания. Вместе с тем результаты исследования подтверждают, что ИИ не может выступать самостоятельным субъектом педагогической оценки. Его использование без методического контроля со стороны преподавателя может приводить к закреплению терминологических неточностей.

* — изменения, которые внесены преподавателем-методистом.

Следовательно, проведенное исследование показало, что использование инструментов ИИ предъявляет к педагогу определенные квалификационные требования, а именно, в области ИИ-плагиата, промпт-инжиниринга, управления учебным процессом и профессионального саморазвития. Компетенция преподавателя-методиста в использовании генеративного ИИ — это его способность и готовность применять современные технологии ИИ в организации учебного процесса, обучении учащихся, контроле их достижений и профессионального саморазвития. При этом необходимо соблюдать этику информационной безопасности, а также нормативно правовые нормы. Кроме того, необходимо учитывать основополагающие принципы, которые регламентируют интеграцию ИИ в образование, а именно: направленность на развитие человеческого потенциала, равноправный доступ к техническим решениям на базе ИИ, безопасность использования в образовательном процессе технических решений на базе ИИ, контролируемое использование результатов ИИ. В тех случаях, когда ИИ испытывает дефицит информации из-за ограниченного доступа к базам данных, он начинает ее придумывать. Следовательно, использование обратной связи от ИИ без критического осмысления запрещено. Кроме того, ChatGPT имеет определенные ограничения по загрузки файлов в бесплатной версии (только три файла в день). За основу обратной связи преподаватель может взять ответ, предложенный ChatGPT.

Проведенное исследование позволяет сделать вывод о том, что использование генеративного ИИ в оценке заданий педагогической практики обладает значительным потенциалом для повышения качества подготовки будущих учителей иностранного языка. Он способствует развитию профессиональной рефлексии, ускоряет получение обратной связи и поддерживает формирование аналитической культуры студентов. В то же время ключевая роль в оценке качества профессиональной подготовки должна сохраняться за преподавателем-методистом, который обеспечивает методическую корректность, контекстуальную интерпретацию и педагогическую направленность процесса оценивания студенческих работ. Оптимальным представляется интегративный способ, при котором генеративный ИИ используется как инструмент поддержки, а не замены педагога-методиста.