Нейросеть «ИИ Лингво» была разработана совместно Центром искусственного интеллекта, Школой иностранных языков и онлайн-кампусом НИУ ВШЭ. Модель обучена на основе тысяч экспертных оценок устных и письменных текстов. Система позволяет оценить способность к устному и письменному общению на английском языке.
Желающим узнать свой уровень владения умениями говорения и письма предлагается выполнить блок заданий: написать эссе, ответить на вопросы интервью и построить монолог. Время выполнения заданий составляет не более 60 минут, прохождение теста доступно на любом устройстве, получение результата и лаконичных комментариев к нему занимает 30 минут.
Такой формат позволяет репрезентативно оценить спектр наиболее часто используемых в устном и письменном общении умений, утверждают в ВШЭ. При оценивании ответов нейросетью учитываются более 45 параметров, разработанных экспертами Школы иностранных языков НИУ ВШЭ. Результат определяется на основе комплексной оценки лексического, грамматического, фонетического/стилистического аспектов речи, а также таких характеристик, как связность и логика изложения мысли, умение описания, рассуждения и повествования.
По результатам выполнения заданий определяется итоговый балл и присваивается уровень владения языком от начального (Elementary) до свободного (Upper-Intermediate). Разработанная в Школе иностранных языков НИУ ВШЭ шкала уровней, инкорпорированная в нейросеть, соотносится со всеми международными экзаменационными системами.
«Нашу разработку отличает способность оценивать одновременно не только текстовые ответы, но и аудиоречь, и на основе комплекса критериев оценивать итоговый уровень владения языком. Для этого нам потребовалось изучить значительное число открытых решений и, в итоге, провести дообучение на работах, проверенных профессиональными лингвистами», - отметил операционный директор Центра искусственного интеллекта Алексей Масютин.
В НИУ ВШЭ также отметили, что планируется разработка моделей для других иностранных языков.
Фото: Freepik.com