Группа проектов, нацеленных на автоматизацию проверки заданий в онлайн- и смешанных курсах.
В настоящее время основной LMS в МИЭМе является Google Classroom, но кто-то при этом использует старую LMS ВШЭ EFront, а кто-то уже осваивает новую SmartLMS (MOODLE).
Если с EFront интегрироваться было бесполезно, с Classroom возможно,но не стандартными средствами (xAPI, LTI), то MOODLE поддерживает LTI -- стандарт взаимодействия образовательных инструментов.
Для Classroom в МИЭМ был создан адаптер, позволяющий подключать к курсам внешние LTI-ресурсы.
Исходя из этого, разработки средств автоматизации проверки работ ведутся под стандарт LTI, при этом разные грейдеры используют один общий сервис для получения LTI-данных, этот же сервис предоставляет грейдерам пользовательский интерфейс для авторов заданий -- конструктор заданий.
Сами грейдеры -- это программные модули, выполняющие проверку -- пользовательский интерфейс, входные данные и способы проверки при этом могут зачительно отличаться. Рассмотрим подробнее:
Проект 588 Часть 1.
Инструмент создания заданий и получения ссылок для LTI-интеграции в LMS.
Для грейдеров, подключаемых через этот инструмент, есть программный интерфейс. Любой разработчик может подключить свой грейдер в два этапа:
Авторам заданий:
Проект 588 Часть 2.
Использование Google Forms, опросников MOODLE или других форм, включая Stepik через ту же интеграцию по LTI, имеет ряд ограничений. Так, формы Google при API-интеграции поддерживают только выбор из списка.
В конструкторе форм создаются экзотические виды комбинированных форм, например, видео + несколько списков для выбора с перемоткой плеера на место, содержащее ответ при неверном ответе (заказ ФГН, проект 432).
Наличие собственного движка форм позволяет гибко решать задачи в конкретных курсах.
В настоящее время движок поддерживает только базовые формы, но может развиваться до нужной функциональности.
При этом, его можно импортировать из любой внешней LMS или MOOC платформы, поддерживающей LTI.
Проект 588 Часть 3.
В рамках программы по созданию в МИЭМе удаленных лабораторий создана унифицированная система бронирования доступа к лабораторным стендам.
Часть задач может проверяться на стендах соответствующими грейдерами в пакетном режиме автоматически и не требует присутствия студента или сотрудника лаборатории. Но есть задачи, требующие работы студентов непосредственно со стендом в интерактивном режиме.
Для доступа к стендам студенты выбирают время, при этом максимальная длительность бронирования ограничена. На это время для них создаётся персональный доступ с персональным паролем и на это время останавливается работа автоматического грейдера, выполняющего на этом стенде проверку в пакетном режиме.
Стенд должен представлять собой одну или несколько unix-совместимых машин, на которых управляющая программа в нужное время создаёт и удаляет пользователей.
К этому диспетчеру при наличии управляемых стендов могут быть подключены все лаборатории, это позволит унифицировать для студентов и сотрудников удаленный интерактивный доступ к выделенному для этого оборудованию.
Проект 589
Подготовка студентов ведется в рабочей, а не только учебной среде. Разработка программного кода с версионным контролем, применение технологий непрерывной интеграции и поставки программного кода (ci/cd) -- это обычная практика промышленной разработки.
Эта технология была применена для автоматической проверки программных заданий. Студент работает в GitLab МИЭМ, после размещения решения код выполняется на сервере и грейдер анализирует результат. При этом могут задействоваться не только серверы, но и лабораторное оборудование, а разбираться может не только результат из консоли, где выполняется код, но и полученная с задействованных устройств информация.
Проект 19101
Чат-бот использует чат МИЭМ и предназначен в первую очередь для проведения опросов. Чат-бот по сути выполняет ту же задачу, что тесты в формах, но ориентирован на текстовые ответы и позволяет гибче реагировать на полученный от студента результат, задавая следующий вопрос адаптивно.
Чат-бот может использоваться как автономно, так и в связке с другими грейдерами. В настоящее время он применяется в связке с CI/CD грейдерами, сопровождая теоретическими вопросами решение практической задачи.
В простейшем случае студенту просто задаются вопросы, оцениваются и оценка выставляется в связанное задание в LMS. В развитии бот должен задавать вопросы, основываясь на ошибках продиагностированных при проверке практического задания и, возможно, истории прошлых решений.
Бот оснащен предобработчиком текстовых ответов и может принимать ответы без жесткой формализации словоформ.
LTI интеграция и конструктор заданий -- в работе.
Проект 553
В МИЭМе по адресу draw.miem.hse.ru установлен движок Draw.IO -- популярный редактор диаграмм. На базе этого движка создан грейдер, позволяющий анализировать диаграммы (схемы), созданные из элементов заранее созданных библиотек.
Этот инструмент не заменяет и не повторяет программы моделирования электронных схем. Он решает задачи более общего уровня: на основании соединений элементов и метаданных в них проводится технический анализ (корректность диаграммы) и логическая проверка соответствия рисунка и задания. Задание описывается в формальном виде логическими выражениями. Дополнить, проиллюстрировать и поставить ссылку
Изначально проект создан в 2017 г. для работы Медиацентра ВШЭ и обучения наших студентов на этой базе и предназначался для моделирования конфигураций дорогостоящего оборудования без физической сборки комплексов.
В настоящее время про библиотеки -- что есть, про редактор библиотек, про что умеет проверять
Проект 590
Рабочая тетрадь в облачном текстовом редакторе Google Docs предназначена для интерактивной работы студента с ботом. Документ постепенно заполняется теоретическим материалом, заданиями, решениями студента. При этом, бот действует по сценарию, в котором может быть предусмотрена адаптивность в действиях в зависимости от действий студента.
Проект выполнялся по заказу ФГН ВШЭ (352, 431, 432), но может применяться в любых учебных курсах, где требуется текстовый ответ и желательно формирование документа для самоподготовки к экзамену.
Разработчик заданий заполняет документ с теоретическим материалом, таблицу-задачник и сценарий.
Каждый студент, которому назначена такая задача, получает ссылку на персональный google-документ, в котором работает с ботом индивидуально. Результаты по заданной в задачнике формуле пересчитываются в оценку и возвращаются в LMS.
Проект 401
Проект выполнялся по заказу ФГН, где требовалась учеченная пиринговая система, но был доработан до полноценной системы пиринговой оценки с калибровкой пиров (ground truth) и последующей оценкой работ с учетом доверительных коэффициентов. При этом, оценка может выставляться и авторам работ, и проверяющим.
Проект был опробован на 1 курсе ИВТ на базе Wiki.miem.hse.ru. Интеграция не завершена, подключение заданий в настоящее время проводится вручную.
Проект 562
Сетевой симулятор (netlab.auditory.ru) для выполнения лабораторных по настройке сетевого оборудования от разных производителей. Интегрирован с проектом 588 для получения запросов на получение доступа и проверку работы.
Будет интеграция с LTI через проект 588.
По запросу студент получает данные для доступа к лаборатории (логин, пароль).
Проверка работ осуществляется кастомным грейдером, для которого преподаватель пишет конфигурацию. После проверки студенту на почту отправляется отчет о проверке с комментариями, автоматчески сгенерированными на основе кофигурационного файла.
Проект 518
Система проверки знаний по языку SQL у студентов в рамках курса "Базы данных", возможно будет использоваться еще где-нибудь. Доступна авторизация через 588, в данный момент ожидается еще и фронтенд.
Первый прототип фронтенда находится здесь, с серверной точки зрения проект почти готов (производится интеграция с LTI через проект 588)
Система является грейдером, в котором создается контрольная работа для группы студентов, затем в автоматическом режиме работа стартует, пока идет время студент имеет возможность решить несколько задач на знание SQL, проверки производятся на стороне грейдера, после окончания контрольной работы выставляются оценки и преподаватель имеет доступ к статистике по проведенным контрольным работам, одной из основных функций грейдера является интеграция с цифровой средой института.