А.Г. Шмелёв выступил на осенней сессии журнала ШТАТ, большой ежегодной конференции по инструментам и практикам оценки персонала. На этот раз с темой использования ИИ для создания тестов знаний.

5 основных тезисов выступления:

1. Авторский этап не отменяется! ИИ создают правильные ответы, которые легко найти механическим путем, так как это прямые цитаты из определенных доступных пользователям учебных и хрестоматийных текстов. Это непростая задача — объяснить нейронке, что правильный ответ необходимо перефразировать. На этом этапе эксперт, который находится в диалоге с ИИ, должен иметь опыт квалифицированного автора тестовых заданий.
2. Экспертный этап не отменяется! Создание «силами ИИ»» сырых тестовых заданий с выбором ответа ответа дает от 10% до 30% ошибочных заданий. Ошибки может обнаружить и своевременно устранить только опытный эксперт, имеющий не только знание предмета, но и навык работы с логикой тестовых заданий. Таким образом, экспертный этап НЕ отменяется!
3. Этап апробации не отменяется! ИИ не умеют создавать задания заданного уровня трудности, так как у них нет доступа к статистике решения тестовых заданий. Задания, которые созданы с участием ИИ, необходимо подвергать апробации (пилотному тестированию), чтобы измерить реальную трудность (ППО на задание).
4. Каждый тезис из трех будет проиллюстрирован на примере тестовых заданий по такому популярному предмету как «История России».
5. Вывод: использование ИИ дает огромный выигрыш во времени (сроки разработки сокращаются), но без привлечения опытных экспертов, можно «наломать дров».