Уильям Херш, профессор медицинской информатики и клинической эпидемиологии в Университете здравоохранения и науки Орегона (OHSU), протестировал шесть генеративных моделей ИИ — например, ChatGPT — в онлайн-версии своего популярного вводного курса по биомедицинской и медицинской информатике, чтобы сравнить их с живыми, думающими студентами. Результаты показали, что чат-боты справились лучше, чем три четверти учеников.

Сегодня искусственный интеллект вызывает беспокойство у преподавателей школ и вузов из-за невозможности вычислить списывание. Но, по словам Херша, его эксперимент показал наличие более масштабной проблемы: "Как мы можем быть уверены, что наши студенты действительно изучают и осваивают знания и навыки, необходимые им для их будущей работы?"

Будучи профессором в области информатики и клинической эпидемиологии Херш приветствует новые технологии. Их роль в образовании не нова, говорит он, вспоминая свой собственный опыт ученика средней школы в 1970-х годах во время перехода от логарифмических линеек к калькуляторам. Тем не менее переход к генеративному ИИ представляет собой экспоненциальный скачок вперед.

Херш и его соавтор Кейт Фульц Холлис, информатик OHSU, извлекли оценки 139 студентов, которые прошли вводный курс по биомедицинской и медицинской информатике в 2023 году. Они загрузили материалы курса в шесть больших языковых моделей, а затем провели тестирование. В зависимости от модели ИИ набрал от 50 до 75 процентов.

Это первое исследование, которое сравнивает большие языковые модели со студентами в рамках полного учебного курса в области биомедицины. Херш и Фулц Холлис отмечают, что такие курсы, основанные на знаниях, как этот, могут быть особенно подходящими для генеративных языковых моделей, в отличие от более интерактивных курсов, которые помогают студентам развивать сложные навыки и способности.

"Когда я был студентом-медиком, один из моих наставников сказал, что все знания должны быть у меня в голове, — говорит Хирш. — Даже в 1980-х это было сложно. Объем медицинских знаний уже давно превысил возможности человеческого мозга запомнить всё." Тем не менее он считает, что существует тонкая грань между разумным использованием технических ресурсов в обучении и чрезмерной зависимостью от них.

Исследование опубликовано в npj Digital Medicine.