ChatGPT превосходит людей в тестах творческого потенциала
Ученые сравнили результаты тестов, предназначенных для измерения дивергентного мышления, пройденных людьми и ChatGPT-4. Оказалось, что языковая модель демонстрирует более высокий творческий потенциал.
Дивергентное мышление характеризуется способностью генерировать уникальное решение нетривиальной задачи, когда "правильного" или "ожидаемого" ответа не существует, например: "Как лучше всего избегать разговоров о политике с родителями?" В исследовании GPT-4 дал более оригинальные и подробные ответы, чем люди.
Всего в рамках эксперимента ученые использовали три теста. Первый — задание "Альтернативное использование", в котором участникам предлагалось придумать творческое применение предметам повседневного обихода, таким как веревка или вилка. В рамках второго теста "Последствия", проверяемые представляли возможные последствия гипотетических ситуаций. Например: "Что бы произошло, если бы людям больше был не нужен сон?". Третье задание — "Дивергентные ассоциации". В нем участникам предлагалось придумать 10 существительных, которые семантически далеки друг от друга. Например, в этом смысле между "собакой" и "кошкой" разница не такая уж заметная, в то время как между такими словами, как "кошка" и "онтология" она очень большая.
Результаты оценивались по количеству ответов, их длине и семантической разнице между словами. В итоге авторы обнаружили, что в целом GPT-4 был более оригинальным и обстоятельным, чем люди, в каждой из задач дивергентного мышления, даже при контроле за беглостью ответов. Другими словами, GPT-4 продемонстрировал более высокий творческий потенциал во всех тестах.
Это открытие имеет некоторые оговорки. По словам авторов, важно отметить, что все меры, использованные в исследовании, являются мерами потенциала. Другие аспекты творческих способностей — участие в творческой деятельности и достижениях. Целью исследования было изучение творческого потенциала на уровне среднего человека, а не людей, обладающих доказанными творческими способностями.
Ученые также отмечают, что языковая модель не обладает свободой воли и зависит от оператора. Следовательно, его творческий потенциал находится в постоянном состоянии стагнации, если его не побудить.
Кроме того, исследователи не оценивали адекватность текстов GPT-4. Таким образом, хотя языковая модель, возможно, предоставила больше оригинальных решений, люди, возможно, чувствовали, что они были ограничены тем, что их ответы должны быть основаны на реальном мире. Также ученые признают, что у людей, возможно, не было особо сильной мотивации писать сложные, развернутые тексты.
Впрочем, вопрос не в том, являются ли тесты идеальным показателем творческого потенциала человека. Дело в том, что большие языковые модели быстро развиваются и опережают людей, как никогда раньше. Представляют ли они угрозу с точки зрения способности заменить человеческое творчество, еще неизвестно. На данный момент авторы видят возможности ИИ в качестве инструмента вдохновения, помощи в творческом процессе или преодоления застоя.
Исследование опубликовано в журнале Scientific Reports.
Редактор: Илья Дочар
Источник: Университет Арканзаса