Результаты исследования показали, что языковые модели обладают поверхностной способностью следовать инструкциям и преуспевать, однако они не имеют возможности овладеть новыми навыками без непосредственных команд. Это означает, что LLM, которые обучаются на все более крупных наборах данных, остаются управляемыми, предсказуемыми и безопасными. Хотя технология все еще может быть использована не по назначению.

По мере развития модели, вероятно, будут генерировать более сложные тексты и станут лучше следовать явным и подробным подсказкам, но маловероятно, что они приобретут сложные навыки для выстраивания рассуждений.

"Преобладающая гипотеза о том, что этот тип ИИ представляет угрозу человечеству, препятствует широкому внедрению и развитию этих технологий, а также отвлекает внимание от подлинных проблем, которые требуют нашего внимания", — говорит соавтор исследования Хариш Тайяр Мадабуши из Университета Бата.

Группа ученых под руководством профессора Ирины Гуревич из Технического университета Дармштадта в Германии провела эксперименты, чтобы проверить способность языковых моделей решать задачи, с которыми они никогда раньше не сталкивались. Эти навыки называют эмерджентными, то есть теми, которые есть у системы, но отсутствуют у ее составляющих.

Например, LLM могут отвечать на вопросы о социальных ситуациях, хотя их специально не обучали и не программировали это делать. Хотя предыдущие исследования предполагали, что это был продукт моделей, "знающих" о социальных ситуациях, авторы показали, что на самом деле это объясняется способностью LLM выполнять задачи на основе нескольких представленных им примеров. Этот хорошо изученный процесс известен как "контекстное обучение" или ICL.

С помощью тысяч экспериментов команда продемонстрировала, что сочетание способности LLM следовать инструкциям, памяти и языковых навыков может объяснять как возможности, так и ограничения, демонстрируемые моделями.

"Были опасения, что по мере того, как модели становятся все больше и больше, они смогут решать новые проблемы, которые мы в настоящее время не можем предсказать. Это создает угрозу того, что эти более крупные модели могут приобрести опасные способности, включая рассуждение и планирование, — говорит Мадабуши. — Но наше исследование показывает, что страх, будто модель сделает что-то совершенно неожиданное, инновационное и потенциально опасное, необоснован".

При этом, по словам ученого, обеспокоены по поводу экзистенциальной угрозы, исходящей от программ LLM, не только неспециалисты. Об этом говорят и некоторые ведущие исследователи в области ИИ во всем мире.

Тем не менее исследователь утверждает, что эти опасения необоснованны, поскольку тесты ясно продемонстрировали отсутствие у моделей способностей к сложному рассуждению.

"Хотя важно устранить существующий потенциал неправомерного использования ИИ, такой как создание фейковых новостей и повышенный риск мошенничества, было бы преждевременно вводить ограничения исходя из предполагаемых угроз, — подчеркивает Мадабуши. — Важно то, что для конечных пользователей это означает, что полагаться на LLM для интерпретации и выполнения комплексных задач, требующих сложных рассуждений без явных инструкций, скорее всего, будет ошибкой. Вероятно, следует четко указывать, что требуется от модели и, по возможности, предоставлять примеры для всех задач, кроме самых простых".

Профессор Гуревич добавляет, что полученные результаты не означают, что ИИ вообще не представляет угрозы. 

"Скорее, мы показываем, что предполагаемое появление сложных навыков мышления, связанных с конкретными угрозами, не подтверждается доказательствами и что мы можем контролировать процесс обучения, — объясняет исследователь. — В конце концов, модели очень хороши. Поэтому будущие исследования должны быть сосредоточены на других рисках, связанных с ними. Например, на их потенциале использования для создания фейковых новостей".