За последнее десятилетие искусственный интеллект (ИИ) проник почти во все уголки науки. Модели машинного обучения использовались для прогнозирования белковых структур, оценки доли тропических лесов Амазонки, утраченной в результате вырубки, и даже для классификации далеких галактик, которые могут быть домом для экзопланет.

Хотя ИИ можно применять для ускорения научных открытий, например для составления прогнозов о явлениях, изучение которых может быть трудным или дорогостоящим в реальном мире, он также может сбить ученых с пути. Точно так же, как чат-боты иногда "глючат" и дают бессвязные ответы или выдумывают факты, модели машинного обучения могут давать вводящие в заблуждение или совершенно ложные результаты.

Для решения этой проблемы исследователи из Калифорнийского университета в Беркли представили новый статистический метод безопасного использования прогнозов, полученных с помощью ИИ, для проверки научных гипотез.

Подход, названный "выводом на основе прогнозирования" (англ. prediction-powered inference, PPI), использует небольшой объем реальных данных для корректировки результатов общих моделей, таких как AlphaFold, которая предсказывает структуры белков, в контексте конкретных научных вопросов.

"Эти модели носят общий характер: они могут ответить на многие вопросы, но мы не знаем, на какие они отвечают хорошо, а на какие плохо. И если вы используете их наивно, не зная, о каком из сценариев идет речь, вы можете получить плохие ответы, — говорит автор исследования Майкл Джордан, заслуженный профессор электротехники, информатики и статистики в Калифорнийском университете в Беркли. — С PPI вы можете использовать модель, но исправлять возможные ошибки, даже если изначально вы не знаете их природу".

Риск скрытых предубеждений

Когда учёные проводят эксперименты, они не просто ищут один ответ — они хотят получить ряд правдоподобных ответов. Это делается путем расчета так называемого доверительного интервала, который в простейшем случае можно найти, многократно повторяя эксперимент и наблюдая, как изменяются результаты.

В большинстве научных исследований этот термин обычно относится к сводной или комбинированной статистике, а не к отдельным точкам данных. К сожалению, системы машинного обучения фокусируются на отдельных точках данных и, таким образом, не предоставляют ученым те виды оценок неопределенности, которые их интересуют. Например, AlphaFold предсказывает структуру одного белка, но не дает ни понимания достоверности этой структуры, ни способа получения доверительных интервалов, которые относятся к общим свойствам протеинов.

У ученых может возникнуть соблазн использовать прогнозы AlphaFold, как если бы они были данными для расчета классических доверительных интервалов, несмотря на то, что прогнозы ими не являются. Проблема с этим подходом заключается в том, что системы машинного обучения имеют множество скрытых предвзятостей, которые могут исказить результаты. Частично они возникают из-за данных, на которых обучаются модели. Как правило, это существующие научные исследования, которые, возможно, не имеют той же направленности, что и текущая работа.

"В научных задачах нас часто интересуют явления, которые находятся на грани между известным и неизвестным, — объясняет Джордан. — Очень часто данных из прошлого не так много и это делает генеративные модели еще более склонными к "глюкам", из-за которых они производят нереальные результаты".

Расчет действительных доверительных интервалов

Новый метод позволяет ученым включать прогнозы таких моделей, как AlphaFold, не делая никаких предположений о том, как она была построена или на чем обучалась. Для этого PPI требуется небольшой объем данных, которые являются объективными по отношению к конкретной исследуемой гипотезе, в сочетании с прогнозами машинного обучения, соответствующими этим данным. Объединив эти два источника информации, PPI может сформировать действительные доверительные интервалы.

Например, исследовательская группа применила новый метод к алгоритмам, которые могут определить области вырубки лесов в Амазонии с помощью спутниковых изображений. Эти модели в целом оказались точными при индивидуальном тестировании на лесных участках. Однако, когда эти данные были объединены для оценки обезлесения на всей территории Амазонки, доверительные интервалы сильно исказились. Вероятно, это связано с тем, что модель с трудом распознала некоторые новые закономерности вырубки.

С помощью PPI команде удалось скорректировать смещение доверительного интервала, используя небольшое количество областей вырубки лесов, отмеченных человеком.

Ученые также показали, как эту технику можно применить к множеству других исследований, включая вопросы о сворачивании белков, классификации галактик, уровнях экспрессии генов, подсчете планктона и установлении взаимосвязи между доходом и частной медицинской страховкой.

"На самом деле нет ограничений на типы вопросов, к которым может быть применен этот подход, — говорит Джордан. — Мы считаем, что PPI — это крайне необходимый компонент современной науки, требующей больших объемов данных, моделей и совместной работы".

Научная работа опубликована в журнале Science.