Дипфейк выдают звезды в глазах
В эпоху, когда создание изображений при помощи нейросетей доступно массам, способность обнаруживать фальшивки, особенно дипфейки людей, становится все более важной. Оказывается опознать их можно, просто посмотрев в глаза. По крайней мере такой вывод представили ученые на Национальном астрономическом собрании Королевского астрономического общества в Халле. Предполагается, что фальшивки, созданные компьютером, можно обнаружить, анализируя человеческие глаза, точно так же, как астрономы изучают снимки галактик.
Суть работы студента магистратуры Университета Халла Адежумоке Оволаби заключается в анализе отражений в глазных яблоках человека. Если они совпадают друг с другом, то изображение, скорее всего, принадлежит реальному человеку. Если нет, то это, вероятно, дипфейки.
"Отражения в глазных яблоках реального человека совпадают, но в случае с искусственным образом они неверны с точки зрения физики", — объясняет профессор астрофизики Кевин Пимбблет из Университета Халла.
Исследователи проанализировали отражения света в глазах людей на реальных снимках и изображениях, созданных искусственным интеллектом. Затем они применили методы, обычно используемые в астрономии, для их количественной оценки. Они также проверили согласованность между отблесками в левом и правом глазных яблоках.
Оказалось, что на поддельных изображениях часто отсутствует единообразие отражений, тогда как на реальных снимках обычно видны одинаковые отражения в обоих глазах.
"Чтобы измерить форму галактик, мы анализируем, компактны ли они в центре, симметричны ли они и насколько они гладкие. Мы анализируем распределение света, — объясняет профессор Пимбблет. — Мы обнаруживаем отражения автоматически и анализируем их морфологические характеристики с помощью индексов CAS (концентрация, асимметрия, гладкость) и Джини, чтобы сравнить сходство левого и правого глазных яблок. Результаты показывают, что дипфейки имеют некоторые различия".
Коэффициент Джини в астрофизике обычно используется для измерения того, как свет распределяется на снимке галактики. Это измерение производится путем упорядочивания пикселей, составляющих изображение, в порядке возрастания и последующего сравнения результата с тем, что можно было бы ожидать от совершенно равномерного распределения.
Значение Джини, равное 0, соответствует галактике, в которой свет равномерно распределен по всем пикселям изображения, а значение Джини, равное 1, — это галактика, в которой он сосредоточен в одной точке.
Команда также проверила параметры CAS — инструмента, первоначально разработанного астрономами для измерения распределения света галактик с целью определения их морфологии, — но обнаружила, что он не является успешным предиктором ложных глаз.
"Важно отметить, что это не панацея для обнаружения поддельных изображений, — добавил профессор Пимбблет. — Есть ложноположительные и ложноотрицательные результаты. Но этот метод дает нам основу, план атаки в гонке вооружений по обнаружению дипфейков".
Редактор: Илья Дочар
Источник: Королевское астрономическое общество