Роботы-повара десятилетиями фигурировали в научной фантастике, но на самом деле приготовление пищи — сложная задача для машины. Несколько коммерческих компаний построили прототипы роботов-поваров, хотя ни один из них в настоящее время не доступен в продаже, и они значительно отстают от своих коллег-людей с точки зрения навыков.

Повара-люди могут изучать новые рецепты путем наблюдения либо за другим человеком, либо за приготовлением блюда на YouTube. В новом исследовании ученые демонстрируют, как видеоконтент становится ценным и богатым источником данных для автоматизированного производства продуктов питания и может упростить и удешевить развитие роботов-поваров.

"Мы хотели посмотреть, сможем ли мы научить робота-повара учиться так же последовательно, как и люди, — определяя ингредиенты и то, как они сочетаются друг с другом в блюде", — говорит первый автор статьи Гжегож Сочацки.

Сочацки и его коллеги разработали восемь простых рецептов салатов и засняли процесс приготовления. Затем они использовали общедоступную нейронную сеть для обучения своего робота-повара. Сеть уже была запрограммирована на определение ряда различных объектов, включая фрукты и овощи, используемые в восьми рецептах салатов (брокколи, морковь, яблоко, банан и апельсин).

Применяя методы компьютерного зрения, робот проанализировал каждый кадр и смог идентифицировать различные объекты и детали, такие как нож и ингредиенты, а также руки, кисти и лицо человека-демонстратора. И рецепты, и видео были преобразованы в векторы, с которыми робот выполнил математические операции.

Правильно идентифицируя ингредиенты и действия человека-повара, робот мог определить, какой из рецептов готовился. Он также смог сделать вывод, что если человек-демонстратор держит нож в одной руке, а морковь в другой, морковь будет нарезана.

Из 16 просмотренных видео робот распознал правильный рецепт в 93 процентах случаев. Он также смог обнаружить, что небольшие изменения в рецепте, такие как приготовление двойной порции или обычная человеческая ошибка, были вариациями, а не новым рецептом. Также робот правильно распознал демонстрацию нового, девятого салата, добавил его в свою кулинарную книгу и приготовил.

"Удивительно, как много нюансов смог обнаружить робот, — сказал Сохацкий. — Эти рецепты несложные — по сути, это нарезанные фрукты и овощи, но они были действительно эффективными, например, для распознавания того, что два нарезанных яблока и две нарезанных моркови — это тот же рецепт, что и три нарезанных яблока и моркови".

Видео, используемые для обучения робота-повара, не похожи на привычные ролики о еде в социальных сетях, где повара быстро орудуют ножом, а кадр постоянно перемещается с человека на еду. Например, роботу было бы трудно идентифицировать морковь, если бы человек-демонстратор обхватил ее рукой.

"Нашего робота не интересуют видеоролики о еде, которые распространяются в социальных сетях — за ними слишком сложно следить, — говорит Сохацки. — Но по мере того, как эти роботы-повара будут лучше и быстрее определять ингредиенты в видеороликах, они смогут использовать такие сайты, как YouTube, для изучения целого ряда рецептов".

Статья была опубликована в IEEE Access.