Человеку найти потерянный кошелек, спрятанный под кучей вещей, довольно просто — мы просто вытаскиваем вещи из вороха, пока не найдем кошелек. Для робота эта задача требует сложных умозаключений о самой груде предметов и объектах в ней, что представляет собой серьезную проблему.

Исследователи Массачусетского технологического института ранее продемонстрировали роботизированную руку, которая сочетает в себе визуальную информацию и радиочастотные сигналы для поиска скрытых объектов, помеченных метками RFID (которые отражают сигналы, посылаемые антенной). Основываясь на этой работе, они разработали новую систему, которая может эффективно извлекать любой объект, погребенный под горой других вещей. При этом, если по крайней мере некоторые предметы помечены, то искомый маркировать не надо, робот сможет его извлечь и без специальной метки.

Сначала алгоритмы, лежащие в основе системы, известной как FuseBot, рассуждают о вероятном положении объектов под грудой вещей. Затем робот находит наиболее эффективный способ убрать все что мешает и извлечь искомый предмет. Благодаря этому подходу FuseBot не только находит вещи точнее, чем самая современная робототехническая система, но и делает это в два раза быстрее.

Такая скорость может быть особенно полезна на складе онлайн-магазина. Робот, которому поручена обработка возвратов, может эффективно находить предметы в несортированной куче с помощью системы FuseBot, утверждает старший автор исследования Фадель Адиб, доцент кафедры электротехники и компьютерных наук и директор группы Signal Kinetics в Media Lab.

"В этом исследовании впервые показано, что само по себе присутствие предмета с RFID-меткой в ​​окружающей среде значительно облегчает выполнение других задач более эффективным методом. Мы смогли сделать это, потому что добавили в систему мультимодальные рассуждения", — добавляет Адиб. По его словам, при анализе состава груды предметов FuseBot учитывает как то, что он "видит", так и радиочастотные сигналы.

Целевые метки

Недавний рыночный отчет показывает, что более 90 процентов розничных продавцов США в настоящее время используют метки RFID, но эта технология не универсальна, что приводит к ситуациям, когда маркируются только некоторые предметы в стопках. Эта проблема вдохновила группу на исследования.

С помощью FuseBot система сканирует гору вещей своей камерой, чтобы создать 3D-модель окружающей среды. Одновременно он посылает сигналы от своей антенны для обнаружения меток RFID. Эти радиоволны могут проходить через большинство твердых поверхностей, поэтому робот может "видеть" вглубь кучи. Поскольку целевой предмет не помечен, FuseBot знает, что предмет не может находиться в том же месте, что и RFID-метка.

Алгоритмы объединяют эту информацию для обновления 3D-модели окружающей среды и выделения возможных местоположений целевого объекта с учетом его размера и формы. Затем система анализирует объекты в куче и местоположения меток RFID, чтобы определить, какой элемент удалить, чтобы найти целевой элемент не совершая лишних движений.

У такого подхода есть определенные сложности – робот не знает, в каком положении находится объект или как мягкий предмет может деформироваться под весом лежащих на нем вещей. Тут помогает просчет вероятностей, для моделирования трехмерного пространства, которое этот объект скорее всего займет. Поскольку при поиске робот удаляет предметы из кучи, он также решает, какой элемент будет "лучше" удалить следующим. После удаления объекта робот снова сканирует кучу и использует новую информацию для оптимизации своей стратегии.

Результаты поиска

Такое рассуждение, а также использование радиочастотных сигналов, дало FuseBot преимущество над современной системой, которая использовала только камеры. Команда провела более 180 экспериментальных испытаний, используя настоящие роботизированные руки и груды предметов домашнего обихода, таких как канцелярские принадлежности, мягкие игрушки и одежда. Они варьировали размеры куч и количество предметов с RFID-метками в каждой из них.

FuseBot успешно извлекал нужный предмет в 95% случаев, тогда как другая роботизированная система показала результат в 84%. Кроме того, ему для этого потребовалось на 40% меньше движений, а обнаружение и извлечение нужных предметов стало более чем в два раза быстрее.

Новую систему можно применять в самых разных условиях, утверждают ученые, потому что программное обеспечение, которое отвечает за его сложные рассуждения, может быть реализовано на любом компьютере — ему просто нужно общаться с роботизированной рукой, имеющей камеру и антенну.

В ближайшем будущем исследователи планируют включить в FuseBot более сложные модели, чтобы он лучше работал с деформируемыми объектами. Кроме того, планируется изучить другие варианты манипуляции вещами, например добавить роботизированную руку, которая будет отталкивать предметы в сторону. Будущие итерации системы также могут быть использованы с мобильным роботом, который сможет искать потерянные предметы сразу в нескольких кучах.