Инженеры из компании Intel разработали колесного робота с прикрепляемым смартфоном, который выступает в качестве камеры и вычислительного блока. Мощности современных смартфонов с высокопроизводительными процессорами достаточно, чтобы робот автономно ездил по помещениям, огибая препятствия, или следовал за человеком, распознавая его по данным с камеры. Разработчики опубликовали на arXiv.org статью с описанием робота, а также обещают выложить на GitHub исходный код алгоритмов, модели для 3D-печати частей корпуса и документацию.

На сегодняшний день у инженеров-любителей есть довольно много возможностей для самостоятельной сборки роботов: множество моторов, микроконтроллерных плат типа Arduino и одноплатных компьютеров типа Raspberry Pi. Однако для серьезных задач с компьютерным зрением необходимы уже намного более дорогие компоненты, что резко повышает порог входа для любителей. При этом у большинства людей в развитых странах есть смартфоны, многие из которых по мощности находятся на одном уровне с ноутбуками, а также зачастую содержат сопроцессор для аппаратного ускорения нейросетевых алгоритмов, составляющих основу компьютерного зрения.

Маттиас Мюллер (Matthias Müller) и Владлен Колтун (Vladlen Koltun) из Intel Labs создали открытый проект колесного робота, в котором за съемку и вычисления отвечает смартфон, а за передвижение — доступные компоненты общей стоимостью около 50 долларов. Корпус инженеры разработали сами и распечатали на 3D-принтере. Четыре колеса приводятся в движение индивидуальными моторами, которые подключены к плате-драйверу. Она соединена с Arduino Nano, которая связывается со смартфоном по USB и собирает данные с датчиков. При необходимости к смартфону через Bluetooth можно подключить контроллер для ручного управления.

На смартфоне работает один из двух алгоритмов движения: один отвечает за проезд по коридорам минуя препятствия, а второй просто следует за человеком перед камерой. Алгоритм следования за человеком основан на уже готовой нейросети по обнаружению людей в кадре, работающей на смартфоне с помощью Tensorflow Lite в реальном времени. Получая от нейросети положение человека в кадре, алгоритм подстраивает траекторию робота. Второй алгоритм авторы разработали и обучили самостоятельно на массиве записей, на которых робот ездит по офисным коридорам под управлением оператора.

На момент публикации заметки инженеры уже опубликовали на GitHub модели для 3D-печати корпуса, а также сообщили, что вскоре опубликуют и весь нужный исходный код, который пока находится на рассмотрении.

В 2018 году Huawei вместе с Porsche продемонстрировали мощность современных смартфонов и их сопроцессоров для аппаратного ускорения нейросетевых вычислений, собрав прототип беспилотного автомобиля под управлением смартфона. Он может распознавать препятствия, объезжать их и следовать командам человека.

Фото: Matthias Müller, Vladlen Koltun / arXiv.org, 2020

Автор Григорий Копиев

Источник