Яндекс беспилотный автомобиль: Беспилотные автомобили Яндекса — Википедия – Один год из жизни беспилотника

alexxlab
alexxlab
29.04.2020

Содержание

Беспилотные автомобили Яндекса — Википедия

Беспилотный автомобиль Яндекса на CES 2019

Беспилотные автомобили Яндекса – самоуправляемые транспортные средства, разрабатываемые инженерами Яндекса с 2017 года. Автомобили оснащены системой автономного управления и способны самостоятельно  перемещаться, соблюдая правила дорожного движения и объезжая препятствия, а также планировать маршрут с учетом действий других участников движения. К началу 2020 года 110 автономных автомобилей Яндекса проехали более 3 млн км по дорогам России, Израиля и США[1].

Яндекс начал развивать направление беспилотных автомобилей с 2017 года. Испытания первых прототипов начались в мае 2017 года, а июне 2017 года компания впервые опубликовала первое видео, демонстрирующее свои разработки[2].

В феврале 2018 года Яндекс показал тесты беспилотного автомобиля на улицах Москвы после сильного снегопада[3].

В июне 2018 года автомобиль Яндекса совершил первую междугороднюю поездку. Он проехал в автономном режиме 780 км от Москвы до Казани за 11 часов

[4].

В августе 2018 года Яндекс запустил в тестовом режиме сервис роботакси в городе Иннополисе[5]. Сервис доступен для жителей города: беспилотное такси можно вызвать через приложение Яндекс.Такси. Поездки проходят с пустым водительским креслом, инженер-испытатель занимает пассажирское место. К февралю 2020 года было совершено уже более 5 тысяч поездок[6].

В декабре 2018 года компания получила разрешение от Министерства транспорта Израиля на испытания своего беспилотного автомобиля на дорогах общего пользования[7]. С этого момента здесь также тестируются автомобили Яндекса. В конце 2018 года Яндекс получил лицензию на эксплуатацию автономных транспортных средств на дорогах общего пользования в штате Невада, США. В начале 2019 года беспилотный автомобиль Яндекса был впервые представлен на международной выставке CES в Лас-Вегасе. Во время выставки автомобили компании ездили по улицам города без инженера за рулем

[8].

В сентябре 2019 года автономные автомобили Яндекса проехали 1 миллион километров по дорогам общего пользования[9]. Еще через месяц Яндекс объявил о прохождении дистанции в 1 миллион миль[10]. Яндекс стал пятой в мире компанией, объявившей о преодолении рубежа в миллион миль, после Waymo[11], GM Cruise[12][13], Baidu[14] и Uber[15].

22 октября 2019 года Департамент транспорта Мичигана (MDOT) выбрал Яндекс и четыре других компании для участия в конкурсе на беспилотный трансфер посетителей Североамериканского Международного Автосалона в Детройте[16]. Беспилотные автомобили Яндекса будут перевозить гостей выставки в июне 2020 года[17].

В январе 2020 года беспилотные автомобили Яндекса вновь были продемонстрированы во время выставки CES в Лас-Вегасе. Яндекс стал единственным производителем, который предлагал гостям проехать по городу в автономном режиме без человека за рулем

[18].

Беспилотные автомобили Яндекса способны передвигаться самостоятельно благодаря специальному программному обеспечению и сенсорам, собирающим информацию об окружающем мире. Камеры, лидары и радары, установленные на автомобиле, сканируют пространство вокруг и передают информацию в аппаратный комплекс, расположенный в багажном отделении. С этими данными работают алгоритмы компьютерного зрения и машинного обучения. Благодаря им беспилотный автомобиль распознает, что происходит вокруг, предсказывает, как будет развиваться дорожная ситуация, а после планирует движение[19].

Для работы технологии не требуется наличие постоянного интернет-соединения или специальная дорожная инфраструктура. Автомобиль может ездить в тех же условиях, что и обычный водитель, видеть знаки, понимать разметку и ориентироваться в меняющихся условиях

[20].

В ноябре 2019 года компания представила самоуправляемого робота-доставщика для перевозки небольших грузов – Яндекс.Ровера. При создании робота использовались наработки компании в области беспилотного управления. С ноября 2019 года несколько роботов проходят испытания в штаб-квартире Яндекса на улице Льва Толстого. В будущем Яндекс.Ровер будет использоваться для доставки товаров из интернет-магазинов, в складской логистике, а также в иных целях[21].

В феврале 2019 года Яндекс впервые сделал тестовую интеграцию робота в существующий сервис. 14 февраля Яндекс.Ровер развозил посылки из интернет-магазина Беру между корпусами офисного центра Яндекса в Москве[22].

В декабре 2019 года Яндекс представил протитипы собственных лидаров двух типов: с обзором 360° и твердотельный с обзором 120°. Лидары – самые дорогостоящие сенсоры для автономных автомобилей. Компания утверждает, что при массовом производстве стоимость собственных лидаров будет на 75% ниже рыночной стоимости аналогичных устройств. В настоящее время лидары, разработанные Яндексом, проходят испытания на беспилотных автомобилях компании в Москве

[23].

В марте 2019 года Яндекс и производитель автомобильных компонентов Hyundai Mobis подписали соглашение о намерениях создать платформу для автономных автомобилей. Соглашение также предусматривает расширение сотрудничества между компаниями, в том числе использование речевых, навигационно-картографических и других технологий Яндекса в совместных продуктах[24].

В июле 2019 года был представлен первый результат этого сотрудничества – прототип автономной Huyndai Sonata

[25].

Яндекс раскрывает только общий пробег в автономном режиме, но не дает информации о количестве вмешательств водителя в управление беспилотным автомобилем (т.н. disengagement rate).

О показателе disengagement rate в обязательном порядке каждый год отчитываются компании, которые тестируют беспилотные автомобили в штате Калифорния. При этом метрика подвергается критике со стороны ведущих производителей беспилотных автомобилей[26]. В настоящее время нет единых стандартов для определения того, как считать этот показатель, что делает невозможным прямое сравнение компаний на основании этого критерия.

Беспилотные автомобили Яндекса на улицах Лас-Вегаса

Каждый январь, когда в России разгар новогодних праздников, в Лас-Вегасе проходит самая масштабная в мире выставка электроники — Consumer Electronics Show (CES). В прошлом году мы впервые продемонстрировали свои беспилотные автомобили во время этого события, а в этом — вернулись, чтобы показать, чему научились за год. 

Сегодня в штате Невада по дорогам общего пользования передвигается более 200 беспилотных автомобилей. В прошлом году при постановке на учет перед CES 2019 один из наших автомобилей получил регистрационный номер 0110, а уже в этом году первому из регистрируемых автомобилей Яндекса был выдан номер 0218. Это значит, что только за год в штате появилось более 100 автономных транспортных средств. Но при движении по дорогам общего пользования за рулем всегда находятся инженеры-испытатели. Беспилотные автомобили Яндекса стали первыми на дорогах Невады без водителя за рулем.

Беспилотные автомобили Яндекса на выставке CES в Лас-Вегасе

Подготовка к CES 2020 началась с декабря 2019 года. За месяц до выставки беспилотные автомобили Яндекса начали ездить по улицам города. Поездки проходили в самых разных условиях: в светлое и темное время суток, в часы-пик с интенсивным трафиком и в дождь. Одно было неизменно: водительское кресло оставалась пустым. С открытием выставки 5 января поездки на беспилотных автомобилях Яндекса стали доступны гостям CES. Маршрут был выбран в окрестностях отеля Hard Rock. Его протяженность составила 6,7 км, и на пути встречались и нерегулируемые перекрестки, и сложные повороты со встречным разъездом, и пешеходные переходы, и многополосные участки — все, чтобы за короткое время пройти через множество дорожных сценариев. Общая пройденная дистанция в беспилотном режиме за время подготовки к выставке и в дни ее проведения составила более 7 000 км. 

За 6 дней работы CES мы успели прокатить более сотни гостей CES. Среди наших пассажиров были не только журналисты крупнейших СМИ и деловые партнеры со всего мира, но и вице-губернатор штата Мичиган Гарлин Гилкрист (Garlin Gilchrist). Этот штат очень заинтересован в развитии технологий беспилотного транспорта. В мае 2019 года здесь был объявлен конкурс на осуществление автономных поездок для посетителей Североамериканского Международного Автосалона в Детройте 2020 года. Яндекс стал одним из победителей этого конкурса, поэтому уже в июне наши беспилотные автомобили снова будут перевозить гостей крупного международного события. 

«Мы были рады вновь продемонстрировать свои автомобили на выставке CES в Лас-Вегасе. У Яндекса есть опыт эксплуатации беспилотного транспорта без водителя за рулем в Иннополисе, но для нас важна возможность тестировать свою технологию в новых условиях. Пока во всем мире есть буквально несколько мест, где это разрешено, и нам важно это использовать. Кроме того, CES — это шанс показать большому количеству людей на практике, на что способны наши автомобили, — говорит

Дмитрий Полищук, руководитель направления беспилотных автомобилей Яндекса. — Сейчас мы готовимся к следующему масштабному событию, в котором примут участие беспилотные автомобили Яндекса — Североамериканскому Международному Автосалону в Детройте».

С момента участия в выставке CES 2019 беспилотный парк Яндекса вырос с 10 до 110 автомобилей, которые за прошедший год проехали более 2,75 млн км по дорогам общего пользования в России, Израиле и США.

Журналисты и эксперты о беспилотных автомобилях Яндекса:

Zoe Kleinman, BBC: «Должна признать, что после волнительных первых минут движение без водителя за рулем становится привычным и естественным».

Sasha Lekach, Mashable: «Мне наконец удалось испытать то, что я могу назвать своей первой по-настоящему беспилотной поездкой».

Steven Ewing, Roadshow by CNET: «Весь проезд занял около 20 минут, и все это время машина отлично справлялась со сменой полос, поворотами налево на светофоре и даже агрессивными водителями, которые пытались нас подрезать».

Danny Shapiro, Nvidiaʼs head of automotive engineering: «Наши технологии используются сотнями производителей беспилотных автомобилей. И Яндекс один из лидеров в этой индустрии, испытывающий свои беспилотные автомобили в по-настоящему суровых условиях».

WELT: «Многие в этом году говорят о беспилотных технологиях на CES, но приглашают прокатиться всего несколько компаний. И только Яндекс делает это без водителя за рулем. А именно такая поездка позволяет увидеть, как мы будем перемещаться по дорогам, когда наступит эра робомобилей».

оживляем алгоритмы. Доклад Яндекса / Яндекс corporate blog / Habr

Подробная расшифровка еще одного доклада со встречи Яндекс.Железо — про разработку устройств для беспилотника.

— Всем привет, меня зовут Виталий Подколзин, я руководитель разработки встраиваемых систем проекта беспилотного автомобиля. И сегодня я хотел бы с вами поговорить о том, что такое беспилотный автомобиль, какие компоненты входят в его состав, как заставить машину двигаться и как работа автопилота и его компонентов зависят от применяемых устройств.

Чтобы понять, куда дальше ехать, человеку сначала надо выяснить, где он находится. Беспилотному автомобилю — тоже. За это у нас отвечает подсистема локализации. Потом нужно понять, что творится вокруг нас. За наше зрение, за восприятие мира отвечает система восприятия или perception. На основе данных о местоположении, об объектах вокруг нас, мы можем строить прогнозы по дорожной обстановке, по ее развитию, по поведению участников дорожного движения. И выбирать оптимальный маршрут движения, траектории, далее превращая это в управляющее воздействие.

Но все перечисленное — это, в общем случае, алгоритмы. И вы могли бы запустить эти алгоритмы на своем компьютере, будь он достаточно мощным. Конечно, это не сделало бы из компьютера беспилотный автомобиль. Не хватает двух важных вещей.

Первая — достаточно богатый набор сенсоров, основные из которых перечислены на слайде. И конечно, нам нужна платформа, которая будет исполнять наши команды. С ней нужно взаимодействовать.

Давайте подробнее остановимся на вопросе взаимодействия с автомобилем. Автопилоту, как и человеку, для управления автомобилем нужно делать простые вещи: крутить рулем, ускорять, тормозить. Логичным решением может показаться использование актуаторов для управления этими органами.


Ссылка со слайда

Но такой подход имеет ряд существенных трудностей. Развитие беспилотного автомобиля все равно предполагает наличие водителя на тех или иных этапах — нужно отвозить машину на сервис или следить за автопилотом, когда мы тестируем разные особенности, особенно на ранних стадиях. Данные устройства существенно усложняют жизнь водителю.

Конечно, вся система сложная, и в целом такая механика может вносить неприятные задержки в органы управления. Это отрицательно сказывается на контуре управления автомобилем.

Да, нам еще на старте проекта требовалась простая платформа, но нужен был какой-то другой подход для взаимодействия с этой платформой. И мы начали копать вглубь автомобиля.

Изучив особенности разных платформ, мы обнаружили, что многие современные автомобили имеют возможности контроля собственных органов автомобиля. К примеру, ассистент управляет рулем во время парковки. Круиз-контроль воздействует на ускорение автомобиля, адаптивный круиз-контроль или система ограничения скорости могут воздействовать на систему торможения.

Все эти системы, как правило, в автомобилях закрыты. И чтобы взаимодействовать с ними, потребовалась разработка ряда специализированных устройств. Кроме взаимодействия с автомобилем, от системы требовалось предоставление удобного, понятного для автопилота интерфейса управления автомобилем. И конечно, система должна была быть простой, понятной и очень гибкой.

Мы пришли к такой платформе, где в зависимости от автомобиля разрабатываются небольшие платы контроля, которые взаимодействуют с конкретным узлом. Состав и функциональность этих плат отличаются от платформы к платформе, но все они объединяются в одну сеть, где есть головное устройство, которое мы у себя условно назвали gateway. Оно осуществляет контроль за этими устройствами. Кроме того, gateway предоставляет интерфейс для автопилота по удобным устройствам. Тут мы видим Ethernet, удобный для нашей инфраструктуры, и CAN, самый популярный автомобильный интерфейс. Помимо этого, наше головное устройство постоянно взаимодействует с автомобилем, производит мониторинг состояния узлов и агрегатов. Если обнаруживаются какие-то отклонения, то в зависимости от их природы совместно с автопилотом принимается решение о дальнейших шагах.

Реализовывать плату мы решили на достаточно популярных и зарекомендовавших себя микроконтроллерах. Мы взяли их с запасом по производительности и выбирали такие, которые поддерживают необходимые для работы интерфейсы: CAN, Ethernet и аналоговые цифровые входы-выходы.

Мы получили решение, которое для нас действительно оказалось гибким и позволило с меньшими проблемами переходить от платформы к платформе.

Поговорим о сенсорах. Каждый беспилотный автомобиль имеет богатый набор сенсоров. У каждого беспилотного автомобиля Яндекса четыре лидара на крыше и три во фронтальной части, шесть камер, которые ставятся на крышу, а также шесть радаров: два в задней части и четыре во фронтальной, два из которых расположены по бокам.

Берем радары, лидары, камеры, соединяем, загоняем в вычислитель. Но не все так просто. Очень важно добиться того, чтобы данные с сенсоров были адекватные и качественные. Мы провели большое количество экспериментов, чтобы понять, где располагать сенсоры, чтобы мы могли видеть мир лучше и четче.

Кроме того, нашим конструкторам пришлось хорошо поработать, чтобы все изменения в автомобиле, связанные с сенсорами, удовлетворяли требованиям сертифицирующих органов.

Вот что получилось. Шесть камер на крыше дают хороший обзор на 360 градусов с существенным перекрытием — темные зоны отмечены на слайде. Эти камеры также дают хороший вертикальный обзор. Камера — единственный сенсор, который видит светофоры, потому что они могут располагаться разных частях, в зависимости от перекрестка и прочего.

Радары — еще один важный сенсор каждого автомобиля. Они интересны тем, что имеют не очень широкий угол обзора, но хорошую дальность. Два фронтальных радара выполняют функцию мониторинга того, что творится впереди, задние радары в наших алгоритмах используются, как правило, при перестроении, обгоне и подобных маневрах. Радары, которые смотрят вбок, необходимы для проезда достаточно сложных перекрестков, где информации со стороны сенсоров может быть недостаточно.

Наверное, наиболее интересным сенсором является лидар. Он интересен информацией, которая с него приходит. Перед вами облако точек, point cloud, это данные с лидаров. На них видно пешеходов, автомобили, дорогу, даже края проезжей части и другие объекты. Коробочки — это уже результат работы наших алгоритмов распознавания.

В сумме все сенсоры дают примерно такую картину. Как видите, невозможно не заметить что-либо вокруг автомобиля с таким набором сенсоров.

Я хотел бы остановиться на двух примерах, с которыми мы столкнулись, когда нам потребовалась разработка аппаратной части. Начну с кейса локализации.

Основным источником являются карты высокой четкости. В каждый момент времени беспилотный автомобиль сравнивает данные с лидаров с этими картами. На основе такого сравнения он получает свое местоположение с сантиметровой точностью. GPS, Глонасс или любая другая спутниковая навигация просто не подходит для работы с беспилотным автомобилем ввиду низкой стабильности работы, высокой зависимости от внешних условий, от погоды, шумов, помех. В городе все это существенно осложняется перекрытиями сигнала, переотражениями от зданий и т. д. Но откуда нам взять эти карты? Карты строим мы сами, используя наши беспилотные автомобили с набором сенсоров.

Для построения этих карт нам нужны лидары и какая-то привязка на местности. Нужно как-то получить свою координату. GPS изначально мог бы дать координату, но его точность не очень высокая. Как я уже говорил, на точность GPS влияют атмосферные условия, помехи, а в городе еще и переотражения.

Тут на помощь приходит технология Realtime kinematic. Суть в следующем: где-то на местности ставится неподвижная базовая станция с таким же приемным устройством, как и на автомобиле. Если расстояние между автомобилем и базовой станцией не превышает 30 км (в некоторых случаях 50 км), то данные со спутников, получаемые автомобилем и базовой станцией, будут примерно похожи. Но базовая станция, зная свою точную координату (она неподвижна) и рассчитывая координату по данным со спутника, получает, условно, ошибку вычисления. На основе этой ошибки вырабатываются поправки, которые через интернет отправляются на автомобиль. Автомобиль, учитывая полученные поправки при расчете координаты по спутникам, получает свою координату с сантиметровой точностью. Конечно, для работы с этой системой нужен хороший канал интернета и хорошая погода, чтобы сигнал GPS был стабильным.

Чтобы получить работающее устройство с поддержкой RTK на автомобиле или базовой станции, нужен софт. Библиотеки, предоставляющие возможности RTK RTKLib, находятся в открытом доступе. Есть разные вариации с разными особенностями. Библиотеки, как правило, требуют окружение Linux и модули спутниковой навигации, которые выдают сырые данные.

Проведя пару экспериментов, запрототипировав пару вещей, мы получили структурную схему блока локализации, которую мы назвали GeoHub.

Кроме указанного модуля спутниковой навигации, там еще стоит модуль инерционных измерений, который мы используем в системе локализации. Интернет сейчас приходит по удобному для нашей инфраструктуры интерфейсу Ethernet.

Перед вами второе устройство, его второе поколение и основные технические характеристики.

Мы сделали заменяемым модуль инерциальных измерений и модуль спутниковых сигналов. Это в итоге позволило поставить ряд экспериментов на автомобиле и выбрать оптимальный с точки зрения различных параметров модуль инерциальных измерений, а что касается модуля спутниковых сигналов, мы в процессе смогли перейти на двухдиапазонный приемник, что существенно улучшило качество определения местоположения.

А зачем разрабатывать свое устройство, когда наверняка можно пойти на рынок и купить что-то похожее? Ответ в том, что для нас одним из самых важных параметров является гибкость устройства. В связи с быстро меняющимися требованиями в проекте, появляющимся новым функционалом, нам нужно иметь возможность очень быстро реагировать на это. Только имея внутри проекта, in-house, разработку железа и софта, мы получаем действительно высокую скорость отработки этих изменений.

Другим интересным сенсором с точки зрения беспилотного автомобиля является камера. Окей, камера есть в каждом телефоне и ноутбуке. Что тут может быть сложного? Но давайте посмотрим, с какими проблемами можно столкнуться, используя камеру в беспилотнике.

Первая проблема — мерцание источников светодиодного света. Большинство светофоров — это как раз такие источники. Видео остановилось на моменте, когда из-за мерцания красный сигнал практически пропал.

Для этой проблемы есть аппаратные решения, заложенные в сенсор, но чтобы с ними хорошо и качественно работать, нужно уметь активно взаимодействовать с сенсором.

Вторым требованием для камер является высокий динамический диапазон, то есть возможность работы в условиях любой освещенности, как ночью, так и при ярком солнце. Также важно наличие HDR, то есть возможности совмещения кадров с разной освещенностью в один для получения более качественной картинки.

Слева пример картинки, где где функция HDR используется, а справа — где она отключена.

Кроме этого, мы, конечно, должны получить картинку с достаточным разрешением и достаточной частотой кадров. На слайде выделены еще пара моментов, присущие в том числе беспилотным автомобилям. Камера должна выдавать несжатый видеопоток, желательно формата RGB888, потому что наши сети, алгоритмы работают с этим форматом, хотят получать кадры в этом формате.

Большинство камер, готовых решений на рынке, выдают данные в сжатом виде — h364, MPEG. Проблемы тут простые: мы теряем качество при сжатии и вносим задержку на сжатие и разжатие. Задержка может быть недетерминированной, особенно при высокой нагрузке системы. Камера с разрешением Full HD и частотой 30 кадров в секунду при битности 16 бит на пиксель выдает поток около гигабита в секунду чистых видеоданных.

Кроме этого, камеры, как правило, расположены на удалении от приемного устройства, а в машине, особенно при каких-то экспериментах, они могут располагаться вообще на другом конце автомобиля. Нам нужны были камеры, которые позволяют весь несжатый видеопоток передать на расстояние 6-8 метров с учетом прокладки кабелей. Для Full HD-камеры c 16 битами на пиксель видеопоток составляет 1 гигабит, что уже не дает использовать гигабитный Ethernet, так как в передаче участвуют различные служебные данные и прочее. Десятигигабитный Ethernet использовать не совсем целесообразно. Это дорого, высокое энергопотребление, высокий теплоотвод, повышенная сложность сетевой инфраструктуры.

Да, есть другие интересные интерфейсы. Я хотел бы рассказать о двух из них, с которыми мы поработали. Их предоставляют компании Maxim Integrated и Texas Instruments. Особенность в том, что видеопоток сериализуется в данные, которые идут по простому физическому уровню, в данном случае через коаксиальный кабель, на скорости 3-4, иногда 6 гигабит в секунду. Кроме того, данный интерфейс позволяет использовать обратный канал для управления камерой по этому же коаксиальному кабелю. И по нему же может идти питание камеры. Все перечисленное делает этот интерфейс очень привлекательным.

Когда мы начинали, то нашли решение на рынке, которое в принципе удовлетворяло большинству требований. Его мы какое-то время использовали на старте проекта.

Структурная схема решения перед вами. Это сенсор, данные из которого сериализуются в интерфейс GMSL/FPD-Link. На приемной части, которая может быть удалена на 15 метров, данные десериализуются и передаются в ресивер. В нашем решении этот ресивер далее выдавал данные по интерфейсу USB 3.0.

Но начав использовать это решение, мы столкнулись с рядом неприятных проблем. Главная проблема — решение работало крайне нестабильно, «отваливалось» в процессе работы, камеры плохо запускались при старте автопилота. Вдобавок решение не позволяло подстраивать параметры самих сенсоров с целью улучшения качества картинки. Был и еще ряд проблем. Например, было сложно получить точный timestamp камеры, время съемки, что достаточно важно, ведь на скорости 15 м/с при задержке в 100 мс машина уже проезжает полтора метра, и это может очень негативно сказаться на алгоритмах восприятия.

Был еще один интересный момент. Выходным интерфейсом выбранного решения был USB 3.0, и мы обнаружили, что он крайне шумный. Как мы это поняли? У нас стояло два не подключенных ни к чему автомобиля. На одном запустили камеру, на обоих очень сильно просел сигнал спутниковой навигации. Тогда мы начали изучать, что же происходит.

Проанализировав все эти недостатки в целом, изучив структурную схему перед вами и прочее, мы пришли к выводу, что проблема в приемной части. Дальше начали думать, что с этим делать. Посмотрели, что есть на рынке, решения других команд, и пришли к выводу, что нам нужно делать собственное приемное устройство, которое будет работать с камерой по интерфейсу GMSL или FPD-Link.

Мы взяли десериализаторы, которые, как правило, имеют на выходе интерфейс MIPI CSI2, и начали поиск модуля или процессора, который смог бы поддержать данный интерфейс. И мы нашли интересное решение с шестью интерфейсами MIPI CSI2, а также с высокой производительностью и богатой периферией. Это позволило нам в итоге использовать удобный для нашей сетевой инфраструктуры интерфейс Ethernet 10 гигабит в качестве выходного интерфейса этого устройства. Получив данные по GMSL/FPD-Link с 6 камер (или, в некоторых случаях, с 12 камер), обработав их, устройство по 10-гигабитному Ethernet передает уже обработанный видеопоток дальше — на вычислитель.

Перед вами само решение и его основные характеристики. Разработав такую штуку, мы научились не только надежно работать с 6 или 12 камерами, но также получили возможность тонкой настройки камер. Это позволило улучшить качество картинки, что положительно сказалось на работе алгоритмов восприятия. Мы также получили четкое понимание о времени съемки кадра, научились управлять этим временем. И высокопроизводительные ЦПУ, вычислительные мощности модуля позволили нам производить первичную обработку видео с минимальными задержками прямо на модуле.

Аппаратный кодек этого модуля позволил еще и сжимать видеоданные для последующего сохранения в логах.

Нам пришлось поработать не только с сенсорами локализации и с камерами. Аппаратные решения пришлось разрабатывать практически для всех сенсоров, что мы применяем. Все это было сделано для решения повышения надежности и качества данных, от которых зависят алгоритмы детекции, восприятия. А от них зависит то, насколько оптимальным будет решение, выдаваемое автопилотом.

Окей, мы научились управлять автомобилем, поработали над сенсорами, расположили их хорошо, научили их выдавать нам качественную картинку. Какую еще работу делают инженеры встраиваемых систем, «железячники» на нашем проекте? Мы следим не только за развитием сенсоров, ставших уже обыденными, но и за альтернативными источниками получения информации. Постоянно исследуем альтернативные ускорители нейросетей, других алгоритмов, в том числе с применением ПЛИС. И сложно представить развитие проекта без взаимодействия с опытным автопроизводителем.


Новая платформа — это всегда вызов для разработчиков встраиваемых систем, конструкторов, разработчиков ПО высокого уровня.

Сфера беспилотных автомобилей сейчас находится на очень активном этапе развития. Мне как инженеру очень приятно наблюдать за этим, но гораздо более приятно участвовать. И не за горами то время, когда для нас станет совсем обычным садиться в автомобиль и, направляясь к нужному нам месту, заниматься своими делами в комфорте и безопасности. На этом все, спасибо за внимание.

все скептики начинают верить в беспилотные автомобили, после того как сами прокатились на беспилотнике

Материал подготовил: Аркадий Софрыгин, основатель сайта Беспилот.
Присоединяйтесь к обсуждению темы в Facebook

Управляющий директор Яндекса — о том, как изменится использование автомобилей с появлением беспилотников и новых платформ и сервисов. Весь текст ниже — выступление Тиграна Хуравердяна на XIII Международном навигационном форуме в 2019 г. 

Автомобили станут платформами и сервисами

Если вы сейчас достанете смартфон и посмотрите на приложения на первом экране — попробуйте вспомнить, могли бы вы 10 лет назад знать, что будут такие приложения? Большинство сервисов, которыми мы сейчас ежедневно пользуемся на своем смартфоне — это не только сервисы, которые еще не существовали 10-15 лет назад, когда еще не было мобильных платформ, а мы не могли даже предположить, что такой сервис мог бы появиться. 

И только благодаря развитию мобильных платформ, созданию экосистемы с конкуренцией разных сервисов с сотнями тысяч разработчиков по всему миру, возникли те 12-15 приложений, которые вы поставили на первый экран. И вы любите эти приложения и пользуетесь ими каждый день. 

И мы сейчас находимся в уникальной ситуации, когда мы все пользуемся похожим устройством — автомобилем и он технически уже давно готов стать такой же платформой, но он пока этого еще не случилось. Рынок подключенных автомобилей растет дикими темпами — 30% каждый год, и совершенно очевидно, что пройдет еще несколько лет и все автомобили технологически будут готовы стать платформами и сервисами. 

Очевидно, что весь автомобильный мир будет трансформироваться в этом направлении. Монополия доступа к автомобилю будет постепенно разрушаться и разработчики получат возможность создавать новые сервисы (связанные с новыми технологиями автотранспорта). 

Нам кажется, что тема создания мобильных платформ и сервисов для автомобилей — это то, в чем Россия может быть не одной из отстающих стран, а одним из лидеров в мире. 

Тенденции рынка автоплатформ

  • Основные мировые IT-компании активно разрабатывают ОС для автомобиля.
  • В 2025 г. 100% новых авто будут выпускаться с возможностью подключения к интернету.
  • Повышение безопасности и связь с цифровой дорожной инфраструктурой.
  • Умные сервисы на основе данных.

Что такое Яндекс.Авто и чем платформа полезна людям

Нужно показать потребителям, какие могут быть сервисы. Мы уже запустили в продажу устройство, которое называется Яндекс.Авто. Это полноценное мультимедийное устройство со встроенной навигацией, подключенное к интернету со всем функционалом, который есть в Яндекс.Навигаторе.

Устройство полностью с голосовым управлением, с онлайн музыкой и онлайн радио. Уникальность прослушивания музыки или радио заключается в том что вы не слушаете определенную радиостанцию, а слушаете радиостанцию, которая подбирается под вас. Каждое ваше проматывание музыкальной композиции учитывается, нейросеть обучается и уже через один день нейросеть подбирает станции под ваш вкус. 

Есть еще много других сервисов, которые сейчас интегрированы в Яндекс.Авто и позволяют совершенно по-другому взглянуть на автомобиль. Например, если вы сейчас сядете в любую машину Яндекс.Драйва, автомобиль сразу вас узнает, подгрузятся все ваши настройки, в том числе домашний адрес. И вам не нужно будет в навигаторе каждый раз вводить адрес поездки. 

Мы уже активно сотрудничаем с российскими автопроизводителями и многие уже предустанавливают это устройство. Мы верим, что за этим будущее и надо строить платформу, где десятки других производителей будут создавать такие же интересные сервисы. 

Яндекс.Авто

  • Платформа для мультимедийных систем автомобиля. Единый интерфейс для навигации и развлечений.
  • Содержит сервисы Яндекса: Навигатор, Погоду, Браузер, Музыку, Алису и т.д.
  • Предупреждает о ситуации на дороге и возможных нарушениях.
  • Голосовое управление сервисами.
  • 50 тыс. автомобилей с Яндекс.Авто уже сейчас ездят по дорогам в России.
  • Интегрируется в автомобили: Toyota, Renault, Nissan, Honda, Kia, Mercedes-Benz, Land Rover, Jaguar, Chery, WV, Lada.  

О будущем беспилотников Яндекса

Еще одна тема, которая кажется мне совершенно фантастической — беспилотные автомобили. Многие сотрудники Яндекса скептически относятся к беспилотникам и не верят, что они когда-нибудь появятся. Но это происходит ровно до того момента, пока человек не сядет в тестовый беспилотный автомобиль, а затем проедет по паре улиц. После этого происходит полная трансформация этой «неуверенности». 

Фундаментальные изменения, которые произойдут на автомобильном рынке, очевидны. Это уникальный шанс, не побоюсь это сравнить с тем, что происходило в 40-50 годах в СССР с космическими технологиями — и Россия может стать одним из лидеров этих технологий в мире. 

Сейчас в США по сути 3 компании имеют технологии, когда автомобиль едет без водителя. Это Google (Waymo), Uber и Cruise (беспилотное подразделение GM). И следующая компания, имеющая такую технологию, это Яндекс. 

Более того, в России есть еще несколько компаний, которые пытаются создать либо полную технологию беспилотного вождения, либо те или иные компоненты. И нам кажется, что нашей математической и инженерной школы в России более чем достаточно для того, чтобы быть лидерами в этой индустрии.

Автономное вождение — это революционная технология, которая повлечет за собой:

  • Изменение рынка транспортных услуг.
  • Люди перестанут покупать автомобили, но продолжат ими пользоваться.
  • Автопроизводители станут поставщиками услуг.
  • Трансформация потребует дополнительных технологий: трафик в реальном времени, диспетчеризация, каршеринг, синхронизация с общественным транспортом, распознавание естественной речи.

Кто будет виноват, если беспилотник попадет в аварию?

Беспилотная технология будет доступна улицах только тогда, когда беспилоты будут намного безопаснее, чем человек-водитель. И она вынуждена будет быть не просто безопасней, а в 10 раз более безопасной, чтобы люди ей наконец доверились. 

Но мы верим что это достижимо и это вопрос 2-3 лет. Конечно есть большой скепсис, связанный с климатом, но это задача решаемая. Сначала беспилотники появятся в городах с хорошим климатом, где нет сложных погодных условий, а затем уже и в других городах. 

Но речь идет не о наших детях и внуках, мы сами увидим беспилотные автомобили на дорогах. 

Социально-экономический эффект использования беспилотов

  • Кардинальное повышение безопасности на дорогах (сейчас более 90% аварий происходит по вине водителя), снижение смертности до 0. 
  • Возможность полного контроля над дорожной ситуацией.
  • Увеличение пропускной способности дорог за счет уменьшения числа парковочных мест.
  • Экспортный потенциал. Лицензирование ПО, аппаратно-программные комплексы. 

Законодательное регулирование беспилотного транспорта

Здесь очень важна роль регулирования. И в 2019 г. в России произошел переворот в беспилотном регулировании. По сути разработчикам разрешили тестировать автомобили (на общих дорогах).

Мы пока еще отстаем от западных коллег. Сейчас и в США и в других странах намного проще получить разрешения на тестирования, там намного больше возможностей. Но мы верим, что в России мы будем в этом смысле двигаться вперед. Так что встречайте лет через 5 на дорогах беспилотные автомобили. 

Сайт Яндекс.Авто: auto.yandex. Сайт беспилотников Яндекса: sdc.yandex.com и да пребудет с вами беспилот!  

Cмотрите выступление Тиграна Хуравердяна на XIII Международном навигационном форуме.

Материалы по теме:

Аркадий Софрыгин

основатель BesPilot.com

Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

«Беспилотные автомобили массово появятся на реальных дорогах намного раньше, чем думают люди»

Перевел: Аркадий Софрыгин, основатель сайта Беспилот.
Присоединяйтесь к обсуждению темы в Facebook

Основатель и глава Яндекса Аркадий Волож выступил недавно на IT-конгрессе World Congress of Information Technology в Ереване. Волож рассказал о беспилотных автомобилях и о будущем, которое нас ждет в связи с появлением этой технологии. Выступление было на английском, читайте перевод доклада в этом материале. 

Доклад Аркадия Воложа «Будущее транспорта — The real future of mobility»

Я расскажу о небольшой части разработок в сфере ИИ (искуственного интеллекта) — умной мобильности (умном транспорте) и о еще меньшей части — автономном вождении. И хочу рассазать об этом, потому что мы верим, что развитие этих технологий приведет к огромным изменениям в нашей повседневной жизни. 

Когда кто-то спрашиват вас — любите ли вы водить машину, вы обычно представляете что-то подобное: автомобиль на широком шоссе, который быстро едет на фоне гор или заката… Но, как мы знаем, в реальности все не так романтично. Опыт ежедневного вождения — это постоянные пробки и довольно таки скучное и однообразное времяпровождение. 

Мы верим, что скоро наступят очень большие изменения. И это произойдет намного быстрее, чем ожидают люди. Это будут глобальные изменения, которые очень сильно изменят существующую сейчас систему транспорта. Нечто подобное уже произошло 100 лет назад. Это была революция в сфере транспорта, когда за 20 лет, с 1910 по 1930 годы, движение на улицах полностью изменилось — от 100% гужевого до полного господства автомобилей. Мы верим, что нечно подобное начинает происходить прямо сейчас. 

Современные технологии и компьютеры, аппаратные средства, датчики и программное обеспечение вполне достаточны для того, чтобы мы могли совершить такие революционные решения на транспорте, которые полностью отличаются от того, что происходит на дорогах сейчас, где мы видим только привычные нам управляемые людьми автомобили. 

Если вы установите специально настроенный компьютер и софт, несколько лидаров, камеров и радаров в свою обычную машину, вы получаете беспилотный автомобиль. 

Для тех, кто пока еще не очень понимает, как работает беспилот, есть 4 основных блока:

  • локализация — машина должна понимать, с точностью до сантиментра, где она находится в данный момент.
  • восприятие — машина должна понимать, какие объекты ее окружают. Это определение и восприятие других машин, пешеходов, велосипедистов, домов, светофоров и т.д. 
  • прогнозирование — самая сложная часть работы. Беспилот должен понимать где будет другая машина через 10 секунд и где будут все движущиеся объекты даже через несколько мгновений.
  • планирование — это план движения беспилотника. Как машине безопасно и быстро проехать из точки А в точку Б.  

Большинство людей не верят, что беспилотные автомобили уже скоро появятся на общих дорогах. Люди думают, что нам нужно еще много дополнительных условий для того чтобы у нас было 100% беспилотное вождение. 

Например многие говорят — как будет работать автопилот в больших городах, где часто пропадает сигнал GPS и теряется связь машины со спутниками? На самом деле, это не обязательное условие для работы беспилота. Он может ездить и без GPS-сигнала и локализоваться с точностью до сантиметра. 

Еще есть мнение — как будут ездить бепсилотники, когда на дорогах нет специальной инфраструктуры для них? Но нам не нужна специальная инфраструктура. Беспилот умеет делать все то, что делает обычный водитель — только делает это лучше, и ему не нужны специально оборудованные дороги. Если горит красный, желтый или зеленый сигнал светофора, беспилотник считывает их «визуально», так же как человек — и нам не нужно переоборудовать все светофоры под беспилотные автомобили. Еще один вопрос — как будут ездить беспилоты, если нет единой сети, которая объединяет автономный транспорт. Но это тоже не обязательное условие. Любая машина абсолютно автономна и не зависит от других беспилотников. Единая сеть, объединяющая беспилоты, тоже будет, и иногда мы будем использовать ее для работы машин, но это не обязательное условие для работы. 

Мы в Яндексе начали развивать беспилотное направление меньше чем 3 года назад. В начале 2017 года наша машина выглядела так. Это первый прототип беспилота Яндекса, который мы начали разрабатывать и тестировать.

В мае 2017 г. мы в первый раз протестировали машину на улице, а уже в декабре 2017 беспилотник Яндекса уже умел ездить по общим дорогам. Мы протестировали машину на обычных улицах Москвы в зимнюю погоду и беспилот 100% ехал самостоятельно. За рулем был инженер-испытатель, но он вообще не брал управление на себя. В мае 2017 г. мы в первый раз протестировали машину на улице, а уже в декабре беспилотник Яндекса уже умел ездить по общим дорогам. 

В июне 2018 года мы провели тестовый заезд беспилотника на 780 км из Москвы в Казань. А в августе Яндекс уже запустил беспилотные такси в казанском Иннополисе. И это стал первый сервис беспилотных такси в мире. Безусловно, Иннополис — это особая зона, а не обычный жилой район Казани, но беспилоты ездили по обычным дорогам, по которым ездили и обычные машины, а также ходили пешеходы, были велосипедисты, дорожная разметка, светофоры и т.д. И уже больше года люди пользуются сервисом беспилотных Яндекс.такси в Иннополисе, при этом за рулем машины никого нет. И, я думаю, мы сейчас единственная компания в мире, у которой есть сейчас такой сервис — без водителя-подстраховщика за рулем.  

Беспилоты работают уже больше года и мы совершили более 4500 поездок. И это не тест, а абсолютно реальный сервис. Бесплотные автомобили без инженеров-испытателей за рулем уже работают и это отличная новость! 

Но, для того чтобы вывести беспилотники на общие дороги, нам нужно наездить миллионы километров для того чтобы собрать достаточное количество данных и обеспечить безопасность поездок. И мы начали массово тестировать беспилоты везде, где только можно. Наш автомобиль ездил в России, в США и Израиле, на разных дорогах и при различной инфраструктуре и правилах дорожного движения.

Наша цель — получить как можно больше опыта, собрать больше данных для анализа и наездить как можно больше километров. Мы создаем беспилотный модуль (Autonomous Driver) — это программное обеспечение, которое заменит нас, обычных водителей. И мы верим, что это будет более безопасное и качественное вождение. 

Алгоритм прекрасно определяет объекты вокруг себя, вот например определение велосипедистов. Когда машина фиксирует объект, она останавливается, ждет пока велосипедист проедет и затем продолжает движение. То же самое с пешеходами и другими объектами. Также беспилот умеет тормозить перед машинами, которые его внезапно подрезают, мы проверили это на многочисленных тестах на реальных дорогах. И умеет реагировать на нестандартные ситуации и объекты. 

У нас был случай, когда беспилот на ночной дороге внезапно, без причины, сменил полосу и инженер-тестировщик подумал, что машина совершила ошибку, но затем на полосе оказались два велосипедиста. Беспилотник заметил их намного раньше, чем водитель за рулем и съехал на другую полосу для безопасного движения. 

А вот случай с «неопознанным объектом» — перед беспилотом появился человек, который тащил небольшое срубленное дерево. Машина увидела препятствие и остановилась для того чтобы переждать, пока препятствие не будет удалено с дороги и затем продолжила движение.

На данный момент беспилотники Яндекса проехали больше 1.5 млн километров. И мы сейчас входим в топ-5 компаний мира по этому показателю (на первом месте в мире Waymo, принадлежащая Alphabet Inc, Google). Наш флот беспилотников сейчас — 50 машин на улицах Москвы и Тель-Авива и мы доведем количество беспилотов до 100 к концу 2019 г. Работающая технология у нас уже есть. Как софт, так и програмнное обеспечение, которые в совокупности умеют водить машину лучше и безопаснее, чем человек. И я верю, что эта технология массово распространится намного быстрее, чем думают люди. 

Есть только два важных вопроса, которые нам нужно решить — это этический и экономический аспекты. Что касается этического вопроса, мы уже знаем, что мы, люди, очень плохие водители. Люди убивают больше миллиона других людей на дорогах каждый год. Если бы все эти ДТП освещались в медиа, это было бы 20 авиакатастроф каждый день. Безусловно, мы можем улучшить эту ужасную статистику с помощью беспилотного транспорта. Тем более, что 90% всех аварий случаются из-за ошибок людей. Часто ДТП случаются из-за того, мы устаем от однообразного вождения. И когда нам скучно за рулем, мы начинаем ускоряться, менять полосы и т.д. Алгоритм беспилота никогда не будет делать такое. 

Когда мы не выспались и устаем — мы засыпаем за рулем и это убивает нас и людей в других автомобилях. И всего этого можно избежать благодаря алгоритмам беспилотного вождения. Всё, от чего человек устает, можно легко автоматизировать. И мы автоматизируем это.

Следующий вопрос — экономика. Есть мнение, что массовое внедрение беспилотов будет не раньше чем через десятки лет, потому что оборудование для беспилотного вождения стоит слишком дорого. Машина стоит $30 тыс. и вы хотите повесить на нее оборудование с дополнительной стоимостью в $50 тыс. Кто будет покупать такое? Ответ — никто. Но суть в том, что работать это будет не так. 

Если вы посмотрите на современные улицы, например на сервисы такси, то увидите машину, которая стоит $30 тыс. с амортизацией, которая стоит $10 тыс. в год. Но в машине сидит человек, и как правило в одной машине такси находятся 1.5 водителя в день (в какой-то день один человек, в другой два водителя за смену) и в среднем на водителя приходится, в зависимости от страны и города, где он работает, около $20 тыс. в год. Это зарплата, отпускные, страховка и т.д. То есть $30 в год компании нужно заплатить на обслуживание машины с обычным водителем. А обслуживание беспилота стоит $50 тыс. единоразово. То есть даже сейчас, при нынешней стоимости оборудования, это экономически выгодно. При том, что оборудование каждый год дешевеет и оно будет быстро дешеветь и дальше, в IT так всегда происходит.

Очень скоро беспилотный модуль будет стоить $15 тыс. И у нас будет все более дешевый флот беспилотных такси. 

Массовое использование беспилотов начнется с крупных сервисов. Это будут роботакси и общественный транспорт, грузоперевозки и роботы доставщики, которые заменят курьеров. В каждой службе курьерской доставки курьеры — это главная статья расходов. И экономически выгодно заменить курьеров на беспилотные роботы-доставщики. 

Мы уверены, что технология уже готова, а этические и экономические причины заставляют нас распространить беспилотный транспорт на общие дороги как можно быстрее. Беспилоты начнут работу на шоссейных дорогах и автобанах (где движение более простое и однообразное), затем в отдаленных районах городов с менее динамичным и плотным движением, и после этого мы увидим их и в центральной части всех крупных городов. 

Но для того, чтобы нам решить задачу вывода большого количества беспилотников на улицы, нам нужно получить и проанализировать миллионы километров опыта и получить законодательные разрешения стран и городов. Есть конкуренция между компаниями в развитии беспилотных технологий, но есть и конкуренция между странами в принятии законов, которые ускорят внедрение беспилотников. Страна, которая примет необходимые законы, станет пионером в распространении технологии беспилотов на реальных улицах. 

И поэтому мы здесь, в Армении. Может быть Армения станет первой в мире страной, которая примет такие законы? Раньше чем США, чем Китай и Россия. Давайте двинем беспилотные технологии вместе! 

В заключении хочу сказать, что люди должны водить машину только тогда, когда они хотят водить. Зачем человеку работать 12 часов в сутки за рулем, если это может делать робот? И это то, что произошло с лошадьми. Раньше лошади были основным видом транспорта, а сейчас люди просто наслаждаются поездками на лошадях. 

То же самое будет и с обычными машинами, которыми можно управлять вручную. Они будут служить удовольствию людей, а беспилоты станут повседневным транспортом. Настанет время, когда вождение машины не будет скучным повседневным занятием, а будет служить только для радости людей!

Смотрите видео выступления Аркадия Воложа на World Congress of Information Technology 2019 на английском языке. Всем беспилот!

Аркадий Софрыгин

основатель BesPilot.com

Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

как беспилотные автомобили распознают 3D-объекты

Материал подготовил: Аркадий Софрыгин, основатель сайта Беспилот.
Присоединяйтесь к обсуждению темы в Facebook

Друзья, сегодня читаем транскрипт лекции Вячеслава Мурашкина «Как беспилотные автомобили распознают 3D-объекты: обзор современных методов». Весь текст ниже — выступление Вячеслава. 

О чем пойдет речь в нашем докладе? Я сделаю небольшой обзор сенсоров и датчиков, которые сегодня актуальны для беспилотного транспорта. Далее обсудим как формулируется задача распознавания 3D-объектов, поговорим про данные, которые используются для обучения и валидации моделей. И в заключении поговорим про алгоритмы и про методы распознавания 3D-объектов. 

Наверняка вы уже видели разные прототипы беспилотников. Для того, чтобы успешно осуществлять навигацию в сложных условиях, автомобилю необходимы специальные сенсоры, которые будут оценивать ситуацию вокруг него, для того чтобы понимать какие объекты находятся вокруг беспилота, что это за объекты, как они двигаются. На основе этой детекции можно будет делать прогноз движения машины.

Датчики и сенсоры беспилотного автомобиля Яндекс.

Давайте посмотрим на коробочку, которая находится сверху у беспилотника чуть более подробнее. Мы видим здесь такие сенсоры как антенны GPS, GSM модули. Они нам позволяют локализоваться и поддерживать связь с автомобилем. 

Также у нас есть видеокамеры. Они позволяют нам видеть что происходит вокруг автомобиля. Нам нужно видеть на 360 градусов вокруг и один из самых важных сенсоров беспилотного автомобиля это лидар. Лидары позволяют оценивать расстояние до объектов вокруг, которые окружают автомобиль, с точностью до нескольких миллиметров. 

Так выглядит лидарное облако. Это то, что получает беспилотник на входе от лидара для того, чтобы оценивать ситуацию вокруг. С этим облаком мы работаем для детектирования объектов.  

Облако точек, которое формирует лидар.

Задача детекции 3D-объектов

Помимо лидарного облака у нас есть картинка с камеры. Эти данные мы синхронизируем во времени. И это одна из задач, которая не так уж просто решается. Имея изображения с камер и 3D-точки, нам необходимо задетектировать объекты, которые находятся вокруг нас. 

Перед тем как строить любой детектор, любую модель машинного обучения, нам нужно договориться про метрики качества, как мы будем оценивать качество нашей модели. Здесь мы используем стандартные метрики качества для детекции. Есть коэффициент Жаккарда (ioU), который используется для понимания насколько наше предсказание корректно заматчено с разметкой. 

Коэффициент Жаккарда.

В зависимости от того, как хорошо мы сделали предсказание, мы принимаем решение засчитывать его или нет. Вообще есть стандартные для 3D-объектов значения ioU, при которых считается что детекция заматчилась с разметкой (т.е. точно соответствует разметке). Для машин это значение равно 0.7. 

Оценка точности

Помимо предсказания положения и размеров автомобиля нам нужно еще предсказать конфиденс. То есть уверенность. Насколько мы уверены, что в этом месте находится именно автомобиль, а не другой объект. Качество этого предсказания тоже нужно мерять. Конфиденс мы оцениваем с помощью Precision Recall. 

В данном примере приведены кривые Precision Recall для различных сегментов. Как правило датасет еще разделяется по сложности детекции. Это зависит от того насколько далеко находится машина, как она загорожена другими участниками движения и выходит ли она частично из кадра или нет. 

Средняя точность (AP).

Качество 3D-детекции можно оценивать непосредственно в 3D и также можно оценивать на виде сверху, это так называемый bird`s eye view. На самом деле для того чтобы успешно детектировать объекты для беспилотника, достаточно этого вида сверху. То есть высота нам не так важна. Потому что мы передвигаемся на плоскости и делаем все маневры тоже на плоскости дороги.  

3D-детекция.

Bird`s eye view.

Продолжение лекции смотрите в видео ниже

Сайт беспилотов Яндекса: sdc.yandex.com и да пребудет с вами беспилот!  

Cмотрите полное видео лекции Вячеслава Мурашкина.

Материалы по теме:

Аркадий Софрыгин

основатель BesPilot.com

Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

«Беспилотное такси можно будет заказать в Москве уже через 2-3 года»

Материал подготовил: Аркадий Софрыгин, основатель сайта Беспилот.
Присоединяйтесь к обсуждению темы в Facebook

Директор по развитию бизнеса беспилотников Яндекса Артем Фокин, рассказал в интервью Радио Sputnik когда можно ждать появления сервиса беспилотных такси на улицах Москвы.  

«Когда беспилотное такси можно будет заказать в Москве? С точки зрения технологий мы думаем, что мы будем готовы без помощи человека уверенно перемещаться в плотном городском потоке мегаполиса через 2-3 года. Но все зависит не только от нас, зависит еще и от регуляторов (от принятия законов, регулирующих беспилотный транспорт)».

«Уже сейчас вы можете совершить поездку в беспилотном автомобиле Яндекса в казанском Иннополисе. За рулем не будет никого, но на пассажирском сидении справа впереди будет сидеть инженер по безопасности, по требованию регулятора. То есть беспилотные такси уже есть, но не везде, а в отдельных районах».

Напомню, что в январе 2020 г. беспилотники Яндекса проехали 7 тыс. км по общим дорогам во время крупнейшей в мире технической выставки CES в Лас-Вегасе. Смотрите видео 20-минутной поездки 100% беспилота по улицам Вегаса без испытателя за рулем. 

И если в прошлом году беспилоты компании ездили с водителем-испытателем за рулем (испытатель следит за работой беспилотника и может взять ручное управление в случае аварийной ситуации), то в этом году водитель сидел уже на правом пассажирском месте, за рулем никого не было. 

Безусловно мы видим ежегодный прогресс в процессе внедрения беспилотных автомобилей на реальные дороги. Во многих странах, например в США, Италии, Эстонии, Китае, Эмиратах и др.странах уже работают коммерческие сервисы беспилотных шаттлов. Также внедрены уже грузовые перевозки на беспилотниках, а Waymo (Google) запустили сервис 100% беспилотных такси без водителей в салоне. 

Развиваются и сервисы беспилотной доставки еды и небольших грузов на роботах-доставщиках. Один из таких сервисов сейчас тестируется в Лондоне и еще 14 странах, помимо Англии. Так что следующим естественным шагом развития отрасли станут сервисы беспилотных такси по всему миру (в России это будут Яндекс.такси), а затем и личные автомобили-беспилоты. 

Читайте подробное описание беспилота Яндекса. Сайт беспилотных автомобилей Яндекса: sdc.yandex.com и да пребудет с вами беспилот!  

Смотрите видео-интервью Артема Фокина о развитии беспилотного транспорта.

Материалы по теме:

Аркадий Софрыгин

основатель BesPilot.com

Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Разное

Отправить ответ

avatar
  Подписаться  
Уведомление о