Недорогой «автопилот» для любого автомобиля
Работу над автопилотом собственной конструкции хакер начал ещё в октябре 2015 года. Изучив устройство своего седана Acura ILX, Хоц взялся за инструменты и начал модернизировать его. Место «бардачка» занял управляющий компьютер, подключенный к автомобилю через стандартный диагностический разъём OBD-II, модули GPS, маршрутизатор и прочее оборудование.
На крыше автомобиля был установлен лидар и шесть маленьких видеокамер стоимостью в пару десятков долларов. В качестве программного обеспечения используется самообучающаяся нейронная сеть собственной разработки хакера. Между сиденьями появился джойстик для управления автопилотом, а центральную консоль загораживает огромный 21,5-дюймовый монитор. Информацию о работе систем, данные с камер и лидара на экран выводит компьютер под управлением Linux.
Проект получил название Comma.ai. На разработку системы у Хоца ушло чуть более месяца, но конструкция получилась вполне работоспособной и была испытана на шоссе в окрестностях Сан-Франциско: «автопилот» без остановок и происшествий преодолел 64 километра за час. Коммерческой версией «автопилота» можно будет, по замыслу разработчика, оборудовать любой современный автомобиль. Comma. ai должен стать самым продвинутым среди всех «автопилотов» на рынке, а стоимость такого устройства составит лишь около тысячи долларов.
А вот как работает штатный режим «автопилота» на седане Tesla Model S:
Системы автопилота для автомобилей
Ведущие автогиганты промышленности серьёзно принялись за установку системы автопилота на серийные модели. Сейчас проводятся испытания и тестирования функций, и если верить заявлениям представителей автоконцернов, то результаты превосходят все ожидания. Полноценное внедрение технологии автопилота в современные автомобили позволят транспортному средству набирать необходимую скорость, избегать аварийных ситуаций и совершать манёвры без управления человеком.
На сегодняшний день представлены три типа систем автопилота:
I. Принцип действия электронной системы. Это самая простая форма действия автопилота, которая уже достаточно давно используется в сериях мирового автопрома.
1.1. Яркий пример такой системы – Traffic Jam Assist, которая была создана разработчиками Ford на базе исследовательского комплекса в Германии. «Система помощи в пробках» позволяет транспорту самостоятельно ехать в тесных рядах машин, останавливаться при необходимости и начинать разгонятся, когда впереди идущие автомобили свободно двигаются. Кроме того, Traffic Jam Assist способен управлять автомобилем на поворотах и изгибах дороги. При этом водитель не прилагает никаких усилий для контроля происходящей ситуации, он может позволить себе абсолютно не касаться узлов управления.
Несмотря на то, что система кажется воплощением сюжета фантастического фильма о будущем, в её действии нет ничего инновационного. Traffic Jam Assist действует по принципу двух давно известных автолюбителям систем: круиз-контроля (система анализирует информацию о внешних событиях с радара и принимает решение о необходимой скорости) и программы Lane Assist (не допускает пересечение дорожной линии и вносит правки в курс автомобиля, подруливая в нужном направлении).
Данный автопилот позволит машине придерживаться стабильной скорости в 50-60 км/ч без участия водителя. Но инженеры предостерегают, что владельцы авто не должны полностью расслабляться за рулём, участие человека всегда необходимо.
1.2. Компания Volkswagen решила не отставать и заявила об успехах в разработке системы Temporary Auto Pilot. Эта модель автопилота позволяет автомобилю переходить на самоуправление не только в пробках, но и на трассах с высокими скоростями. «Временный автопилот» по механизмам действия практически идентичен Traffic Jam Assist, но несколько новаторств от Volkswagen позволяют включать автопилот даже на скорости 130 км/ч.
1.3. Cadillac обещает своим клиентам, что их система Super Cruise будет запущена в массовое производство уже в 2015 году. Разработка будет представлять собой синтез автопилота со спутниковым навигатором.
1.4. Компания Google проводит испытание автомобиля-робота, который оснащён комплексом встроенных карт и навигаций. Такая машина способна передвигаться по дорогам даже без присутствия водителя в салоне.
II. Принцип действия электронной сцепки, который подразумевает отслеживание и контроль находящегося впереди транспорта. Первой ласточкой среди автопилотов данного типа должна стать разработка компании Volvо. В основе системы SARTRE (Safe Road Trains for the Environment) заложены радикально новые принципы действия. Их особенность заключается в том, что теперь в участии водителя действительно нет никакой необходимости. Управление транспорта с встроенным SARTRE совершается с помощью впереди едущего авто.
Принцип сцепки подразумевает установление беспроводной связи между двумя автомобилями, которая активируется сразу же после сближения на определённое расстояние. Проще говоря, сзади едущая машина точно следует за «поводырём».
Инженеры Volvo считают такую модель автопилота более безопасной и автоматизированной. Пока точные сроки запуска программы в производство не известны, но представители автоконцерна обещают порадовать автолюбителей уже в ближайшие годы.
III. Третий, самый инновационный принцип действия автопилота заключается в установлении активных взаимосвязей между едущим автомобилем и окружающей средой. Транспортное средство будет взаимодействовать не только с находящимися рядом машинами, но и с дорожной инфраструктурой.
Названия этих автопилотов соответствуют их сути: vehicle-to-vehicle («машина-к-машине») и vehicle-to-infrasructure («машина-к-инфраструктуре»). Крупнейшие автопроизводители уже оценили перспективность этого типа автоуправления и концентрируют огромные усилия и средства на испытании программы. Так, General Motors обещает, что общие возможности системы можно будет оценить уже в 2020 году.
Ведутся активные разработки. Между автоконцернами начата настоящая гонка за победный приз в виде совершенной системы автопилота, которая воплотит идею «умного» автомобиля в реальность.
Автопилот своими рукам. Добавляем электронное управление steer-by-wire на обычный автомобиль
Всем привет. Любому автопилоту, очевидно, нужно не только принимать решения по управлению, но и заставлять автомобиль этим решениям подчиняться. Сегодня увидим, как весьма доступными средствами доработать обычный автомобиль полностью электронным рулевым управлением (steer-by-wire). Оказывается, сам авто для разработки не очень и нужен, а большинство функционала можно с комфортом отлаживать дома или в офисе. В главных ролях всем известные компоненты из хобби-магазинов электроники.
Задумаемся на секунду, что нужно для системы электронного управления? Сервопривод, который может поворачивать колёса, и контроллер, чтобы сервоприводом управлять. Внезапно, всё это в большинстве современных автомобилей уже есть, и называется «усилитель рулевого управления». Традиционные чисто механические (как правило, гидравлические) усилители стремительно исчезают с рынка, уступая место узлам с электронным блоком управления (ЭБУ). А значит, задача сразу упрощается: нам остается только «уговорить» имеющийся ЭБУ усилителя выдать нужные команды на сервопривод.
Очень удобным для доработки оказался KIA Cee’d начиная с 2015 модельного года (скорее всего аналогично и его соплатформенники от KIA/Hyundai). Сошлись одновременно несколько факторов:
Итак, получена в распоряжение рулевая колонка в сборе:
Будем заставлять её крутиться. Для этого нужно создать у блока управления впечатление, что
Симуляция автомобиля
Нужно понять интерфейс между электронным блоком управления (ЭБУ) усилителя и остальным автомобилем. Нагуглив электрическую схему видим картинку:
Из схемы видно, что физически интерфейс очень прост:
Внешний вид и распиновки разъемов находим на том же сайте.
С питанием и зажиганием всё просто, берем 12V с обычного компьютерного блока питания. Но если просто подать питание и зажигание, усилитель полноценно не включится, и усиливать не будет. Дополнительно нужна информация от других блоков автомобиля: работает ли двигатель (чтобы не тратить энергию аккумулятора при выключенном), текущая скорость (чтобы делать руль «тяжелее» на скорости), наверняка что-то ещё.
Обмен данными между электронными блоками в современных автомобилях организован по шинам CAN (Controller Area Network). Это широковещательная (у пакетов нет адресов назначения) локальная сеть на витой паре, где каждый блок может публиковать свои данные. У каждого типа данных свой идентификатор. Например, в нашем случае усилитель руля рассылает значения угла поворота руля с ID 0x2B0. Часто бывает несколько физически разделенных шин, чтобы второстепенные блоки типа контроллеров стеклоподъемников не мешались обмену между критически важными компонентами. В Cee’d используется две шины: C-CAN и B-CAN (схема здесь, в части «Информация о канале передачи данных»). На C-CAN «висят» почти все блоки с ней и будем работать.
Выбор адаптера CAN-шины
Первым делом понадобится CAN интерфейс для компьютера. Детальный обзор возможных решений есть например здесь, цены варьируются от десятков до сотен долларов. По устройствам у нас относительно доступны:
Софта разного тоже много (за обзором опять сюда). Самый простой вариант — Linux c can-utils из SocketCAN, за который спасибо инженерам Volkswagen. Большой плюс SocketCAN в стандартизации — любое USB устройство с поддержкой протокола LAWICEL (pdf) видится системой как обычный сетевой интерфейс. Таким образом избегаем привязки к вендор-специфическому софту конкретного устройства. У текущей версии CANHacker есть небольшая несовместимость со стоковыми can-utils по работе с USB, поэтому берём патченную версию отсюда. Raspberry Pi с CAN шилдом работает со стоковым пакетом can-utils из Raspbian OS без проблем.
Подключение к шине, запись пакетов
С подключением к индивидуальному узлу на стенде всё просто: соединяем контакт CAN-High адаптера с CAN-High автомобильного узла, CAN-Low — c CAN-Low. По стандарту между CAN-High и CAN-Low должно быть 2 замыкающих резистора по 120 Ом, на практике обычно всё работает на довольно широком интервале сопротивлений, у меня например одно на 110 Ом.
На автомобиле замыкающий резистор не нужен (они там уже стоят, чтобы шина сама по себе работала). В зависимости от модели авто, возможно придется повозиться с физическим доступом к проводке шины. Самый удобный вариант — разъём OBD-II (on-board diagnostic), он обязателен на всех легковых автомобилях, выпущенных в Европе с начиная 2001-2004 года и находится не дальше 60 см от рулевого колеса. На Cee’d разъём слева под рулём, за пластмасовой крышкой блока предохранителей.
Распиновка OBD-II стандартизована и включает шину CAN (CANH на 6 контакте, CANL на 14). Нам повезло, корейцы пошли по пути наименьшего сопротивления и вывели C-CAN, на которой висят все важные узлы, прямо на диагностический разъём:
В результате на Cee’d можно прослушать весь внутренний трафик, ничего в авто не разбирая. Когда машина не твоя, а знакомые пустили повозиться — большой плюс. Но такая халява не везде. У Volkswagen например служебная CAN изолирована от OBD шлюзом, поэтому подключаться пришлось бы примерно так:
Подключив все контакты, поднимаем сетевой интерфейс:
Проверяем, что сеть работает и данные принимаются (включив зажигание):
И наконец, если всё нормально, можно записывать лог:
Здесь нужно запустить двигатель, т.к. усилитель руля включается на собственно усиление только при работающем двигателе, а нам на стенде надо, чтобы он усиливал.
Воспроизведение записи шины на стенде
С записанным логом с авто можно возвращаться на стенд и приступать к обману нашего одинокого усилителя. Первым делом вспомним, что в автомобиле стоит свой собственный усилитель, он тоже шлёт данные в CAN шину, и эти пакеты есть и в нашем логе. Отфильтруем их, чтобы избежать конфликтов. Подключаемся к усилителю на стенде, смотрим, что он выдает:
Видим, что рассылаются пакеты 2B0 (текущий угол поворота руля) и, реже, 5E4 (какой-то общий статус усилителя). Отфильтровываем их из общего лога:
Фильтрованный лог можно подавать на воспроизведение:
Если всё сработало успешно, усилитель заработает, крутить рукой рулевой вал станет гораздо легче. Итак, работать в штатном режиме мы узел заставили, можно переходить к симуляции усилий на руле.
Эмуляция усилия на руле
Крутящий момент на рулевом валу и угол поворота измеряются встроенным блоком датчиков, от которого идет жгут проводов к блоку управления усилителем:
Блок управления обрабатывает сигналы датчиков и выдаёт команды сервоприводу на создание дополнительного усилия на поворот рулевого вала.
Проверка формата сигнала датчиков
По информации PolySync, на Soul, у которого с Cee’d общая платформа, два аналоговых датчика крутящего момента. Cигнал каждого — отклонение уровня постоянного напряжения от базовых 2.5V, провода в жгуте — зеленый и синий. Проверим, что у нас то же самое:
Эмуляция сигнала датчиков
Переходим к эмуляции сигнала датчиков. Для этого поставим свой модуль в разрыв цепи между датиком и ЭБУ, будем транслировать настоящий сигнал с датчика и по команде сдвигать его на фиксированный уровень (изображая приложенное к рулевой колонке усилие). Силами одной arduino это не получится: там нет полноценного цифро-аналогового преобразователя, который мог бы выдавать постоянное напряжение. Аналоговые входы arduino нам тоже не очень подходят — хотя пинов для них целых 6, канал АЦП в контроллере только один, и его переключение между пинами занимает заметное время.
Нужно добавить к arduino внешние ЦАП/АЦП. Мне попались модули YL-40 (описание в pdf) на основе чипа PCF8591 — на каждой по 4 канала 8-бит АЦП и 1 8-бит ЦАП. Модуль может общаться с arduino по протоколу I2C. Потребуется небольшое допиливание (в буквальном смысле): китайские товарищи поставили на плату светодиод индикации напряжения на выходе ЦАП — его обязательно надо отсоединить. Иначе утекающий через диод ток не даст ЦАП поднять напряжение на выходе больше 4.2V (вместо штатных 5V). Диод отсоединяем, отковыривая резистор R4 с обратной стороны платы.
Также на входы распаяны игрушечные нагрузки (терморезистор, фоторезистор, ещё что-то), отсоединяем их, убирая перемычки, чтобы не мешались.
С интерфейсом к arduino есть нюанс — нам нужно 2 канала ЦАП, соотвественно 2 модуля, но у них одинаковые адреса I2C (зашиты в чип). Хотя чип позволяет менять свой I2C адрес, замыкая определенные ноги на +5V вместо земли, на плате эти перемычки не разведены. Вместо перепайки возьмем костыль — две разные библиотеки I2C на arduino (стандартная Wire и SoftI2CMaster), каждая на свою пару пинов. Получаем модули на разных шинах, конфликт пропадает.
Остальное прямолинейно — ставим модули в разрыв цепи от датчиков, соединяем с arduino, загружаем скетч. Подробности по распиновке подключения есть в комментариях в скетче. Остается включить всё в сборе, здесь важна последовательность:
На сегодня всё, на очереди доработка софта (интеграция с CAN шиной, чтение оттуда текущего угла поворота и динамическое управление крутящим усилием, чтобы внешний контроллер мог задать фиксированный угол поворота руля и система его выдерживала), отработка на автомобиле (на стенде не смоделируешь сопротивление от колёс). Возможно замена 8-битных ЦАП/АЦП на 10 или 12 бит (взял первое, что под руку попалось). Рулящая нейросеть тоже в процессе, надеюсь скоро сделать пост.
Спасибо Artemka86 за ценные консультации по работе с CAN и помощь с оборудованием.
Ресурсы для дальнейшего погружения
Бонус. Совмещаем Raspberry Pi и Arduino CAN shield
Прежде всего, внимание, CAN шилд и raspberry pi нельзя соединять напрямую, они не совместимы по напряжению. На Arduino UNO-совместимых платах напряжение логики 5V, а на raspberry pi только 3.3V, поэтому прямое соединение только сожжет задействованные пины.
Нужно завести на CAN шилд питание (5V), соединения интерфейса данных SPI (4 пина: MOSI, MISO, SCLK, CS) и 1 пин сигнала прерывания. Всё, кроме питания, идет через преобразователь уровня, который в свою очередь тоже надо запитать.
На схемах ищем нужные пины.
Соединяем через преобразователь, заводим нужные напряжения питания на каждую сторону преобразователя, получается такая лапша:
Всё, кроме 5V питания и земли на шилд идёт через преобразователь:
Переходим к настройке софта (стандартный Raspbian).
Включаем поддержку SPI и CAN модуля. В /boot/config.txt добавляем
Перезагружаем raspberry pi, проверяем соединение с шилдом:
Запускаем виртуальный сетевой интерфейс:
Вторая команда важна при воспроизведении большого количества данных с raspberry pi, то есть когда записанный на автомобиле полный лог CAN шины воспоизводим для изолированного узла на стенде. Без увеличения буфера он скорее всего переполнится, когда в логе встретится несколько CAN пакетов с маленькими интервалами, и тогда соединение зависнет.
Разобрали принцип работы автопилотов в современных авто. Насколько это безопасно?
Машина с автопилотом считается транспортом следующего поколения и мечтой многих автолюбителей: ведь чтобы добраться до нужно места, не нужно будет крутить руль. Сиди себе в салоне и спи, автомобиль доедет до нужного места сам.
На самом деле, автопилот для гражданских авто существует уже сейчас. Машины под управлением искусственного интеллекта можно встретить даже на дорогах Москвы, но как это все работает?
Рассказываем всю правду про современные беспилотные машины.
Какие бренды делают авто с автопилотом
Машина с автопилотом от американского стартапа.
Единой системы автопилота нет, потому что в 2010-х годах многие крупные автомобильные бренды начали разработку собственного беспилотного программного обеспечения.
Систему датчиков для анализа дороги и препятствий можно установить практически на любую машину. Так что у ведущих автопроизводителей нет какой-то специальной модели авто для тестирования автопилота.
Основой любого авто с беспилотным управлением является искусственный интеллект, который должен мгновенно принимать решения, учитывая поступающие данные с датчиков и камер, установленных по всей машине.
На сегодняшний день автопилот разрабатывают и тестируют следующие производители:
▪️ General Motors
▪️ Ford
▪️ Mercedes Benz
▪️ Volkswagen
▪️ Audi
▪️ Nissan
▪️ Toyota
▪️ BMW
▪️ Volvo
▪️ Tesla
Автопилот тестирует даже Apple. Правда не слишком хвастается результатами. В прошлом году ее автопилот признали худшим из имеющихся в США.
Куда лучше дела у Google. Для них умное авто разрабатывает компания Waymo, дочернее предприятие Alphabet.
Цену увеличивают те самые модули для автономной езды и сертификация, о которой мы поговорим позже.
Беспилотные авто реально сами ездят? На самом деле нет
Так видит дорогу автопилот автомобиля.
В идеале машина с автопилотом работает автономно, то есть водителю не нужно жать на педали и перехватывать управление даже в сложных дорожных ситуациях. Но это пока лишь в теории.
У Tesla на сегодняшний день самый продвинутый по своей функциональности автопилот, но даже он официально называется «интеллектуальный помощник водителя». То есть полностью доверить ему управление авто ещё нельзя.
Общество инженеров автомобильной промышленности (SAE) выделяет шесть степеней автономность машин. Полная автономность – это последняя, шестая степень. С таким автопилотом водитель лишь задает конечный пункт маршрута, а процесс передвижения полностью ложится на программное обеспечение.
Все 6 степеней автономности машин по версии Общества инженеров автомобильной промышленности.
Сегодня на дорогах общего пользования можно встретить машины с функцией беспилотного управления третьего уровня автономности. Пока это максимум, до чего дошли автопроизводители.
В недалёком будущем машины с автопилотом 6-й степени автономности обязательно появятся. А пока за рулем обязательно должен сидеть человек для перехвата управления, если система не справляется.
Что умеют беспилотные авто сегодня
Дорога «глазами» искусственного интеллекта.
Искусственный интеллект автопилота в наше время может не только анализировать динамичную дорожную обстановку в реальном времени, но и «узнавать» людей, животных и неодушевлённые преграды.
Это не говоря о распознавании дорожной разметки, сигналов светофора и дорожных знаков.
Для этого программа постоянно анализирует данные с датчиков, которых можно разделить на 4 вида:
Камеры. Отвечают за визуальное обнаружение объектов, например, дорожная разметка и знаки
Радар. Определение препятствий и объектов впереди и сзади, а также определение расстояния до них
Лидар. Похож на радар, но работает с углом обзора 360 градусов и распознает объекты вокруг на расстоянии до 60 метров
Датчик положения. Вмонтирован в колесо, определяет положение машины на карте.
Искусственный интеллект анализирует информацию с разных датчиков, и вот как это выглядит в реале:
Бортовой компьютер соединяет информацию, полученную от сенсора, с находящейся в памяти картой местности. Собранные данные хранятся в общей базе, чтобы ими могли пользоваться другие машины.
Беспилотник должен собрать очень много данных, и эти данные должны собираться не на полигоне и даже не в одном конкретном месте, а во всем городе – везде, где есть свободное движение. Чем больше беспилотников, тем больше данных, тем безопаснее технология.
Как тестируются беспилотные машины
Беспилотный транспорт тестируется на специальных полигонах. В России самым известным стал технопарк «Калибр» на улице Годовикова в Останкинском районе Москвы. Кроме него в стране насчитывается несколько десятков таких технопарков.
На полигонах автомобили тестируют прежде всего на взаимодействие с дорожной инфраструктурой и с пешеходами на зебрах. На таких испытаниях выясняются печальные подробности: автопилот Tesla удалось обмануть с помощью дешевого проектора.
Испытатели проецировали различные двумерные изображения, а система воспринимала их как реальные объекты.
Если авто проходит этот этап, начинается следующий – в реальных условиях на шоссе. Во время таких испытаний в салоне находится пилот-испытатель, чтобы перехватить управление, если искусственный интеллект не справляется.
На дорогах Москвы беспилотники появились в июне 2019 года. Машины курсируют по специальным зонам для тестирования. Перед выходом на дорогу общего пользования Москвы первый беспилотник прошел сертификацию на полигоне НАМИ.
Как сертифицируются машины с автопилотом
Перед выходом на дорогу беспилотный автомобиль получает сертификацию о прохождении испытаний высокоавтоматизированных транспортных средств (ВАТС).
Она представляет собой проверку исправности комплектующих. По сути, сертификация дублирует испытания, которые проходит любой автомобиль перед тем как выйти на рынок.
В России беспилотник проходит сертификацию и на этапе тестирования. В США на этот период она не требуется — сразу после выхода с конвейера и оснащения всеми необходимыми датчиками автомобиль выезжает на трассу общего пользования.
Глава направления беспилотных автомобилей «Яндекса» Дмитрий Полищук говорит, что этот процесс мало чем отличается от сертификации обычного автомобиля. Регуляторы проверяют преимущественно тормозную систему, стояночный тормоз, поворотники, фары, а к беспилотной технологии прямого отношения это не имеет.
Проверить искусственный интеллект на пригодность к вождению, по его словам, невозможно.
В свободной продаже автомобилей с беспилотным управлением в России в ближайшее время не будет. Все машины ездят в рамках тестов и испытаний.
А кто будет виноват, в случае ДТП с участием беспилотного авто в России?
Машина Яндекс.Такси со встроенным автопилотом на испытательном полигоне.
Так как автомобили с функцией автопилота пока ездят в тестовом режиме по дорогам России, этот вопрос ещё не обсуждался официально.
Все беспилотные автомобили в России обязательно страхуются сейчас на 10 млн руб. Так что страховка покроет ущерб от практически любого ДТП с участием машины без водителя за рулем.
В то же время в Великобритании готовится проект «Vehicle Technology and Aviation Bill», в котором есть пункты касательно ДТП с участием беспилотного транспорта:
?? Если в момент оформления страхового полиса страховая компания была проинформирована о том, что транспортное средство будет использоваться в режиме автопилота, тогда она несет полную ответственность по застрахованному авто.
?? Если беспилотный автомобиль не застрахован, тогда в случае аварии ответственность будет нести автовладелец.
?? Если аварийная ситуация возникла по причине сбоя в программном обеспечении или оборудовании, тогда вина ложится на плечи компании-производителя.
?? Если авария стала следствием вмешательства автовладельца в ПО или собственник не выполнил указания производителя (например, не провел обновление программного обеспечения вовремя), тогда страховщик может взыскать страховую выплату с автовладельца.
Так что к появлению частных полностью беспилотных машин общество почти готово.
Современному автопилоту ещё далеко до полностью автономной работы
Volvo с системой автопилота на крыше.
Сложно поспорить, что машины без водителя — транспорт будущего, хоть сейчас мы ещё далеки от изобретения полностью автономного автопилота.
На сегодняшний день тестирование таких машин слишком затратно, но в том же Яндексе уверены, что в будущем поездки на авто с ним окажутся дешевле, чем на такси.
Пока что искусственный интеллект слишком уязвим и непредсказуем. Его можно обмануть или сбить с толку.
Единственный способ его усовершенствовать — больше тестировать. Чем активнее этим будут заниматься компании, тем скорее машины с полностью автономным управлением войдут в обиход.