Робот навчився ходити по піску, гравію та мокрій траві

Двоногий гуманоїдний робот впевнено перетнув пісок, гравій, мокру траву, схили, сходи та слизькі поверхні, нічого з цього він не бачив під час тренувань.

Секрет — у новому методі навчання, який розробили дослідники з Технологічного інституту Джорджії, пише Іnteresting Еngineering.

Метод отримав назву «Learn to Teach» («Навчайся навчати»). Він удосконалює популярний підхід «вчитель-учень» у навчанні з підкріпленням — тільки замість того, щоб навчати спочатку одну модель, а потім іншу, обидва «агенти» тренуються одночасно. Результат — контролер робота, який упорається з незнайомим рельєфом, витрачаючи набагато менше обчислювальних ресурсів.

Роботу довелося не лише йти самостійно — дослідники штовхали і тягнули його під час випробувань. Щоразу він змінював ходу, щоб не втратити рівновагу. Проєкт представили на конференції IEEE з робототехніки та автоматизації (ICRA), а самі автори кажуть, що підхід можна адаптувати й для інших роботів та завдань, не лише ходьби.

У класичній схемі «вчитель-учень» спочатку створюють модель-«вчителя», яка має доступ до детальних даних симуляції. Лише коли вчитель повністю натренований, його знання передають моделі-«учню», яка вже керує реальним роботом.

За словами провідного дослідника Фейянга Ву, у такого підходу є дві серйозні проблеми. По-перше, послідовне навчання забирає забагато часу. По-друге, значна частина інформації, яку встиг зібрати вчитель, просто пропадає марно.

Тренування роботизованих контролерів через симуляцію може вимагати годин обчислень на дорогому графічному обладнанні — а це і час, і чималі гроші. Одночасне навчання обох моделей вирішує обидві проблеми одразу.