Сегодня робототехника все больше и больше вдохновляется поведением человека. Если мы хотим, чтобы роботы взаимодействовали с реальным миром, мы должны смотреть на самое умное существо, на себя. Благодаря различным научным исследованиям теперь мы можем попытаться воспроизвести, хотя и с ограничениями, все способности человека в роботе. Результаты этих исследований можно увидеть в развивающей робототехнике, объединяющей робототехнику, биологию и неврологию. Наиболее известным примером развивающейся робототехники является iCub [11], который представляет собой гуманоидного робота, используемого для исследований человеческого познания и искусственного интеллекта. iCub продемонстрировал способность успешно выполнять задачи, подобные человеческим: ползание, функции обработки зрения, прогрессивное изучение языка, функции манипулирования и так далее. Одним из самых противоречивых моментов в этой области является движение обучение. В то время как эффективное планирование движения в типичных низкоразмерных промышленных роботах, обычно характеризующихся тремя-шестью степенями свободы, представляет собой сложную проблему, оптимальное планирование в системах с 30-50 степенями свободы, таких как iCub, с неопределенными геометрическими и динамическими моделями действительно сложно, особенно если мы стремимся с производительностью в реальном времени в роботизированной системе.

В повседневной жизни нам приходится двигаться в изменяющейся среде. Несмотря на эти различия, мы можем легко достичь наших поведенческих целей благодаря процессу моторного обучения. Моторное обучение можно определить как набор процессов, которые с помощью упражнений и опыта определяют относительное изменение производительности и потенциальности поведения [12]. Кроме того, моторное обучение обычно понимается как приобретение новых квалифицированных движений. Обучение не видно напрямую, потому что процессы, определяющие изменения, являются внутренними. Если мы наблюдаем индивидуальное обучение новому движению, мы можем заметить, что цель не сразу достигается при его первых попытках, в которых выполнение грубое или неправильное, потому что обучение не так просто. Чем сложнее движение, тем больше времени требуется для его изучения, добавления новых сегментов движения. Таким образом, обучение требует повторений. В 1975 году Шмидт сказал, что «количество повторений движения для обучения представляет собой основной элемент для формирования и укрепления схемы действия. Такие исполнения необходимы для хранения информации о начальных условиях, параметрах, используемых в ответе, о сенсорной обратной связи и достигнутых результатах» [14].

Показатели время от времени совершенствуются при каждом новом исполнении до образования относительно стабильного рисунка, благодаря которому движение может приблизиться к задуманному. Начало процесса обучения у человека происходит у новорожденных, которые бессознательно учатся распознавать и использовать собственное тело, таким образом, начиная взаимодействовать с окружающей средой. Кроме того, не забывайте, что это явление не является чисто нейрофизиологическим процессом, поскольку оно имеет также важные психологические последствия. Как предполагал Дональд Хебб, обучение происходит как процесс, «зависимый от опыта» [15]; все, что мы испытываем, потенциально может значительно влиять на наши нейронные связи и наш мозг, явление, известное под названием нейронной пластичности.

Согласно исследованиям Хебба о пластичности нейронов и Рамона-и-Кахаля, было обнаружено, что гиппокамп и его пластичность (LTP — Long-term potentiation) являются основой когнитивного обучения и памяти. Оказалось, что стимуляция сенсорной коры может вызывать ДП в моторной коре [17]. Это указывает на то, что повторяющаяся практика движения, которое посылает входные данные в сенсорную кору, производит LTP в моторной коре. Понимание нейронной основы обучения было получено также благодаря прогрессу в хирургии. В 1957 году Сковилл и Милнер сообщили об историческом открытии происхождения обучения и памяти. Сковилл провел операцию по лечению больного эпилепсией путем удаления височной коры и гиппокампа. Хотя операция прошла успешно, этот пациент страдал ретроградной амнезией; он не мог вспомнить повседневный опыт, хотя у него сохранились долговременные воспоминания, которые он приобрел до операции [18]. Подобные наблюдения были описаны у других пациентов и животных, и общепризнано, что гиппокамп и связанные с ним структуры участвуют в запоминании недавних воспоминаний.

Изучаются различные виды двигательного обучения. Различные исследования на животных подтвердили важную роль мозжечка и моторной коры в обучении. Сасаки, работая с обезьяной, предложил в качестве мест обучения условной реакции премоторную и лобную кору [19], а также мозжечок. Томпсон и Вуди изучали формирование рефлекса моргания у кошек и предположили, что мозжечок и моторная кора являются местами обучения [20]. Другая теория моторного обучения связана с моторными примитивами. В этой теории говорилось, что мозг может управлять сложными движениями посредством гибкой комбинации этих примитивов, где каждый примитив является элементом вычисления в сенсомоторной карте, которая преобразует желаемые траектории конечностей в двигательные команды. Теоретические исследования показали, что способность системы обучаться действию зависит от формы ее примитивов. Было показано, что люди изучают динамику движений с помощью гибкой комбинации примитивов, которые имеют гауссовые функции настройки, кодирующие скорость руки [21]. Эти двигательные паттерны доступны с рождения и представляют собой функции выживания и исследования, которые позволяют людям создавать сенсомоторные карты, которые мы используем в качестве основы для деятельности других элементов [1]. Некоторые недавние исследования подтверждают эту гипотезу и говорят, что нервная система объединяет их в зависимости от задачи, которую нужно выполнить [2]. Тест модульной конструкции движения наблюдают путем записи сигналов ЭМГ от выборки индивидуума. Применяя эти сигналы к алгоритму декомпозиции, были обнаружены общие закономерности в пространстве-времени между людьми и разделяемые между различными видами деятельности. На рис. 1 сигналы ЭМГ, полученные в ходе эксперимента, затем анализируются, и для получения синергетического эффекта применяется алгоритм уменьшения размерности.

В конце концов, какой может быть способ ускорить моторное обучение, сократив количество проб и ошибок?

Имитация моторных навыков основана на способности распознавать действия и преобразовывать визуальные паттерны в моторные команды. Важной предпосылкой подражания является связь между сенсорными и моторными системами, позволяющая преобразовать восприятие в действия. Но существуют ли в нашем мозгу особые области, предназначенные для подражания? Perrett [3] [4] сообщил, что нейроны в верхней височной борозде (ST) макак реагируют как на форму, так и на движение объектов. Кроме того, многие клетки были чувствительны к движениям определенных частей тела наблюдаемого человека. В нижней части СТ аналогичные явления обнаружены для действий руки [4]. Исходя из этих результатов, Перретт пришел к выводу, что ЗС подходят для привлечения внимания и целей других [24]. Таким образом, нейроны STs находятся в идеальной ситуации для анализа движения других и, по-видимому, являются кандидатами на первый этап обработки имитации.

Есть и другие области, связанные с имитацией. Риццолатти обнаружил в области F5 нейроны, специфичные для выполнения движений, связанных с целью, например, дотягивания до тела, приведения его к телу [25]. Недавние исследования показали, что подгруппа нейронов, расположенных в ростральной части нижней области F5 (рис.) обезьяны, становится активной как во время движений обезьяны, так и когда обезьяна наблюдает за экспериментатором или другой обезьяной, выполняющей « действие, подобное тому, которое при активном выполнении запускает [этот] нейрон». Нейроны с этим свойством называются «зеркальными нейронами». Зеркальные нейроны отвечают «за сопоставление нейронной команды для действия с нейронным кодом для распознавания того же действия, выполняемого другим приматом» [26].

Обучение сложным задачам, состоящим из комбинации отдельных движений, является конечной целью имитационного обучения. Подход заключается в том, чтобы сначала изучить модели всех отдельных движений, используя демонстрации каждого из этих действий в отдельности [31], а затем изучить правильную комбинацию на втором этапе, либо наблюдая за человеком, выполняющим всю задачу [32], либо посредством обучение с подкреплением [33]. Альтернативой является наблюдение за тем, как человек выполняет всю задачу, и автоматическое извлечение примитивных действий, как в [34]. Интерфейс, используемый для показа информации роботу, очень важен. Мы находим проекты с прямой записью движений человека, с использованием зрения, экзоскелета или других носимых датчиков движения [35][36]. Другой тип обучения — это кинестетическое обучение, когда робот физически управляется людьми. Основная проблема с этим обучением заключается в том, что учитель часто использует больше собственных степеней свободы для перемещения робота, чем число степеней свободы, которыми он пытается управлять.

В робототехнике были разработаны различные модели движения на основе биотехнологий. Одной из наиболее часто используемых моделей CPG является Central Pattern Generator. Генераторы центральных паттернов (CPG) представляют собой нейронные сети, способные генерировать скоординированные паттерны ритмической активности без каких-либо ритмических входов от сенсорной обратной связи или от высших контрольных центров [38]. CPG важны для движения, дыхания и генерации ритма. В 1911 г. В 1994 г. Каланси утверждал, что стал свидетелем «первого четко определенного примера центрального генератора ритма для шагания у взрослого человека». Субъектом был 37-летний мужчина, перенесший травму шейного отдела спинного мозга 17 лет назад. После первоначального паралича ниже шеи субъект восстановил некоторые движения рук и пальцев и ограничил движения в нижних конечностях. Через 17 лет субъект обнаружил, что, когда он лежал на спине и вытягивал бедра, его нижние конечности совершали ступенчатые движения до тех пор, пока он оставался лежать. «Движения (i) включали попеременное сгибание и разгибание бедер, коленей и лодыжек; (ii) были плавными и ритмичными; (iii) были достаточно сильными, чтобы субъект вскоре почувствовал дискомфорт из-за чрезмерной «скованности» мышц и повышенной температуры тела; и (iv) не может быть остановлен добровольным усилием». После тщательного изучения субъекта экспериментаторы пришли к выводу, что «эти данные представляют собой наиболее ясное свидетельство того, что такая сеть [CPG] действительно существует у человека» [40]. Следствием этого является то, что были разработаны различные модели, основанные на этом.

Можно найти различные эксперименты в робототехнике, используя модели CPG. Эти эксперименты работают с такими действиями, как ползание, полет, ходьба, бег и плавание [44] [47], или с онлайн-генерацией траектории [45]. Еще один биологический способ создания траектории — использование модели нейронной сети (режим NN). Было предложено множество моделей нейронных сетей для создания траектории в реальном времени. В 1994 году Ли и Огмен предложили модель нейронной сети, сочетающую модель адаптивного сенсомоторного картирования и онлайн-коррекцию визуальных ошибок [48]. Многие другие модели были разработаны для генерации траекторий, но не основаны на биологическом вдохновении. Другой биологический подход к созданию движения — это концепция двигательных примитивов. Как мы видели, различные исследования показывают нам, что это понятие существует и в биологии. В литературе мы можем найти две основные модели для представления примитивов: силовое поле (FF) [7] и примитивы динамического движения (DMP) [50]. Силовое поле является функциональной единицей спинного мозга, генерирующей моторный выход, связанный с синергией (рис. 2.4).

Эта синергия вызывает силу, которая приводит исполнительный элемент в определенное положение в пространстве. Силовое поле — это векторное поле, которое для каждого положения тела связывает силу с синергией. Сложное силовое поле движения является результатом суммы различных силовых полей. На рис. 2.5 поля А и В являются результатом стимуляции двух разных участков позвоночника. Результирующее поле и получается одновременно стимулирующим два участка. Это действительно похоже на поле суммы, которое является результатом A и B.

Мы можем видеть эти модули как алфавит, который содержит единицы. Эти единицы могут перекрываться для генерации движения. Планирование движения работает в пространстве конечного эффектора, поэтому возникает проблема перехода из эффекторного пространства в мышечное. Другой подход сводит проблему генерации движения к задаче оптимального управления сложным движением без примитивов [51]. Если мы применим к этой задаче методы динамического программирования, мы получим нелинейные уравнения, решения которых трудно найти, в основном, если мы считаем, что сегодня роботы имеют большое количество степеней. Решение этой проблемы состоит в том, чтобы переписать уравнения, вводя упрощения. Как мы видим, этот подход не является оптимальным, что приводит нас к модели DMP. DMP — это модель примитива, основанная на наборе дифференциальных уравнений, кодирующих движение с кинематографической точки зрения. Они были представлены в 2002 г. Шаалом [52], а затем обновлены в 2013 г. Ауке Айспеертом [53]. Это было мотивировано желанием найти способ представления сложных двигательных действий, которые можно гибко настроить без ручной настройки параметров. ПМР представляют собой предложенную математическую формализацию этих примитивов, отличие состоит в том, что каждая ПМП представляет собой нелинейную динамическую систему. Основная идея состоит в том, что вы берете динамическую систему с четко заданным стабильным поведением и добавляете еще один член, который заставляет ее двигаться по интересной траектории. Существует два типа DMP: дискретные и ритмичные. Для дискретных движений базовой системой является точечный аттрактор, а для ритмичных движений используется предельный цикл.

Но я уточню концепцию в следующей статье.

[1] Р. Пейн и Дж. В. Тани, «Адаптивный двигательный примитив и формирование последовательности
в иерархической рекуррентной нейронной сети», Нейронные сети
17, 2004 г.

Появляется все больше доказательств того, что система зеркальных нейронов существует и у людей. Первый случай существования системы зеркальных нейронов у человека был предоставлен Фадигой и сотрудниками, которые проводили одноимпульсную транскраниальную магнитную стимуляцию (ТМС) добровольцам, наблюдая, как экспериментатор выполняет различные действия руками [28]. Также подавалась одиночная импульсная ТМС при наблюдении за теми же объектами, наблюдении за экспериментатором, обводящим рукой фигуры в воздухе, и при детектировании затемнения света. Регистрировали моторные вызванные потенциалы (МВП) наружных и внутренних мышц руки. Результаты показали, что наблюдение за действием, а не другие условия, приводит к увеличению MEP в тех же мышцах рук, которые участвуют в фактическом выполнении наблюдаемого действия наблюдателем. Эти данные TMS поддерживают понятие системы зеркальных нейронов, сопоставляя выполнение действия и действие наблюдение. Крейгеро и его коллеги получили более новые результаты в исследовании, в котором людей просили подготовиться к тому, чтобы как можно быстрее схватиться за брусок, ориентированный либо по часовой стрелке, либо против часовой стрелки, после предъявления изображения, изображающего правую руку [30]. В первом опыте картинка представляла собой зеркальное отображение конечного положения руки, необходимой для захвата перекладины. Второй эксперимент включал те же стимулы, что и первый, плюс две картинки, повороты руки на 90 градусов как влево, так и вправо. В обоих экспериментах ответы участников были быстрее, когда ориентация руки на картинке соответствовала той, которую достигала рука в конце действия, когда оно фактически выполнялось. С психологической точки зрения были проведены различные исследования, в основном в области когнитивных наук. Жан Пиаже впервые описал термин «отложенное подражание», то есть отсроченное повторение поведения в более позднее время, чем когда оно действительно имело место. Пиаже отмечал, что эта способность появляется у детей в возрасте от 18 до 24 месяцев. Младенцы и маленькие дети не могут удерживать воспоминания о поведении в своей памяти и вспоминать их позже. Дети развивают способность мысленно представлять поведение в уме и повторять его, например, ребенок, подражая своим родителям, готовит обед, играя с кастрюлями и сковородками и притворяясь, что готовит. Другие исследования показывают, что животные не могли этого делать, поэтому мы можем рассматривать подражание как проявление интеллекта. Все эти исследования показывают важность имитации в моторном обучении. Первый используемый подход - это символическое рассуждение. На этапе обучения под ручным управлением робота были сгенерированы различные примеры движений, которые помогли решить поставленную задачу. Показания датчиков, то есть положение и сила, сохранялись во время демонстрации с положениями и ориентациями целевого состояния. В случае подражания цель делится на подцели, а движение на «примитивные действия». Примером подцели может быть ориентация конечного эффектора по сравнению с позицией цели. Эти примитивы можно пометить, чтобы создать парадигму состояние-действие. Когда робот находится в определенном состоянии, выполните определенное действие. Результатом такого высокоуровневого представления является граф, в котором каждое состояние становится узлом графа, а каждое действие — связью между двумя узлами.

[2] К. Алессандро, «Мышечная синергия в нейробиологии и робототехнике: от
пространства ввода к перспективам пространства задач», Front. вычисл. Неврология,
2013.

[3] Д.И. Перретт, П.А. Смит, А.Дж. Мистлин, А.Дж. Читти, А.С. Хед,
Д.Д. Поттер, Р. Брунниманн, А.Д. движений тела нейронами височной коры
макак: предварительный отчет», Behavior Brain Research,
vol. 16, 1985.

[4] Д. И. Перретт, Р. Харрис, М. Хэнд Беван, С. Томас, П. Дж. Бенсон,
А. Дж. Мистлин, А. Дж. Читти, Дж. К. Хиетанен и Дж. Э. Ортега, «Основы анализа для нейронное представление одушевленных объектов и
действий.», Journal of Experimental Biology, vol. 146, стр. 87–113, 1989.

[7] Э. Биззи и Ф. А. Мусса-Ивальди, «На пути к нейробиологии преобразований координат
», The Cognitive Neurosciences, 2013.

[11] Г. Метта, Л. Натале, Ф. Нори, Г. Сандини, Д. Вернона, Л. Фадига, К. фон
Хофстенк, К. Розандер, М. Лопес , Дж. Сантос-Виктор, А. Бернардино,
и Л. Монтесано, «Робот-гуманоид icub: платформа открытых систем для исследований в области когнитивного развития», Нейронные сети, 2010 г.

[12] Р. Мэджилл, Моторное обучение: концепции и приложения. McGraw-Hill,
6-е изд., 2001 г.

[14] Р. Шмидт, «Теория схемы обучения дискретным двигательным навыкам», Психологический обзор, №. 82, 1975.

[15] Д. Хебб, Организация поведения. Уайли, 1949 год.

[17] Т. Сакамото, К. Арисян и Х. Асанума, «Функциональная роль сенсорной коры в обучении двигательным навыкам у кошек», Brain Research, vol. 503,
1989 г.

[18] В. Сковилл и Б. Милнер, «Потеря недавней памяти после двусторонних поражений гиппокампа», журнал неврологии, нейрохирургии и психиатрии,
vol. 9, 1957.

[19] К. Сасаки, «Развитие и изменение потенциалов поля коры во время
процессов обучения зрительно инициируемым движениям рук у обезьяны»,
Springer Journals, 1982.

[20] Р. Томпсон, «Нейробиология обучения и памяти», Science,
vol. 233, стр. 941–947, 1986.

[21] К. Тороуман и Р. Шадмер, «Обучение действиям посредством адаптивной комбинации двигательных примитивов», Природа, 2000.

[24] Д. И. Перретт, М. Х. Харрис, Мистлин, А. Дж., Хиетанен, Дж. К., Бенсон,
П. Дж., Р. Беван, С. Томас, М. В. Орам, Дж. Ортега и К. Брайерли,
«Социальные сигналы анализируются на уровне сигнальных клеток: кто-то смотрит на
меня, что-то касается меня, что-то движется!», Международный журнал
сравнительной психологии, том. 4, стр. 25–55, 1990.

[25] Г. Риццолатти, Р. Камарда, Л. Фогасси, М. Джентилуччи, Г. Луппино и
М. Мателли, «Функциональная организация нижней области 6 у макаки обезьяна. II. область f5 и контроль дистальных движений», Experimental
Brain Research, vol. 71, стр. 491–507, 1988.

[26] Г. ди Пеллегрино, Л. Фадига, Л. Фогасси, В. Галлезе и Г. Риццолатти,
«Понимание моторных событий: нейрофизиологическое исследование», «Экспериментальное исследование мозга», об. 91, 1992.

[28] Л. Фадига, Л. Фогасси, Г. Павеси и Г. Риццолатти, «Моторная фасилитация
во время наблюдения за действием: исследование магнитной стимуляции», Журнал
Нейрофизиология, том. 73, стр. 2608–2611, 1995.

[30] Л. Крейгеро, А. Белло, Л. Фадига и Г. Риццолатти, «Ручная подготовка
влияет на реакцию на изображения рук», Neuropsychologia, vol. 40, стр. 492–502, 2002.

[31] О. Манжен и П.-Ю. Оудейер, «Неконтролируемое изучение одновременных
двигательных примитивов посредством имитации», Международная конференция IEEE
по развивающему обучению, 2011 г.

[32] А. Скоглунд, Б. Илиев, Б. Кадмири и Р. Палм, "Программирование путем
демонстрации задач захвата и размещения для промышленных манипуляторов с использованием примитивов задач", Международный симпозиум по вычислительному интеллекту в робототехнике и автоматизации, 2007 г.

[33] К. Мюллинг, Дж. Кобер, О. Кремер и Дж. Петерс, «Учимся выбирать
и обобщать ударные движения в настольном теннисе с роботами», International
Журнал исследований робототехники, с. 280298, 2013.

[34] Д. Кулич, К. Отт, Д. Ли, Дж. Исикава и Ю. Накамура, «Пошаговое
изучение примитивов движения всего тела и их последовательности с помощью
наблюдение за движением человека», Международный журнал исследований робототехники, стр. 330–345, 2012 г.

[35] Д. Кулич, В. Такано и Ю. Накамура, «Пошаговое обучение, кластеризация и формирование иерархии паттернов движения всего тела с использованием
адаптивных скрытых цепей Маркова», The International Journal робототехники
Research, vol. 27, стр. 761–784, 2008.

[36] А. Удэ, К. Аткесон и М. Райли, "Программирование движений всего тела
для гуманоидных роботов путем наблюдения", Робототехника и автономные системы, с. 93108, 2004.

[38] С. Л. Хупер, «Центральные генераторы шаблонов», Энциклопедия наук о жизни, 1999–2010.

[40] Б. Каланси, Б. Нидхэм-Шропшир, П. Джейкобс, К. Виллер и Г. Зич,
«Непроизвольное перешагивание после хронической травмы спинного мозга. доказательство центрального генератора ритма для передвижения у человека», Brain, vol. 117, 1994 г.

[44] А. Креспи и А. Эйспеерт, «Амфибот II: робот-амфибия-змея
, который ползает и плавает с помощью центрального генератора шаблонов», Труды
9-го Международного Конференция по альпинистским и шагающим роботам,
2006 г.

[45] А. Дж. Эйспеерт и А. Креспи, «Онлайн-генерация траектории в роботе-амфибии-змее с использованием модели центрального генератора шаблонов, похожего на миногу
», Материалы Международной конференции IEEE по робототехнике
и Автоматизация, 2007.

[47] Ю. Фукуока, Х. Кимура и А. Х. Коэн, «Адаптивная динамическая ходьба
четвероногого робота по пересеченной местности на основе биологических концепций».
The International Журнал исследований робототехники, с. 187202, 2003.

[48] Л. Ли и О.Х., «Визуальное управление моторикой: адаптивное сенсомоторное
картирование с оперативной коррекцией визуальных ошибок», Труды Всемирного
конгресса по нейронным Сети, 1994.

[50]С. Шаал и Дж. Петерс, «Контроль, планирование, обучение и имитация
с помощью примитивов динамического движения», EEE Int. конф. по интеллектуальным
роботам и системам, 2003 г.

[51] Э. Тодоров, Байесовский мозг: вероятностные подходы к нейронному кодированию.
MIT Press, 2006.

[52] С. Шаал, «Примитивы динамического движения — основа управления двигателем у людей и человекоподобных роботов», Международный симпозиум
по адаптивному движению животных и машин, 2003 г.

[53] А. Эйспеерт, Дж. Наканиши, П. Пастор, Х. Хоффманн и С. Шаал, «Примитивы динамического движения: изучение моделей аттракторов для двигательного поведения», Neural Computation, vol. 25, стр. 328–373, 2013.

Обучение движению в робототехнике