• Федеративное обучение — это относительно новый тип обучения, который позволяет избежать централизованного сбора данных и обучения моделей.
  • Каждое мобильное устройство (или пограничный узел) обучает модель, используя свои данные, и обученная модель передается на централизованный сервер.
  • Несмотря на то, что данные не передаются напрямую на централизованный сервер, FL не обеспечивает полной конфиденциальности пользователей, поскольку общие параметры модели можно использовать для изучения данных, используемых для обучения модели.

Этапы высокого уровня, связанные с FL:

  • Общая модель (т. е. нейронная сеть) создается на сервере, но не обучается на сервере (вместо этого на мобильных устройствах).
  • Модель отправляется на мобильные устройства, чтобы каждый пользователь параллельно обучал модель, используя свои локальные данные. Он обучается с использованием алгоритма оптимизации, такого как стохастический градиентный спуск.
  • Сводка изменений, внесенных в модель (т. е. веса модели), отправляется на сервер.
  • Сервер объединяет сводки всех моделей для улучшения общей модели. Он использует алгоритм, называемый алгоритмом федеративного усреднения.
  • Последние 3 шага повторяются до сходимости

Для контролируемого обучения предполагается, что помеченные данные могут генерироваться автоматически на основе взаимодействия с пользователем.

Некоторые примеры задач:

  • НЛП — распознавание голоса, предсказание следующего слова, предсказание всего предложения
  • Классификация изображений — прогнозирование того, какие фотографии следует просматривать чаще.

Ключевой целью FL является сохранение конфиденциальности пользователей, но были атаки, показывающие, что FL не обеспечивает конфиденциальность, поскольку входные данные можно получить из параметров модели. Мы рассмотрим атаки на конфиденциальность FL в другом посте.

Ссылки: