Arxiv/Decentralized Personalized Federated Min-Max Problems 2021 2106.07289 — различия между версиями

«Decentralized Personalized Federated Min-Max Problems 2021 2106.07289»^{скачать}

Персонализированное федеративное обучение (PFL) недавно добилось огромного прогресса, что позволяет разрабатывать новые приложения машинного обучения для сохранения конфиденциальности данных обучения.

Существующие теоретические результаты в этой области в основном сосредоточены на распределенной оптимизации для задач минимизации. Эта статья является первой, в которой исследуется PFL для задач перевала (которые охватывают более широкий класс задач оптимизации), что позволяет использовать более широкий класс приложений, требующих большего, чем просто решение задач минимизации.

В этой работе мы рассматриваем недавно предложенную настройку PFL с целевой функцией смешивания, подход, сочетающий изучение глобальной модели вместе с локально распределенными учащимися.

В отличие от большинства предыдущих работ, которые рассматривали только централизованную настройку, мы работаем в более общей и децентрализованной настройке, которая позволяет нам разрабатывать и анализировать более практичные и объединенные способы подключения устройств к сети.

Мы предложили новые алгоритмы для решения этой проблемы и предоставили теоретический анализ гладких (сильно) выпуклых (сильно) вогнутых задач перевала в стохастическом и детерминированном случаях. Численные эксперименты над билинейными задачами и нейронными сетями с противоборствующим шумом демонстрируют эффективность предложенных методов.