Arxiv/Decentralized Personalized Federated Min-Max Problems 2021 2106.07289
Персонализированное федеративное обучение (PFL) недавно добилось огромного прогресса, что позволяет разрабатывать новые приложения машинного обучения для сохранения конфиденциальности данных обучения.
Существующие теоретические результаты в этой области в основном сосредоточены на распределенной оптимизации для задач минимизации. Эта статья является первой, в которой исследуется PFL для задач перевала (которые охватывают более широкий класс задач оптимизации), что позволяет использовать более широкий класс приложений, требующих большего, чем просто решение задач минимизации.
В этой работе мы рассматриваем недавно предложенную настройку PFL с целевой функцией смешивания, подход, сочетающий изучение глобальной модели вместе с локально распределенными учащимися.
В отличие от большинства предыдущих работ, которые рассматривали только централизованную настройку, мы работаем в более общей и децентрализованной настройке, которая позволяет нам разрабатывать и анализировать более практичные и объединенные способы подключения устройств к сети.
Мы предложили новые алгоритмы для решения этой проблемы и предоставили теоретический анализ гладких (сильно) выпуклых (сильно) вогнутых задач перевала в стохастическом и детерминированном случаях. Численные эксперименты над билинейными задачами и нейронными сетями с противоборствующим шумом демонстрируют эффективность предложенных методов.
Video: https://drive.google.com/file/d/1LDN3VujlMBVJa6uuhyaAS-Xur5Q1V6N5/view?usp=sharing
[ Хронологический вид ]Комментарии
Войдите, чтобы комментировать.