Просмотр исходного текста страницы Arxiv/Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order Information 2021 2109.05198

{{checked|}}
{{arxivlink|arxiv/Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order Information 2021 2109.05198|
Мы представляем новый алгоритм адаптивной оптимизации для крупномасштабных задач машинного обучения.  

Благодаря недорогой оценке локальной кривизны и липшицевости, наш метод динамически адаптирует направление поиска и размер шага.  Направление поиска содержит информацию о градиенте, предварительно обусловленную хорошо масштабированной диагональной матрицей предварительного кондиционирования, которая фиксирует информацию о локальной кривизне.  

Наша методика не требует утомительной настройки скорости обучения, так как скорость обучения обновляется автоматически без добавления дополнительных гиперпараметров.  Мы предоставляем гарантии сходимости для исчерпывающего набора задач оптимизации, включая выпуклые, сильно выпуклые и невыпуклые задачи, как в детерминированном, так и в стохастическом режимах.  Мы также проводим обширную эмпирическую оценку стандартных задач машинного обучения, обосновывая универсальность нашего алгоритма и демонстрируя его высокую производительность по сравнению с другими современными методами первого и второго порядка.
}}
{{enddiv}}

[[Категория:ArxivArticles]]