Performance analysis of optimization methods for machine learning

Nowadays, complex real-world optimization problems, especially in Machine Learning, are gaining importance. Understanding which algorithm has the best performance for a specific problem is crucial. To answer this, it is important to understand how different algorithms behave. This dissertation focuses on studying the behaviors of certain algorithms widely used in optimization. We utilized performance estimation methodology that relies on semidefinite programming. In this thesis, we thoroughly studied five different algorithms.

-

Dit proefschrift presenteert een uitgebreide analyse van de convergentiesnelheden en prestaties van iteratieve optimalisatie-algoritmen die gebruikt worden in machine learning. De studie richt zich op gradiëntafdaling en andere methoden van de eerste orde, en introduceert nieuwe theoretische inzichten in de convergentietempo van verschillende methoden door gebruik te maken van prestatieschattingsproblemen (PSP's), geformuleerd als semidefiniete optimalisatieproblemen. Belangrijke bijdragen omvatten het vaststellen van exacte convergentietempo’s in het slechtste geval en de omstandigheden waaronder deze methoden lineaire convergentie bereiken. Dit werk verdiept niet alleen het theoretische begrip van verschillende optimalisatie-algoritmen, maar faciliteert ook praktische toepassingen in machine learning waarbij efficiënte dataverwerking cruciaal is.