Accès direct au contenu

CMLA

Version anglaise

aide

Accueil > Publications > Thèses du CMLA

Recherche - Valorisation

Quelques contributions à l'optimisation globale

le 24 novembre 2017
9h30

Soutenance de thèse de Cédric Malherbe

MALHERBE_Cedric.JPG

MALHERBE_Cedric.JPG

Ce travail de thèse s'intéresse au problème d'optimisation séquentielle d'une fonction inconnue définie sur un ensemble continu et borné.

Ce type de problème apparaît notamment dans la conception de systèmes complexes, lorsque l'on cherche à optimiser le résultat de simulations numériques ou plus simplement lorsque la fonction que l'on souhaite optimiser ne présente aucune forme de régularité évidente comme la linéarité ou la convexité.

Dans un premier temps, nous nous focalisons sur le cas particulier des fonctions lipschitziennes. Nous introduisons deux nouvelles stratégies ayant pour but d'optimiser n'importe quelle fonction de coefficient de Lipschitz connu puis inconnu. Ensuite, en introduisant différentes mesures de régularité, nous formulons et obtenons des résultats de consistance pour ces méthodes ainsi que des vitesses de convergence sur leurs erreurs d'approximation.

Dans une seconde partie, nous nous proposons d'explorer le domaine de l'ordonnancement binaire dans le but de développer des stratégies d'optimisation pour fonctions non régulières. En observant que l'apprentissage de la règle d'ordonnancement induite par la fonction inconnue permet l'identification systématique de son optimum, nous faisons le lien entre théorie de l'ordonnancement et théorie de l'optimisation, ce qui nous permet de développer de nouvelles méthodes reposant sur le choix de n'importe quelle technique d'ordonnancement et de formuler différents résultats de convergence pour l'optimisation de fonctions non régulières.

Enfin, les stratégies d'optimisation développées au cours de la thèse sont comparées aux méthodes présentes dans l'état de l'art sur des problèmes de calibration de systèmes d'apprentissages ainsi que sur des problèmes synthétiques fréquemment rencontrés dans le domaine de l'optimisation globale.

Global optimization: contributions

This work addresses the sequential optimization of an unknown and potentially non-convex function over a continuous and bounded set. These problems are of particular interest when evaluating the function requires numerical simulations with significant computational cost or when the objective function does not satisfy the standard properties used in optimization such as linearity or convexity.

In a first part, we consider the problem of designing sequential strategies which lead to efficient optimization of an unknown function under the only assumption that it has finite Lipschitz constant. We introduce and analyze two strategies which aim at optimizing any function with fixed and unknown Lipschitz constant. Consistency and minimax rates for these algorithms are proved, as well as fast rates under an additional Hölder like condition.

In a second part, we propose to explore concepts from ranking theory based on overlaying level sets in order to develop optimization methods that do not rely on the smoothness of the function. We observe that the optimization of the function essentially relies on learning the bipartite rule it induces. Based on this idea, we relate global optimization to bipartite ranking which allows to address the cases of functions with weak regularity properties.

Novel meta algorithms for global optimization which rely on the choice of any bipartite ranking method are introduced and theoretical properties are provided in terms of statistical consistency and finite-time convergence toward the optimum.

Eventually, the algorithms developed in the thesis are compared to existing state-of-the-art methods over typical benchmark problems for global optimization.

Type :
Thèses - HDR
Lieu(x) :
Campus de Cachan
Salle des Conférences - Pavillon des Jardins

Tutelles






Cédric MALHERBE

Thèse sous la direction de

Nicolas VAYATIS
Professeur des universités, Directeur du CMLA, ENS Paris-Saclay

Jury

Gilles Blanchard
(Professeur, Université Potsdam)
Remi Munos
(Directeur de recherche, Inria)
Olivier Teytaud
(Chargé de recherche, Inria)
Alexandre Tsybakov
(Professeur, ENSAE ParisTech)
Jean-Philippe Vert
(Directeur de recherche, Mines ParisTech)


Recherche d'une actualité

Recherche d'une actualité