De Cauchy aux réseaux de neurones, la descente de gradient et ses variantes

Le cycle « Un texte, une aventure mathématique » permet à un large public de découvrir les mathématiques contemporaines. Lors de cette séance, Simon Masnou revient sur les grands principes du calcul des variations et ses évolutions, de Cauchy à aujourd’hui.

L’optimisation est une branche des mathématiques qui s’intéresse à la minimisation ou à la maximisation des fonctions. Son champ d’applications est très vaste : ingénierie, imagerie médicale, logistique, urbanisme, économie, intelligence artificielle, etc.

De nombreux principes et outils mathématiques qui sont au cœur des techniques modernes d’optimisation ont émergé entre le 17e siècle et le début du 19e siècle avec les travaux fondateurs de Fermat, Leibniz, Newton, Bernoulli, Euler, Lagrange, Gauss… C’est dans ce contexte historique qu’Augustin Louis Cauchy introduit formellement en 1847, dans une brève note à l’Académie des Sciences, la méthode de descente de gradient (le gradient est une généralisation de la notion de dérivée aux dimensions supérieures à 1).

Presque anodine lorsque Cauchy l’invente, cette méthode a pris au fil des ans une importance colossale en optimisation numérique, au point d’être aujourd’hui, dans ses multiples variantes, un outil clé en intelligence artificielle.

L’exposé reviendra sur les aspects théoriques et numériques de la méthode de gradient (et ses variantes), de Cauchy à aujourd’hui, et sur ses applications et ses développements modernes : descente de gradient stochastique, méthodes de descente accélérée, entraînement de réseaux de neurones…

Simon Masnou

Simon Masnou est ingénieur diplômé de Télécom Paris, docteur en mathématiques appliquées de l’université Paris Dauphine et titulaire d’une habilitation à diriger des recherches de l’université Paris 6. D’abord maître de conférences à l’université Paris 6, il est depuis 2009 professeur de l’université Claude Bernard Lyon 1 et membre de l’Institut Camille Jordan, institut qu’il a dirigé de 2018 à 2022.

Ses recherches portent sur des questions de modélisation mathématique et numérique, de calcul des variations et de théorie géométrique de la mesure en lien avec l’optimisation de forme, le traitement d’images, l’informatique graphique et l’intelligence artificielle.

Cycle de conférences organisé par la BnF et la Société mathématique de France