De Cauchy aux réseaux de neurones, la descente de gradient et ses variantes

L’optimisation est une branche des mathématiques qui s’intéresse à la minimisation ou à la maximisation des fonctions. Son champ d’applications est très vaste : ingénierie, imagerie médicale, logistique, urbanisme, économie, intelligence artificielle, etc.

De nombreux principes et outils mathématiques qui sont au cœur des techniques modernes d’optimisation ont émergé entre le 17e siècle et le début du 19e siècle avec les travaux fondateurs de Fermat, Leibniz, Newton, Bernoulli, Euler, Lagrange, Gauss… C’est dans ce contexte historique qu’Augustin Louis Cauchy introduit formellement en 1847, dans une brève note à l’Académie des Sciences, la méthode de descente de gradient (le gradient est une généralisation de la notion de dérivée aux dimensions supérieures à 1).

Presque anodine lorsque Cauchy l’invente, cette méthode a pris au fil des ans une importance colossale en optimisation numérique, au point d’être aujourd’hui, dans ses multiples variantes, un outil clé en intelligence artificielle.

L’exposé reviendra sur les aspects théoriques et numériques de la méthode de gradient (et ses variantes), de Cauchy à aujourd’hui, et sur ses applications et ses développements modernes : descente de gradient stochastique, méthodes de descente accélérée, entraînement de réseaux de neurones…

Par Simon Masnou, professeur de mathématiques, université Claude-Bernard-Lyon-I

Simon Masnou

Simon Masnou est ingénieur diplômé de Télécom Paris, docteur en mathématiques appliquées de l’université Paris Dauphine et titulaire d’une habilitation à diriger des recherches de l’université Paris 6. D’abord maître de conférences à l’université Paris 6, il est depuis 2009 professeur de l’université Claude Bernard Lyon 1 et membre de l’Institut Camille Jordan, institut qu’il a dirigé de 2018 à 2022.

Ses recherches portent sur des questions de modélisation mathématique et numérique, de calcul des variations et de théorie géométrique de la mesure en lien avec l’optimisation de forme, le traitement d’images, l’informatique graphique et l’intelligence artificielle.

Cycle de conférences organisé par la BnF et la Société mathématique de France

Voir cet événement

Cet événement sera diffusé sur notre chaîne Youtube et sur cette page le 18 mars à 18 h 30.

Informations pratiques

Date et Horaires

Mercredi 18 mars 2026
18 h 30 - 20 h

Accès

François-Mitterrand - Grand auditorium
Quai François-Mauriac – Paris 13^e
Entrée Est face à la rue Émile Durkheim

 

Plan et transports