PS : Clément Dombry (Univ. Besançon) : infinitesimal gradient boosting

Chargement Évènements

« Tous les Évènements

  • Cet évènement est passé

PS : Clément Dombry (Univ. Besançon) : infinitesimal gradient boosting

8 juin / 11:30 - 12:30

Résumé : We investigate the asymptotic behaviour of gradient boosting algorithms when the learning rate converges to zero and the number of iterations is rescaled accordingly. To this aim, we introduce a new class of regression trees, that we call $(\beta,K,d)$-regression trees and work in a suitable function space that we call the space of tree functions. Our main result is a deterministic limit in the vanishing learning rate asymptotic and the characterization of the limit as the unique solution of a differential equation in an infinite dimensional function space.

Travail en collaboration avec Jean-Jil Duchamps

References:

    • Friedman, J. H. (2001). Greedy function approximation: a gradient boosting machine. Annals of statistics, pages 1189–1232.
    • Dombry, C. and Esstafa, Y. (2020). Behaviour of linear L^2-boosting algorithm in the vanishing learning rate asymptotic. arXiv:2012.14657. preprint.

Exposé en mode hybride : au choix au LMV ou en visio (lien Zoom sur demande)

PS : Clément Dombry (Univ. Besançon) : infinitesimal gradient boosting

Détails

Date :
8 juin
Heure :
11:30 - 12:30
Catégorie d’évènement:

Organisateurs

Julien Worms
Alexis Devulder