[BELLE HISTOIRE] Une infrastructure de calcul de pointe au service de la recherche en intelligence artificielle

L’intelligence artificielle représente un outil précieux pour de nombreux secteurs, tant et si bien que rares sont ceux, désormais, à ne pas y faire appel. Cependant, les méthodes d’apprentissage automatique, telles que le machine learning ou le deep learning, nécessitent une grande puissance de calcul. Et ce, avant même leur utilisation concrète : la phase d’entraînement, durant laquelle les algorithmes « apprennent » à résoudre le problème qui leur est soumis, requiert une immense quantité de calculs.

Ce besoin existe depuis longtemps à Télécom Paris, école composante de l’institut Carnot TSN reconnue pour son expertise en IA. Et ce qui concernait naguère essentiellement le département Image, Données, Signal (IDS), du Laboratoire de Traitement et Communication de l’Information (LTCI), s’est aujourd’hui étendu à toutes les équipes de recherche.

Plus de 190 GPU pour entraîner les algorithmes d’IA

Face à cette demande croissante, l’école s’est dotée, il y a dix ans, d’une infrastructure de calcul dédiée aux travaux reposant sur l’IA, avec le soutien de l’institut Carnot TSN. « Les premières machines sont arrivées à partir de 2016, puis la plateforme s’est continuellement enrichie chaque année », retrace Nicolas Bouché, responsable de la Cellule d’Ingénierie des Ressources de Calcul de Télécom Paris. « Elle a connu une évolution majeure il y a cinq ans, en renforçant son catalogue matériel et en passant d’une gestion par la DSI à une intégration à la direction de la recherche. »

Aujourd’hui, l’infrastructure est constituée de 78 serveurs et de plus de 190 GPU (Graphics Processing Units), pierres angulaires du développement de modèles d’IA. Pourtant, dans l’industrie informatique, les processeurs graphiques étaient initialement conçus pour l’affichage et la création d’images et de vidéos. Mais leur capacité remarquable à effectuer rapidement un grand nombre de calculs les a rendus intéressants – voire indispensables – pour l’IA, en particulier lors de la phase d’entraînement.

Grâce à cette liste fournie d’équipements de premier plan, la plateforme de Télécom Paris affiche une puissance de calcul totale de 7,3 pétaflops, soit 7,3 millions de milliards d’opérations par seconde. Un chiffre qui la positionne à la quatrième place des meilleures infrastructures disponibles à une échelle régionale. « Le soutien de l’institut Carnot TSN s’avère essentiel pour proposer un tel niveau de service », souligne Nicolas Bouché. « Il contribue en effet à financer l’achat régulier de nouvelles machines, afin de proposer des équipements récents, suivant le rythme effréné des évolutions technologiques, et donc de s’inscrire dans la durée. Un apport d’autant plus crucial que les coûts ne font qu’augmenter, tant au niveau des GPU que de la mémoire vive, également essentielle. »

Une gestion optimisée des ressources selon les demandes

Si l’infrastructure de calcul IA de Télécom Paris figure parmi les références régionales en la matière, elle n’entend toutefois pas concurrencer les supercalculateurs à l’échelle nationale. « Il s’agit de plateformes disposant de davantage de moyens et qui présentent une ambition différente », note Nicolas Bouché. « À vrai dire, notre approche est complémentaire de la leur : nous offrons, en quelque sorte, un bac à sable qui permet de tester facilement des modèles d’IA. Et si l’essai est concluant, les supercalculateurs représentent la meilleure façon de passer à l’échelle supérieure, à partir d’un code déjà éprouvé. De plus, nous mettons l’accent sur la proximité avec nos utilisateurs, que nous accompagnons dans leurs démarches. »

Pour cela, la plateforme est gérée par une équipe de quatre personnes, dirigée par Nicolas Bouché et parfaitement intégrée parmi les équipes de recherche de Télécom Paris. Et pour cause : ce sont elles – chercheuses et chercheurs, mais aussi doctorant(e)s, post-doctorant(e)s et stagiaires – qui bénéficient principalement de l’infrastructure. Les étudiants peuvent toutefois également avoir accès à une partie des équipements pour la réalisation de leurs projets.

Concrètement, les utilisateurs, une fois le code de leur algorithme écrit, peuvent demander à l’exécuter sur les ressources disponibles, selon la configuration souhaitée. « Ils ont la possibilité de choisir un ou plusieurs serveur(s) et le nombre de GPU mobilisés pour chacun », détaille Nicolas Bouché. « Afin de gérer et de répartir les demandes de façon optimale, nous passons par un logiciel, Slurm, qui joue le rôle d’ordonnanceur des ressources. De plus, l’outil informe les utilisateurs quant à la disponibilité de celles-ci, les aidant à adapter la configuration demandée en fonction de leurs besoins. »

Des règles ont, de surcroît, été mises en place afin d’éviter des phénomènes de congestion et des délais d’attente trop longs. Par exemple, un utilisateur ne peut excéder un certain nombre de projets lancés simultanément ; une ressource récente, très demandée, ne peut pas être sollicitée en continu par un même projet pendant plus d’une journée, etc.

Stockage local de données et flexibilité

Pour les équipes de recherche et les étudiants de Télécom Paris, l’infrastructure de l’école leur offre, outre ses capacités de calcul, un contrôle sur leurs données. Les informations sont en effet stockées localement, au sein de la salle des serveurs de l’établissement, située sur le plateau de Saclay. Un moyen de limiter les risques de fuite de données potentiellement sensibles ou secrètes, un danger souvent présent en cas de recours à une plateforme du marché.

Et par rapport aux supercalculateurs nationaux, l’infrastructure de calcul IA de Télécom Paris présente une plus grande souplesse. « Lorsqu’il fait appel à un supercalculateur, un utilisateur vient avec son code et l’exécute sur les machines à disposition », décrit Nicolas Bouché. « Nous proposons un fonctionnement similaire, mais avec une plus grande tolérance : les utilisateurs peuvent ajuster leur code en direct sur le GPU, ce qui offre une agilité souvent précieuse à cette étape du développement de l’algorithme. »

Par ailleurs, il est possible de privatiser certaines parties de l’infrastructure, notamment dans le cadre de projets avec des partenaires externes. « Parfois, des travaux de recherche partenariale s’accompagnent d’un financement privé, destiné à l’acquisition d’équipements spécifiques », indique Nicolas Bouché. « Ce matériel est alors intégré au sein de l’infrastructure, mais peut faire l’objet d’une partition privée, dédiée au projet en question. Et à la fin du contrat, selon ce qui est convenu, les équipements peuvent rejoindre une des partitions publiques de la plateforme. » En outre, les calculs effectués via les ressources de Télécom Paris et les résultats obtenus peuvent, bien sûr, contribuer à des projets de plus grande ampleur.

De l’infrastructure de calcul de Télécom Paris à celle d’IP Paris ?

Par exemple, le projet HI-AUDIO (Hybrid and Interpretable Deep neural audio machines) figure parmi ceux ayant bénéficié de la plateforme. Bénéficiant d’une bourse du Conseil Européen de la Recherche, il vise à développer des modèles d’IA, contrôlables et économes en ressources, appliqués aux sons. Ceux-ci pourraient alors être utilisés pour de la transcription, de la transformation ou de la synthèse des signaux sonores, notamment à des fins de séparation des sources, de génération musicale, ou encore de suppression des effets de réverbération dans les signaux de parole.

À l’heure actuelle, l’infrastructure de calcul est uniquement réservée au personnel et aux étudiants de Télécom Paris. Mais à terme, elle a vocation à s’ouvrir à toutes les équipes de l’Institut Polytechnique de Paris (IP Paris). Un mouvement déjà amorcé, puisque la salle de serveurs du plateau de Saclay accueille, depuis quelques années, des machines appartenant à l’ENSTA – autre école d’IP Paris et composante de l’institut Carnot TSN. Moins nombreuses, elles sont également gérées à l’aide du logiciel Slurm, ce qui constitue une première intégration vers une offre commune à l’ensemble d’IP Paris.

Avant de concrétiser cette ambition, l’infrastructure va continuer à être complétée chaque année. « Il est primordial de conserver une forme de régularité dans l’amélioration de la plateforme : il ne s’agit pas d’un sprint, mais d’un marathon », image Nicolas Bouché. « En ce sens, le soutien de l’institut Carnot TSN apparaît déterminant, dans la mesure où il nous permet à la fois de pouvoir investir à peu près la même somme tous les ans et de profiter d’une visibilité sur les années à venir. »