« Il s’agira probablement du plus grand supercalculateur dédié à l’IA en France »

Depuis son inauguration en 2019, Jean Zay est pionnier sur de nombreux plans dans le domaine des supercalculateurs dédiés à la recherche. Sa quarantaine de tonnes, hébergée et opérée par l’IDRIS1 , a connu un bref passage en cale sèche le 5 février avant de repartir à ses simulations. Une opération de maintenance liée à un projet d’extension de sa puissance de calcul. Jean Zay a déjà connu plusieurs modifications, dont la dernière remonte à juin 2022. Elle avait permis de le faire monter jusqu’à 36,85 Pflops, soit une capacité de 36,85 millions de milliards d’opérations en virgule flottante par seconde. De quoi répondre aux besoins en calculs de très nombreux travaux de recherche.

« L’État a financé une nouvelle extension de Jean Zay à hauteur de 40 millions d’euros, via le Secrétariat général pour l’investissement (SGPI) dans le cadre du programme France 2030, précise Adeline Nazarenko, directrice de CNRS Sciences informatiques. Cela équivaut à doubler l’investissement total déjà réalisé dans le supercalculateur. L’augmentation de sa puissance de calcul est une priorité de l’État qui va bénéficier à tout l’écosystème de la recherche. Le CNRS se mobilise pour accomplir cette prouesse technique dans des délais très courts impartis par l’État pour répondre à la demande de calcul. »

Une question de processeurs

Que ce soit dans un ordinateur de bureau ou dans un supercalculateur, il existe deux grands types de processeurs : les processeurs de calcul (CPU), capables d’effectuer un large éventail de tâches, et les processeurs graphiques (GPU). Malgré leur nom, les GPU ne se limitent plus aux tâches visuelles et sont de plus en plus souvent utilisés pour accélérer les calculs sur de grands ensembles de données.

Auparavant, Jean Zay était configuré en quatre parties. La première concernait l’ensemble de ses 60 000 cœurs CPU. Les trois autres correspondent à 3 000 unités de différents modèles de GPU. L’arrêt de moins de 24 heures a servi à retirer 1 600 CPU et 1 000 des GPU les plus anciens, en préparation de l’ajout cet été de GPU plus nombreux et plus performants.

« Notre enveloppe thermique et énergétique ne nous permet pas de tout conserver, précise Denis Veynante, directeur adjoint de la Direction des données ouvertes de la recherche du CNRS (DDOR) et directeur de recherche CNRS à l’EM2C2 . Cette opération n’a enlevé que 5 % de la capacité de calcul des CPU de GENCI. Les autres supercalculateurs nationaux, comme celui du Centre informatique national de l’enseignement supérieur (CINES) à Montpellier ou du Très grand centre de calcul (TGCC) du CEA en Essonne, ont suffisamment de ressources de calcul disponibles pour compenser ce retrait. » 

Les CPU font référence depuis des décennies pour le calcul haute performance (HPC), notamment pour les simulations en science des matériaux, en climatologie, en chimie, dans le biomédical, etc. La loi de Moore, qui prédit le doublement de la puissance des processeurs tous les deux ans, a cependant heurté un plafond pour les CPU à cause de problèmes de dissipation thermique : les composants les plus performants chauffent tellement qu’il devient difficile de les maintenir à une température de fonctionnement acceptable. Les contraintes énergétiques qui planent sur nos sociétés pourraient même aboutir, à terme, à un ralentissement des investissements pour développer de nouveaux CPU.

« Les GPU sont soumis aux mêmes contraintes énergétiques mais continuent à voir leur puissance croître, notamment pour les traitements liés à l’IA, car ils reposent sur des choix d’architecture différents » explique Michaël Krajecki, directeur adjoint scientifique de CNRS Sciences informatiques, professeur à l’université de Reims Champagne-Ardenne et membre du LICIIS3 . Les GPU sont aujourd’hui capables de traiter rapidement des opérations complexes comme les algorithmes de convolutions, s’appliquant à des matrices. Cette opération est essentielle pour de nombreuses IA. »

Une meilleure prise en compte de l’IA

Le développement foudroyant de l’IA, y compris générative, a en effet aussi eu un impact sur le monde de la recherche. Ces systèmes révolutionnaires sont extrêmement gourmands en ressources GPU et demandent une puissance de calcul souvent réservée aux GAFAM4 . Permettre d’entraîner de tels modèles en France, sur un supercalculateur géré par l’État, représente donc un enjeu majeur de souveraineté nationale et européenne.

L’installation de nouvelles architectures GPU sur Jean Zay est prévue pour l’été. L’appel d’offres se termine tout juste, si bien que la puissance finale de la machine n’est pas connue. « Il s’agira très probablement du plus grand supercalculateur dédié à l’IA en France », souligne Michaël Krajecki.

« Les besoins en ressources supplémentaires sur Jean Zay connaissent une croissance exponentielle, poursuit-il. Lors de notre dernière campagne d’attribution de plages de calcul, nous n’avions qu’une heure de disponible pour quatre demandées. En plus, l’État souhaite ouvrir un accès stratégique à Jean Zay pour le monde de l’innovation. Il s’agit notamment de constituer de grands corpus de données afin d’entraîner des IA génératives. »

Le rôle croissant de l’innovation

« La communauté nationale fait un effort significatif pour cette extension, insiste Adeline Nazarenko. La moitié du temps de calcul pourra être réservée pour l’innovation. Le monde académique garde l’autre moitié, mais il faut savoir que les chercheurs et universitaires contribuent aussi activement à nombre de projets d’innovation. »

Des partenaires industriels utilisent déjà Jean Zay. Pour être éligibles, il faut qu’ils s’inscrivent dans une approche de science ouverte, par exemple, qu’ils s’engagent à publier leurs résultats ou à mettre à disposition de la communauté des chercheurs leurs algorithmes ou corpus de données. L’ouverture à l’innovation élargit le spectre des candidats, qui comprend également de nombreuses startups issues de laboratoires CNRS.

Une transition inévitable

La montée de la part de GPU dans l’architecture de Jean Zay traduit une mutation indispensable des codes. Les codes écrits pour fonctionner avec des CPU ont en effet besoin d’être adaptés aux GPU. Certains modèles utilisés depuis des décennies sont ainsi à revoir. Or les chercheurs qui les emploient ne disposent généralement pas du haut niveau de programmation nécessaire pour le faire seuls. Les grands centres de calcul comme l’IDRIS proposent un support à ses usagers, avec des ingénieurs qui assurent un environnement technique d’une grande qualité, mais il va certainement falloir apporter un soutien supplémentaire.

« Jean Zay est par exemple exploité par des chercheurs en chimie théorique qui explorent des problèmes liés à la structure des molécules, explique Jacques Maddaluno, directeur de CNRS Chimie. Ces travaux se font souvent à l’aide du logiciel professionnel Gaussian, dont la première version remonte à 1970. Il compte des centaines de milliers de lignes de code optimisées pour les CPU. Le passage aux GPU est un tournant dans l’histoire, je ne vois pas comment on pourrait y échapper. »

D’autres études concernent les calculs de mécanismes réactionnels. Ils visent à comprendre le rôle de molécules intermédiaires qui se forment lors d’une réaction chimique, mais qui sont trop fugaces pour être directement observées. De son côté, l’IA est de plus en plus utilisée en chimie des matériaux où, à partir de molécules déjà identifiées, elle propose des solutions au plus proche des propriétés recherchées. Dans tous les cas, les demandes en GPU sont croissantes.

L’exascale à l’horizon

« Sans accès à des supercalculateurs comme Jean Zay, les laboratoires devraient acheter leurs propres machines ou s’adresser à des centres de calculs étrangers, où la sûreté des données n’est pas garantie, prévient Jacques Maddaluno. Les changements en faveur des GPU suscitent cependant des résistances assez naturelles, car les chercheurs n’ont pas forcément envie de consacrer du temps et de l’énergie à réécrire des codes informatiques. Ce sera pourtant nécessaire pour répondre aux besoins en puissance de calcul. »

Le monde de la recherche va devoir également s’adapter aux supercalculateurs exascales, c’est-à-dire capables d’effectuer plus d’un milliard de milliards d’opérations en virgule flottante par seconde. L’arrivée de l’exascale en Europe va d’abord se faire en Allemagne, en 2025, avant l’inauguration du supercalculateur Jules Verne, l’année suivante, au TGCC. La communauté scientifique s’y prépare : le PEPR NumPEx5 , co-dirigé par Michaël Krajecki, vise à concevoir et développer les briques logicielles nécessaires à cette technologie qui repose elle aussi sur de nombreux GPU.

Pour Jean Zay comme pour l’exascale, la maintenance permet de bénéficier d’une puissance accrue, en phase avec les évolutions technologiques et les besoins de la recherche. Et dans les deux cas, le CNRS a déjà lancé des programmes pour accompagner les chercheurs et adapter les codes informatiques au grand virage des GPU.

• 1Institut du développement et des ressources en informatique scientifique (CNRS).
• 2Laboratoire d’énergétique moléculaire et macroscopique, combustion (CNRS).
• 3Laboratoire d’informatique en calcul intensif et image pour la simulation (URCA/CEA) 
• 4Google (Alphabet), Amazon, Facebook (Meta), Apple, Microsoft.
• 5Programme de recherche exploratoire Numérique pour l’exascale.