Université

'Le rang d'une université peut varier d'un classement à l'autre" Interview de D. Egret

Le

Agences et universités publient chaque année depuis les années 2000 à destination des étudiants, parents et chercheurs plusieurs classements mondiaux des universités. Daniel Egret, astronome émérite de l’Observatoire de Paris spécialisé dans les data, s’est intéressé aux algorithmes employés dès 2009 20011 alors qu’il présidait l’Observatoire de Paris. Il est l’un des premiers chercheurs français à avoir décrypté les ressorts de l’algorithme derrière classement de Shanghai. Aujourd’hui, chargé de mission référencement classement à l’Université PSL, il revient sur les critères et méthodes qui entourent les principaux classements mondiaux des universités.

PSL : Pourriez-vous rappeler quels sont les principaux classements universitaires internationaux ?

Daniel Egret : Il existe de nombreux classements universitaires internationaux : l'un des plus célèbres et des plus anciens est le classement de Shanghai (classement ARWU, de l'Université Jiao Tong, créé en 2003). C'est un classement académique (produit dans un cadre universitaire) qui utilise uniquement des données publiquement disponibles, comme le nombre de publications de l'institution dans une période récente, ou le nombre de Prix Nobel et de médailles Fields. On peut citer dans la même catégorie le classement de Leiden (CWTS, Université de Leiden) qui analyse en particulier les publications les plus fortement citées, comme indicateurs d'excellence et de réputation. Ces classements tentent principalement de mesurer l'intensité et l'impact de l'activité de recherche conduite dans les universités.
D'autres classements s'appuient sur des enquêtes de réputation effectuées auprès des universitaires et/ou des entrepreneurs et tentent de varier les indicateurs composant le classement pour capter d'autres facettes de l'activité universitaire : par exemple le taux d'encadrement des étudiants, ou le degré d'internationalisation des étudiants et des enseignants. Les plus connus et les plus médiatisés sont le classement THE (Times Higher Education) et le classement mondial des universités QS (publié par Quacquarelli Symonds). Leurs méthodologies (c'est à dire le choix des indicateurs utilisés) sont diverses et peuvent évoluer d'une année à l'autre. Une part importante est consacrée aux enquêtes de réputation qui sont parfois considérées comme des facteurs d'opacité et de fragilité. Les classements résultants, à cause des changements fréquents de méthodologie, sont moins adaptés pour mesurer les évolutions sur plusieurs années.
D'autres classements, en particulier en Asie, en Russie, ou au Moyen-Orient se sont déployés pour mettre l'accent sur telle ou telle spécificité des missions des universités.
Il faut ajouter que nombre de ces classements produisent aussi en complément des classements secondaires par domaine disciplinaire (Physique, mathématiques, etc.), ou mettant en exergue l'un ou l'autre des indicateurs utilisés dans leur classement général.

PSL : Comment et sur quels critères sont réalisés ces classements ?

D.E. : Là aussi il va nous falloir distinguer deux catégories : les classements universitaires qui s'appuient sur des données publiquement disponibles dont les plus fréquemment utilisées concernent les publications de recherche et leur impact (taux de citation); et les classements universitaires qui sollicitent des établissements la transmission d'un certain nombre de données complémentaires (ce seront par exemple des informations sur les effectifs d'étudiants et d'enseignants, les diplômes délivrés, etc.). Les classements de la première catégorie choisissent de classer les 500 ou 1000 universités les plus performantes selon leurs critères. Dans la deuxième catégorie on retrouve les classements THE et QS, ou le classement européen U-Multirank. En règle générale, pour ces classements, seules sont classées les universités et écoles qui ont transmis des données.

PSL : Entre le QS, le THE ou le US News, le rang occupé par une université peut varier de plus de 40 places. Comment expliquer ces différences ? Existe-t-il un classement plus fiable que les autres ?

Chaque classement utilise des indicateurs et des pondérations d'indicateurs différents. On pourrait comparer cela aux résultats d'un examen scolaire qui peuvent varier selon le coefficient. Seuls les rares élèves qui sont très bons partout figurent eux toujours en bonne place !

D.E. : Oui, c'est exact, le rang d'une université donnée peut varier fortement d'un classement à l'autre. C'est le cas pour l'Université PSL, comme pour d'autres.  La raison en est simple : chaque classement utilise des indicateurs et des pondérations d'indicateurs différents. On pourrait comparer cela aux résultats d'un examen scolaire qui peuvent varier selon le coefficient qu'on applique à l'épreuve de mathématiques par rapport aux épreuves de langue ou de sport : en fonction des coefficients utilisés, c'est le 'fort en maths' ou le 'fort en thème' qui sera privilégié. Seuls les rares élèves qui sont très bons partout figurent eux toujours en bonne place !
Pour les universités, les meilleurs élèves, ce sont par exemple Harvard, Princeton, Cambridge ou Oxford, qui sont dans les tout premiers rangs de chaque classement, et qui se trouvent être aussi les universités les plus richement dotées. Ensuite, selon le poids accordé par exemple à un indicateur sensible à la taille de l'établissement (un nombre brut de publications de recherche) ou à un taux d'encadrement (souvent plus favorable pour les petites institutions), une Université peut obtenir un rang bien différent dans chaque classement.
Il faut aussi se souvenir que sous le vocable d'université on rassemble, dans les classements, des institutions qui ont des tailles et des missions très différentes : entre une université de service public chargée de former une génération d'étudiants en s'adaptant à un bassin d'emploi, et une école très sélective sur un créneau disciplinaire éventuellement restreint, la comparaison peut n'être simplement pas du tout pertinente !

Le choix des indicateurs ainsi que leur pondération (coefficient) tendent aussi parfois à favoriser les établissements relevant d'un modèle universitaire national par rapport à un autre.
Pour faire face à cette difficulté certains classements, en particulier le classement européen U-Multirank, proposent à l'utilisateur de choisir lui-même la batterie d'indicateurs qui convient à sa propre situation (par exemple : je suis une étudiante qui cherche à se former à la robotique dans un pays scandinave : quelles sont les meilleures universités qui vont répondre à mes attentes ?).

Il est à noter que la question de la fiabilité et de l'homogénéité des données (par exemple entre pays ou entre systèmes universitaires différents) mérite, de façon générale, d'être regardée de près lors de toute utilisation détaillée des classements. Ceci est vrai également pour les indicateurs relatifs aux publications de recherche dans la mesure où l'affiliation des chercheurs à une institution n'est pas toujours immédiate : c'est en particulier le cas en France, où une part importante de l'activité de recherche se déroule dans des unités mixtes à plusieurs tutelles.

PSL : Le classement de Shanghai excepté, les classements semblent être en majorité réalisés par des agences ou des journaux anglo-saxons. Existe-t-il un classement européen des universités et pourrait-on imaginer un jour un classement français produit par le journal Le Monde ou Le Figaro ?

D.E. : Le mode actuel de publication scientifique et de citation de la recherche (qui joue un rôle important dans les indicateurs composant les classements) est dominé par la publication d'articles en langue anglaise dans des revues souvent historiquement liées au modèle universitaire anglo-saxon. Il n'est pas impossible que cette situation évolue prochainement avec la forte montée en puissance de la publication scientifique chinoise.
En Europe, la volonté de promouvoir un modèle européen a conduit à la création du classement U-Multirank. Mais, on l'a évoqué plus haut, ce classement 'à la carte' se prête moins à une utilisation large et médiatisée, et reste très peu connu du grand public.
Le classement de Leiden (Pays-Bas) également déjà cité est aussi un classement européen.
Pour ce qui concerne les organes de presse français, ils connaissent l'engouement des lecteurs pour toutes les formes de classement et ne manquent pas de produire régulièrement une couverture des principaux classements universitaires existants.