Skip to navigation – Site map

HomeNuméros17-4New public management et évaluati...

New public management et évaluation de la recherche publique : L’invention du « produisant »

New Public Management and Public Research Evaluation: the Institutionnalisation of the Dichotomy “publishing / not publishing”
Dominique Bessire and Pascal Fabre

Abstracts

The French agency for the evaluation of research and academic education (AERES for the French acronym) has been created in 2007, in the wave of the development of New Public Management. This agency, to evaluate research, relies mainly on the dichotomy “publishing / not publishing”. This paper proposes a critical analysis of this management tool.

Top of page

Full text

Dominique Bessire est décédée le 10 mai 2014 des suites d’une longue maladie. Que cette publication soit l’occasion pour l’équipe de FCS de rendre hommage à ses travaux et à sa mémoire.

Introduction

1À partir des années mille neuf cent soixante-dix s’affirme un discours qui promeut ce qu’il est convenu d’appeler le New Public Management1 (Hood 1991 et 1995). La mise en œuvre des principes qu’énonce ce discours va de pair avec la volonté de passer d’une gestion par les moyens à une gestion par les « résultats »2, avec une systématisation des procédures d’évaluation et la croyance qu’il est possible de mettre sous contrôle les organisations publiques sur la seule base d’un système d’indicateurs (Biondi et al. 2008). En France, la Loi organique relative aux lois de finances (LOLF) apparaît comme la traduction concrète des principes du NPM et impose dans son sillage la production d’indicateurs dans toutes les organisations sous contrôle direct ou indirect de l’État. La recherche publique n’a pas échappé à ce mouvement, avec notamment la mise en place en 2007 de l’Agence d’Évaluation de la Recherche et de l’Enseignement Supérieur (AERES), « chargée de l’évaluation des établissements d'enseignement supérieur et de recherche, des organismes de recherche, des unités de recherche, des formations et diplômes d’enseignement supérieur, ainsi que de la validation des procédures d’évaluation de leurs personnels »3.

2Nous menons dans cet article une analyse critique de la démarche d’évaluation mise en œuvre par l’AERES dans le domaine de la recherche. Notre travail s’inscrit dans un processus principalement inductif ; la problématique n’a émergé que très progressivement. Nous avons été surpris de voir la vitesse avec laquelle la notion de « produisant », s’était institutionnalisée, notamment au travers du calcul du taux de « produisants » dans les équipes de recherche ; nous avons donc voulu comprendre le phénomène. Le 1er texte de l’AERES utilisait le terme « publiant » ; les versions ultérieures faisaient référence au « produisant » ; nous avons voulu savoir à quoi correspondait ce changement de terminologie. Finalement, nous avons voulu démontrer par une critique fondée sur les connaissances produites en sciences de gestion le caractère inadapté de la notion de « produisant » au regard des objectifs affichés dans le domaine de l’évaluation de la recherche. Nous nous concentrons sur les sciences de gestion, même si nombre de remarques valent pour l’ensemble des sciences humaines et sociales, voire pour les sciences dites exactes.

3Dans une première phase, nous mettons en évidence les faiblesses conceptuelles de l’approche adoptée par l’AERES : absence d’analyse de la chaîne de valeur, méconnaissance de la systémique des indicateurs et occultation des différences entre disciplines. La démarche mise en œuvre tend en effet à réduire l’évaluation à la mesure du nombre de « produisants », supposé fournir un indicateur de « résultat ». Ces faiblesses conceptuelles résultent largement du fait que l’AERES n’a que faiblement capitalisé (Pumain et Dardel 2014, 6) sur les expériences antérieures d’évaluation et a de ce fait eu tendance à appliquer les « recettes » du New Public Management qui mettent en exergue la mesure de performance, sans avoir procédé aux analyses nécessaires à une mise en œuvre pertinente. Il a fallu attendre 2012 pour que l’AERES produise un référentiel.

4Dans une seconde phase, en mobilisant les repères théoriques proposés par les approches institutionnelles, les théories de la décision et les études « critiques » en comptabilité (Berland et Pezet 2010), nous tentons de comprendre comment le « produisant », cet instrument de gestion très imparfait au regard de ce qui est attendu d’une démarche d’évaluation, s’est malgré tout très rapidement institutionnalisé. Nous mettons en évidence les formes d’isomorphisme à l’œuvre et les usages multiples du « produisant » selon les acteurs considérés.

5Au plan méthodologique, notre démarche se distingue d’autres réflexions critiques, savantes ou non, en ceci qu’elle s’efforce d’utiliser comme seuls outils d’analyse les concepts issus de la production de connaissances en sciences de gestion. Elle adopte la posture critique et réflexive chère à Bourdieu (1980), analysée pour notre champ disciplinaire par Golsorkhi et Huault (2006). Pour ce faire, il a fallu cerner de la manière la plus précise possible le contour du « produisant », au travers principalement d’une analyse documentaire, notamment des textes produits par l’AERES, mais aussi d’observations participantes et enfin grâce à l’« attention flottante » (Wacheux 1999) consacrée à cet objet tout au long des dernières années.

1. Méthodologie et repères théoriques, contenu de la notion de « produisant »

6Dans cette section, après avoir présenté notre méthodologie et nos repères théoriques, nous analysons les textes produits par l’AERES pour définir le « produisant ».

1.1. Méthodologie et repères théoriques

7Notre recherche s’inscrit dans une démarche inductive et est principalement fondée sur l’analyse documentaire, notamment des textes produits par l’AERES, l’observation participante et l’attention flottante (Wacheux 1999). Elle mobilise quelques-uns des repères théoriques fournis par le néo-institutionnalisme. Cette première section explique aussi en quoi le « produisant » peut être considéré comme un instrument de gestion.

8Les méthodes de collecte des données sont détaillées dans l’encart ci-dessous.

Méthodes de collecte des données

Les auteurs appartiennent à deux Universités différentes de province, de taille moyenne (moins de 20 000 étudiants). Dans la suite du texte, nous appellerons la première Université, Université X et la seconde Université Y. L’Université X, malgré sa taille relativement modeste, a développé en sciences dures plusieurs domaines d’excellence qui lui ont permis de bénéficier des financements inscrits dans le programme Investissements d’avenir (voir plus loin).

Les auteurs ont essentiellement mobilisé l’analyse documentaire, l’observation participante et l’« attention flottante » (Wacheux 1999) consacrée à cet objet tout au long des dernières années. Pour ce qui est de l’observation participante, un des auteurs a été membre du Conseil d’administration de l’Université X de novembre 2011 à novembre 2012, du Conseil scientifique de cette même Université de 2004 à 2007, en tant que directeur de son équipe de recherche, puis en tant que directeur d’un Institut Thématique Pluridisciplinaire regroupant droit et gestion de septembre 2012 à janvier 2013 et enfin de la section 06 du CNU entre novembre 2011 et mai 2012 (démission pour incompatibilité avec la qualité de membre du CA de son Université). Il était également présent lors de la visite du comité AERES chargé de l’évaluation de son unité de recherche en décembre 2010. L’autre auteur participe depuis le début de l’année universitaire 2013-2014 à un comité chargé de l’évaluation dans la section établissements.

  • 4 Nous n’avons laissé en bibliographie que les articles et ouvrages scientifiques.

La recherche documentaire a porté principalement sur les textes produits par l’AERES recueillis au fil des ans (les premiers textes ne sont plus en ligne aujourd’hui) et diverses instances impliquées peu ou prou dans l’évaluation de la recherche, IGAENR, CNU, FNEGE, SFM… La liste de ces documents4 est fournie en annexe. Les auteurs ont également lu les rapports AERES d’un échantillon aléatoire d’équipes de recherche dédiées à titre principal aux sciences de gestion ; la liste de ces équipes est disponible sur le site : https://www.google.fr/​#q =Unit %C3 %A9s+de+recherche %2C+de+la+discipline %3A+Science+de+gestion, consulté le 03/02/2014. Nous avons pris un rapport sur trois dans cette liste soit 10 laboratoires sur 28.

Quant à l’ « attention flottante », elle repose sur des discussions régulières avec un collègue qui en 2012-2013 pilotait pour l’AERES le comité chargé de l’évaluation d’un établissement de taille importante et qui a été détaché à l’AERES en septembre 2013 à titre d’expert permanent et s’appuie aussi sur des échanges informels avec des collègues, soit au sein des Universités d’appartenance, soit lors de congrès, jurys de thèse et d’HDR.

9Le « produisant » nous semble devoir être considéré comme un instrument de gestion. Bourguignon (2006 p. 10) définit l’instrument de gestion comme « un ensemble de formalisations et de procédures associées, reposant sur (et opérationnalisant) des règles, généralement mis en œuvre à l’aide d’un outil informatique et qui assiste à des titres divers, d’une façon explicite ou non, la conduite de l’action collective ». Le « produisant » satisfait à cette définition. Il s’inscrit dans une procédure formalisée, qui se traduit par la production d’un rapport détaillé rédigé par les comités d’experts de l’AERES chargés d’évaluer les unités de recherche, sous la supervision des délégués scientifiques affectés à chaque discipline ; il repose sur des règles précises de décompte du nombre de publications elles-mêmes inscrites sur une liste officielle ; il s’inscrit dans l’action collective au titre de l’évaluation de la recherche publique. Il mobilise l’outil informatique : les informations (bilan et projet) du document de contractualisation soumis à l’AERES se présentent sous forme de fichiers word pour la partie descriptive et de fichiers excel pour les données quantitatives. Les rapports de l’AERES pour chaque unité de recherche se présentent sous forme de fichiers Pdf. Les fichiers excel se prêtent bien à des traitements statistiques ; l’AERES présente par exemple à la fin de chacun de ses rapports la distribution des notes par grand champ disciplinaire. L’AERES envisage actuellement (2014) l’utilisation d’outils d’analyse textuelle sur les rapports qu’elle produit ; jusqu’à présent, chaque rapport est relu par un binôme qui procède à un codage.

10Berry (1983, p. 3) de son côté englobe dans les instruments de gestion « des outils matériels, comme un ordinateur par exemple ; des outils conceptuels comme un taux d’actualisation pour étudier l’intérêt d’un investissement ; des outils d’aide à la décision complexes comme un modèle de marketing pour étudier le marché potentiel d’un nouveau produit ; des dispositifs aux ramifications nombreuses, comme un système de contrôle de gestion ; des procédures instituant des cheminements obligatoires pour des dossiers, imposant des règles sur leur mode d’élaboration, etc. ».

11Le « produisant » est à ranger dans la catégorie des outils conceptuels tandis que le processus d’évaluation par l’AERES relève d’un dispositif « aux ramifications nombreuses » et de « procédures instituant des cheminements obligatoires pour des dossiers, imposant des règles sur leur mode d’élaboration, etc. » 

12Enfin, dans le domaine du management public, Lascoumes et Le Galès (2005, p. 12) entendent plus spécifiquement « par « instrumentation de l’action publique » l’ensemble des problèmes posés par le choix et l’usage des outils (des techniques, des moyens d’opérer, des dispositifs) qui permettent de matérialiser et d’opérationnaliser l’action gouvernementale. Ils indiquent (ibid., p. 14) que les sciences de gestion tout « en utilisant de façon équivalente les termes de “dispositif ”, “outil” et “instrument” […] s’accordent pour dire qu’ils sont tous formés cependant de trois composantes : un substrat technique, une représentation schématique de l’organisation et une philosophie gestionnaire (Tripier 2003, p. 28) ». Ici le substrat technique est constitué par le décompte du nombre de produisants, avec une représentation standardisée de l’EC supposé implicitement consacrer son temps de travail pour moitié entre recherche et formation et une philosophie gestionnaire qui met l’accent sur la mesure de la performance, et plus spécifiquement la performance quantifiée.

13Les textes produits par l’AERES auraient pu rester lettre morte, ses évaluations enterrées dans des tiroirs et le « produisant » disparaître des discours. Pourtant, le « produisant », cet instrument inventé par une organisation disposant somme toute d’une faible légitimité (cf. sur un plan théorique Suchman 1995 ; sur un plan empirique Brafman et Rey-Lefevre 2013), s’est institutionnalisé en quelques années. Nous analysons ci-après ce paradoxe en mobilisant les repères théoriques fournis par les approches institutionnelles (« historiques » et « néo-institutionnelles » ) ; nous nous inscrivons plus précisément dans le courant des travaux les plus récents qui tentent d’en proposer une vision intégrative (Hirsch et Lounsbury 1997), en ceci qu’ils restaurent le rôle des acteurs et s’éloignent du déterminisme qui avait pu présider aux premiers travaux néo-institutionnels. Nous retiendrons pour les besoins de notre analyse quatre concepts mobilisés par ces approches : champ organisationnel, légitimité, isomorphisme et institution. La délimitation du champ organisationnel nous permettra ici d’identifier les principaux acteurs (gouvernement, Ministère de l’Enseignement supérieur et de la Recherche (MESR), AERES, Centre national de la recherche scientifique (CNRS), Conseil national des universités (CNU), établissements d’enseignement supérieur de recherche, chercheurs et EC). Ces acteurs ne sont pas seulement à la recherche d’efficience (entendue ici au sens le plus large) mais aussi de légitimité, même si à terme un surcroît de légitimité permet d’améliorer l’efficience, par exemple par un accès moins coûteux et plus aisé aux marchés du capital et du travail. Pour ce faire, ces acteurs peuvent déployer des comportements d’isomorphisme. DiMaggio et Powell (1983) distinguent trois types d’isomorphisme : normatif, coercitif et mimétique. L’isomorphisme mimétique désigne la tendance des organisations, en situation d’incertitude, à copier le mode de fonctionnement de leurs homologues les plus performants (au lieu de chercher des solutions originales). L’isomorphisme coercitif désigne l’alignement des comportements imposé à des acteurs par un autre acteur (souvent une puissance publique) par l’intermédiaire des lois et règlements, des règles d’attribution des financements public ou des attentes culturelles, en particulier lorsque ces acteurs ne partagent pas les mêmes valeurs et les mêmes cadres cognitifs. L’isomorphisme normatif désigne l’homogénéisation des comportements issue des normes professionnelles par l’intermédiaire du système éducatif et des réseaux professionnels. L’institutionnalisation du « produisant » apparaît comme la combinaison complexe de ces trois formes d’isomorphisme qui se déploie en cascade à plusieurs niveaux, du plus global au plus individuel, par contagion géographique et disciplinaire.

1.2. De la démarche d’évaluation de la recherche publique à l’indicateur « nombre de produisants » : un processus de réduction « en accordéon »

14Dès l’année de sa création, en 2007, l’AERES publie un document de trois pages intitulé « Critères d’identification des chercheurs et enseignants-chercheurs « publiants » ». Sa doctrine est exposée de façon assez sommaire dans un préambule de sept lignes : « L’activité d’une unité de recherche fait l’objet d’une appréciation qualitative fondée principalement sur l’évaluation par les pairs, complétée par un certain nombre d’indicateurs aussi objectifs que possible. À l’estimation globale de la qualité de la production scientifique et du rayonnement d’un laboratoire, s’ajoute la prise en considération de l’organisation et de la répartition des travaux entre ses membres. L’un des indicateurs est une estimation de la proportion des chercheurs et enseignants-chercheurs « publiants » ». Les finalités de cette évaluation ne sont pas explicitées.

  • 5 L’AERES a publié le 01/10/2012 une version légèrement amendée du document de 2010 sous le même titr (...)

15En 2010, l’AERES produit une nouvelle version du document intitulée « Critères d’identification des chercheurs et enseignants-chercheurs « produisant en recherche et valorisation » ». La comparaison des deux versions montre que le seul changement opéré est celui portant sur la désignation du chercheur ou de l’EC : de « publiant », il devient « produisant en recherche et en valorisation ». Pour le reste, les deux versions sont strictement identiques, alors qu’une croyance probablement assez répandue au sein de la communauté scientifique voudrait que l’AERES, en changeant la dénomination, ait élargi les critères5. Le texte de l’AERES de 2010 propose la définition suivante : « est considéré comme chercheur ou enseignant-chercheur « produisant en recherche et valorisation », celui qui, dans le cadre d’un contrat quadriennal, satisfait à un nombre minimal de « publications » » qui relèvent d’une « production scientifique de rang A ». Un tableau précise par champ disciplinaire ce nombre ; en sciences de l’homme et de la société (SHS), domaine dont relèvent les sciences de gestion, il est égal à 4 pour un chercheur et 2 pour un EC.

16L’AERES définit ce qu’elle considère comme une « production scientifique de rang A » : en SHS, « une publication dans une revue internationale avec comité de lecture (ou une revue considérée comme de très bon niveau par la communauté dans certaines disciplines), un chapitre d’ouvrage ou un ouvrage de recherche […] de portée nationale, un article long dans un congrès international à comité de sélection considéré comme sélectif par la communauté, […] ». En revanche elle ne retient pas la participation à des colloques « comme élément pertinent d’appréciation ». L’AERES ne précise pas quelle différence elle fait entre colloques et congrès internationaux. Elle mentionne (2010, p. 2) que « pour le secteur STIC ou SHS, un article long dans un congrès international à comité de sélection considéré comme sélectif par la communauté est considéré comme production scientifique de rang A ». Quelques lignes plus bas, il est écrit qu’ « il est clair que la participation à des colloques est un indice de l’activité scientifique, mais la très grande variabilité qualitative de l’évaluation des actes de colloques ne permet pas de les retenir comme élément pertinent d’appréciation ». Les versions ultérieures gardent la même formulation. Il n’est certes pas aisé de définir des critères objectifs de qualité, mais la communauté scientifique dans une discipline (ou plutôt sous-discipline en sciences de gestion) est capable de différencier les colloques et congrès de bon niveau des autres (ce que reconnaît d’ailleurs le référentiel AERES 2013) ; les congrès disciplinaires nationaux (AFC, AFM…) sont à notre avis d’une qualité similaire à celle de certains congrès internationaux. La qualité du processus de sélection des communications et la présence de discutants nous paraissent des éléments essentiels. L’accès à des congrès internationaux est par ailleurs très dépendant du degré de maîtrise de l’anglais. Peut-être le taux de sélection serait-il un indicateur pertinent, mais il est assez rarement disponible.

17Le texte de l’AERES ménage de nombreuses ouvertures. Ainsi, « le nombre est à pondérer en fonction du contexte défini par [la] situation [du chercheur ou de l’EC] dans la carrière et son engagement dans des tâches d’intérêt collectif pour la recherche. La mesure chiffrée de cette production est complétée par d’autres indicateurs tels que : le rayonnement scientifique […], la participation active à des réseaux et programmes nationaux et internationaux, la prise de risque dans la recherche (notamment aux interfaces disciplinaires), l’ouverture vers le monde de la demande sociale, les responsabilités dans la gestion de la recherche (nationales, internationales) ou dans la publication de revues (rédacteur en chef) ou de collections internationales (directeur), l’investissement dans la diffusion de la culture scientifique, la recherche appliquée ou l’expertise ».

18Il est précisé en outre un peu plus loin (p. 3) que « les prises de responsabilités scientifiques et administratives importantes peuvent compenser une production scientifique modeste ». Les versions ultérieures ne comportent pas de changement par rapport à cette formulation initiale. L’AERES ne mentionne aucun seuil et n’indique pas le type de responsabilité. À titre d’exemple, dans l’Université où un des auteurs exerce, le Conseil d’administration (CA) donne à chaque composante (Faculté, IUT) une enveloppe permettant d’accorder des décharges d’heures d’enseignement pour « rémunérer » certaines fonctions très consommatrices de temps (par exemple directeur d’un diplôme en apprentissage, chargé de mission pour l’international). Le directeur de composante a toute liberté pour répartir cette enveloppe ; il doit veiller à l’équité pour éviter les situations conflictuelles. La décharge relative aux fonctions de directeur de composante est décidée par le CA. Le système permet ainsi d’éviter d’avoir à définir des seuils quantifiés en nombre d’heures TD.

19Mais dès 2007, l’AERES publie une liste de revues SHS (sur le site actuel de l’AERES, c’est le seul champ disciplinaire pour lequel une telle liste apparaît au 20/03/2013). En sciences de gestion, l’AERES reprend la liste commune économie-gestion proposée par la section 37 économie-gestion du CNRS. Nous ne développerons pas ici les critiques qui ont été formulées à l’encontre de cette liste et du classement qu’elle opère, ainsi que les contre-propositions qui ont pu être formulées. Nous renvoyons le lecteur aux analyses, en sciences de gestion, de la Société Française de Management (SFM 2009, 2011 a et b), de la Fondation Nationale pour l’Enseignement de la Gestion des Entreprises (FNEGE 2010), à l’éditorial rédigé par Charreaux et Gervais, intitulé « La piste aux étoiles » dans la revue Finance Contrôle Stratégie (2007), à l’article d’Osterloh et al. (2008) et, toutes disciplines confondues, à celui de Putnam (2009).

20Dans la pratique, l’AERES a adopté, tout au moins en sciences de gestion, une acception très restrictive de la « production scientifique de rang A ». C’est bien pour cela que la SFM et la FNEGE se sont fortement mobilisées. Nous avons pu nous-mêmes en faire le constat. A l’occasion de la visite du comité AERES de l’unité de recherche à laquelle appartient un des auteurs, le délégué scientifique en charge des disciplines des sciences économiques et de gestion a procédé au décompte du nombre de « produisants ». Le chiffre apparaissant dans le rapport AERES a mis en évidence qu’il n’avait retenu, à quelques très rares exceptions près, que ceux qui avaient publié deux articles dans des revues classées ; en outre, les publications dans des revues classées hors économie-gestion (c’est le cas notamment de la psychosociologie qui pourtant entretient des liens étroits avec le marketing et la gestion des ressources humaines) ont purement et simplement été écartées, alors que le texte de l’AERES mentionnait explicitement, nous l’avons vu, « la prise de risque dans la recherche (notamment aux interfaces disciplinaires) ».

21Au terme de ce processus, la démarche d’évaluation s’est ainsi réduite à une simple mesure, fournie par le décompte du nombre de « produisants». La dimension plus qualitative et plus intégrative de l’évaluation menée par les comités AERES, qui se traduit par la rédaction d’un rapport détaillé, a été très largement occultée.

2. Le « produisant » : analyse technique et critique d’un instrument de gestion

  • 6 Bessire (1999) considère que la performance au sens large inclut pertinence, cohérence et performan (...)

22Nous analysons ci-après, au regard d’une finalité évaluative, en mobilisant des connaissances communément admises en sciences de gestion, les faiblesses conceptuelles de cette démarche en utilisant des modèles « classiques » en sciences de gestion, chaîne de valeur (Porter 1982) et systémique des indicateurs (Malleret 2004). Nous nous interrogeons successivement sur la pertinence de cette démarche, sa cohérence et l’outil de mesure de performance qu’elle mobilise. Nous retenons de ces termes la définition proposée par Bessire (1999). Pour la pertinence, il s’agit de savoir si les actions vont dans le sens choisi et si le choix de ce sens est judicieux. La pertinence renvoie à des choix politiques (cette expression devant être prise dans son acception la plus générale), à des finalités et à un système de valeurs ; elle fait très largement appel à une dimension subjective. Pour la cohérence, il convient de s’assurer que les actions s’inscrivent dans un dispositif logique et ordonné. La cohérence fait référence à la stratégie, encore une fois au sens le plus général, qui déploie des choix politiques dans des dispositifs concrets ; elle a une dimension rationnelle et s’apprécie au moyen de modèles (par exemple dans un projet, la cohérence temporelle s’apprécie grâce à des modèles d’ordonnancement). Enfin pour la performance (au sens étroit du terme6), il s’agit de mesurer la progression dans le sens retenu et la qualité du rapport entre résultats et moyens. La performance au sens étroit fait appel à la mesure des résultats ; elle a une fonction d’objectivation, mais qui ne prend son sens que sous conditions préalables de pertinence et de cohérence.

23La pertinence de la démarche d’évaluation de l’AERES paraît difficile à apprécier de prime abord, puisque ses finalités n’ont jamais été explicitées dans un document détaillé. La présente section met en évidence l’absence de cohérence du dispositif au regard de ce qu’on pourrait attendre d’une démarche d’évaluation, en détaillant la chaîne de valeur dans laquelle s’insère l’activité de publication dans des revues classées, et le caractère réducteur de la mesure de performance, en analysant la systémique des indicateurs.

2.1. Cohérence : « désencastrement » de l’activité de publication dans des revues classées hors de la chaîne de valeur

24L’EC a en principe trois missions : enseignement, recherche et administration (de la recherche ou de l’enseignement). La démarche d’évaluation de l’AERES opère un premier « désencastrement » en isolant la recherche des autres missions de l’EC. En mettant en exergue, tout au moins en sciences de gestion, la publication dans des revues classées, elle procède à un deuxième « désencastrement » en extrayant cette activité de la chaîne de valeur (Porter 1982) complexe des activités de recherche. C’est cette chaîne de valeur que nous avons tenté de représenter dans le schéma ci-après qui a une vocation analytique. Ducrocq et Gervais (2013) ont montré toutes des difficultés de mesure du temps consacré par les EC aux différentes activités. La répartition par ailleurs varie d’un EC à un autre, pour un EC donné selon les périodes et selon l’étape de la carrière à laquelle il se trouve : il faut par exemple être titulaire de la HDR pour diriger des doctorants ; généralement la direction d’une équipe de recherche est confiée à un enseignant-chercheur chevronné. Elle varie aussi avec la nature de l’UFR d’accueil, le nombre d’EC au sein de l’Université, l’importance du soutien administratif.

25Nous donnons quelques exemples de problématiques (Nikitin 2006) : intégration / différenciation (Lawrence et Lorsch 1974) centraliser / décentraliser. La méthode ABC, le balanced scorecard font partie des instruments de gestion ; la gestion par les objectifs relève d’un dispositif de gestion.

26L’examen de ce schéma permet de dresser plusieurs constats. Le discours officiel confond production scientifique (qui peut se matérialiser ou pas par des écrits ; il suffit de songer aux cours dispensés au Collège de France qui ne sont pas nécessairement retranscrits) et valorisation.

Figure 1 : La recherche, une chaîne de valeur complexe

Figure 1 : La recherche, une chaîne de valeur complexe

Source : les auteurs

27La valorisation elle-même prend des formes très diverses qui ne se réduisent évidemment pas à la publication dans des revues classées et ne se limitent pas au public constitué par les chercheurs et EC.

28L’activité centrale de production scientifique ne peut en outre se dérouler et se pérenniser indépendamment de toute une gamme d’activités de soutien qui présentent deux particularités : elles ne peuvent être correctement assurées que par des chercheurs ou EC, ou sous leur supervision étroite ; elles sont étroitement interdépendantes (si plus aucun chercheur n’accepte de réviser d’article, l’existence de revues classées, dans son modèle actuel, est condamnée ; si aucun n’accepte d’encadrer de doctorants, le renouvellement des équipes n’est pas assuré). Finalement l’activité de publication d’articles dans des revues classées ne représente qu’une toute petite partie de la chaîne de valeur.

2.2. Performance : occultation de la systémique des indicateurs

29L’un des leitmotiv du NPM a été de passer d’une logique de « moyens » à une logique de « résultats ». La LOLF en France est emblématique de cette démarche et a contraint les administrations publiques à produire des batteries d’indicateurs de « résultats ». Sans le développement de cette instrumentation de gestion, les principes du NPM ne seraient probablement restés qu’à l’état de discours. L’action publique, comme le montrent Lascoumes et Le Galès (2005), a aujourd’hui besoin pour être mise en œuvre d’une instrumentation spécifique.

30Nous nous inspirons largement dans le schéma suivant (figure 2) du modèle proposé par Malleret (2004) pour analyser les différentes étapes du processus de transformation afin de mettre en évidence la confusion sous le terme général « résultats » entre extrants (en anglais outputs) et impacts (outcomes) et de manière plus générale l’occultation de la systémique des indicateurs.

31Les finalités (ou la mission), autrement dit la politique poursuivie, influencent tous les maillons du processus de transformation. Elles se traduisent le plus souvent sous forme d’objectifs à atteindre en termes d’extrants (outputs) et d’impacts (outcomes) souhaités ; elles conditionnent le choix des intrants, des moyens utilisés et de leur mode de mise en œuvre. L’environnement est également susceptible d’affecter chacun des maillons du processus de transformation.

32Le discours public promu par le NPM qui valorise le passage d’une logique de moyens à une logique de « résultats » entretient une confusion entre extrants et impacts. Rappelons que l’objectif ultime de l’action publique n’est pas un extrant (output), mais un impact (outcome), en d’autres termes la création d’une externalité positive. Le nombre de kilomètres d’autoroute construits ne dit pas grand-chose des impacts d’une politique publique ; ce qui importe, c’est de savoir si cette nouvelle voie a permis d’améliorer la sécurité routière, de désenclaver une région, de stimuler son dynamisme économique... Les impacts négatifs (effets collatéraux) méritent également d’être appréhendés. Quelles sont les nuisances pour les riverains ? La nouvelle autoroute et l’augmentation du trafic qu’elle a générée ont-elles contribué à une augmentation des gaz à effet de serre ? Des espèces rares ont-elles été fragilisées ? La valorisation dans le discours sur le NPM des « résultats » - en fait des extrants - présume un lien positif entre extrants et impacts, mais se donne rarement les moyens de valider cette présomption.

Figure 2 : Modélisation du processus de transformation et indicateurs

Figure 2 : Modélisation du processus de transformation et indicateurs

Note : chaque rectangle noir correspond à un type spécifique d’indicateurs.

Source : adapté de Malleret (2004)

33Dans le cas de la recherche publique, le « résultat » nombre de « produisants » mesure des extrants, mais non des impacts : il ne nous renseigne pas sur la qualité de la recherche et ses effets sur le tissu socio-économique. Il est vrai que les indicateurs d’impact, au contraire des autres indicateurs, sont particulièrement difficiles à calculer, car ils expriment des phénomènes dont la dimension qualitative est forte et qui ne prennent leur sens que sur le long terme. C’est particulièrement vrai dans le domaine de la recherche (Démil et al. 2007, p. 42).

34L’impact par ailleurs n’est pas apprécié de la même façon par les différentes parties prenantes. Là où la construction d’une centrale nucléaire sera vue par l’État comme un moyen de limiter la dépendance énergétique, par une collectivité territoriale comme une opportunité pour la création de nouveaux emplois, elle sera perçue par les défenseurs de l’environnement comme un risque inacceptable et par les riverains comme une menace sur leur santé. L’indicateur « nombre de « produisants»» ne s’adresse, au moins en sciences de gestion, qu’à une seule catégorie de parties prenantes, les chercheurs et EC. Il s’agit donc d’un indicateur qui ignore les autres parties prenantes que sont les décideurs d’aujourd’hui, c’est-à-dire les managers, et les décideurs de demain, c’est-à-dire les étudiants.

35Enfin la démarche d’évaluation qui se concentre sur le décompte du nombre de « produisants » laisse de côté les indicateurs de moyens et ne se donne donc pas la possibilité d’apprécier une quelconque efficience. Il faut noter que les rapports AERES restituent de manière standardisée l’intégralité des données numériques fournies dans le fichier excel transmis à l’agence dans le dossier de contractualisation (onglets 2.1 à 2.10 sur les effectifs, le nombre de thèses et d’HDR soutenues) à l’exception des données relatives aux surfaces et aux ressources (ministère, projets de recherche gérés par diverses instances - collectivités territoriales, administrations publiques, Agence nationale de la recherche, instances européennes -, contrats de recherche-intervention passés avec différentes organisations publiques ou privées…) sur les quatre dernières années (onglets 3.1. et 3.2.). Les exceptions concernent des laboratoires en restructuration ou organisés par équipes nettement différenciées. Il est mentionné ça et là un manque de locaux, un soutien administratif insuffisant ou un budget renforcé par des contrats de recherche, mais sans aucune quantification. Il nous semble qu’il serait intéressant de connaître le ratio ressources / EC.

3. Le « produisant » : de l’instrument pour évaluer à l’instrument pour discipliner

  • 7 Le terme comptabilité doit ici être entendu dans son sens anglais qui renvoie à tout dispositif de (...)

36Pour comprendre les enjeux qui se cachent derrière cette institutionnalisation du « produisant », nous mobiliserons les apports des études « critiques » en comptabilité7. Nous utiliserons plus précisément un cadre d’analyse emprunté aux travaux de Burchell et al. (1980), eux même inspirés de ceux de Thompson et Tuden (1959) sur la prise de décision (tableau 1). D’après ces auteurs, mode de prise de décision, type de structure chargée de l’application et mode d’utilisation des outils comptables sont liés et vont varier ensemble en fonction de deux paramètres : les incertitudes ou les désaccords quant aux représentations que se font les acteurs des relations de cause à effet (le mode de production), ces représentation pouvant d’ailleurs être erronées ; les incertitudes ou les désaccords quant aux objectifs que doit poursuivre l’organisation, les intérêts ou les visions des parties prenantes pouvant être très divergents.

37Appliqué à notre problématique, ce modèle nous indique qu’une utilisation cybernétique « classique » des instruments comptables n’est envisageable (case A) que lorsque les objectifs politiques à atteindre et les activités pour les accomplir sont simples (ce qui a priori ne correspond pas à une activité comme la recherche). Lorsque les objectifs sont clairs mais les moyens de les mettre en œuvre incertains, les instruments comptables peuvent être utilisés pour apprendre et mieux appréhender les relations de cause à effet, mais ils ne peuvent être utilisés de manière mécanique pour atteindre les objectifs préfixés (case B). En outre, lorsque les objectifs mêmes de ces politiques sont complexes et incertains, les représentations comptables peuvent être utilisées par chaque acteur pour favoriser ses intérêts (case C) ou dans une optique de justification rhétorique (au nom de la rationalisation, ou de la démocratisation) des décisions prises (case D).

38Cette grille de lecture peut être appliquée au cas spécifique du « produisant » et au décompte du nombre de publications dans des revues classées qui le sous-tend. Même en admettant qu’il existe un consensus sur les objectifs de la recherche publique (ce qui n’est pas évident si l’on va au-delà d’une finalité exprimée en termes généraux), il est bien établi que le processus de transformation est multiforme (quoi de commun, pour ne prendre qu’un exemple, de cette hétérogénéité, entre la recherche qui se fonde sur l’utilisation de bases de données et celle qui implique une plus ou moins longue immersion dans des organisations ?). Ce processus reste par ailleurs impossible à décrire de manière suffisamment fine et complète ; par ailleurs, l’activité et les extrants en matière de recherche, comme nous l’avons vu ci-dessus, sont d’une grande hétérogénéité, ce qui rend toute mesure agrégée problématique.

Tableau 1 : Synthèse des matrices de Thompson et Tuden (1959) et Burchell et al. (1980)

Incertitude ou désaccord sur les objectifs

faible

élevée

Incertitude

ou

désaccord

sur la

modélisation des relations de causes à effets

faible

Mode de décision : le calcul (A)

mise en œuvre de préférence par une structure bureaucratique

(+ ou – une bureaucratie mécaniste)

à l’aide d’un système comptable

de type « machine à mesurer »

utilisé de façon mécanique pour prendre des décisions et mesurer la performance.

Mode de décision : la négociation (C)

mise en œuvre de préférence par

une structure de représentativité

+ ou – une organisation politique

à l’aide d’un système comptable

de type « machine à convaincre »

utilisé pour promouvoir des intérêts spécifiques, l’information étant sélectionnée en fonction de la cause défendue pour convaincre les autres parties prenantes.

élevé

Mode de décision : le jugement (B)

mise en œuvre de préférence par une structure de collégialité

(+ ou – une bureaucratie professionnelle)

à l’aide d’un système comptable

de type « machine à comprendre »

utilisé pour faire des analyses de sensibilité et mieux appréhender le fonctionnement de l’organisation.

Mode de décision : l’inspiration (D)

mise en œuvre de préférence par une structure anomique

+ ou – une adhocratie

à l’aide d’un système comptable

de type « machine à légitimer »

utilisé pour justifier les actions déjà décidées sur la base de chiffres du passé sélectionnés en fonction des intérêts à sauvegarder

Source : les auteurs

39Nous montrons ci-après que les divergences d’objectifs entre parties prenantes entraînent des positionnements très différents au sein de la matrice et donc une utilisation différenciée du même outil comptable selon le niveau considéré.

3.1. « Le nombre de « produisants » : un objectif simple pour traiter un problème complexe

  • 8 Durand et Dameron développent cette argumentation pour les écoles de management (business schools), (...)

40La mondialisation n’a pas seulement affecté l’économie, elle a eu aussi un impact fort sur la recherche et son évaluation. Tant que la compétition restait « nationale ou limitée à la zone traditionnelle d’influence d’un pays, […] il existait de facto un classement informel des institutions […] au sein de cette aire géographique et culturelle. […] Mais quand la compétition est devenue globale, il a fallu trouver des moyens de s’y retrouver tels que les classements de l’Université de Shangai ou du Financial Times ou les mécanismes d’accréditation (Durand et Dameron8 2011, p. 560, notre traduction). Les classements (rankings) sont devenus des institutions au sens sociologique du terme, c’est-à-dire « un ensemble plus ou moins coordonné de règles et de procédures qui gouverne les interactions et les comportements des acteurs et des organisations » (Lascoumes et Le Galès 2005, p. 15, se référant à North, 1990) au même titre que le recensement ou la cartographie. En effet, les classements « déterminent en partie la manière dont les acteurs se comportent », « leur offrent des ressources », en privilégient certains et en écartent d’autres et « véhiculent une représentation des problèmes » (Lascoumes et Le Galès 2005, p. 16).

41Cette institutionnalisation des classements (qui eux aussi remplissent toutes les caractéristiques d’instruments de gestion) a fourni à l’action publique les moyens de sa politique. Nous avons vu que l’AERES n’avait jamais détaillé sa doctrine et le système de valeurs qui sous-tendait sa démarche d’évaluation. En tant qu’agence gouvernementale, elle n’est toutefois que l’agent, comme son nom l’indique, de l’action publique. C’est à ce niveau qu’il faut rechercher les finalités. Or, le gouvernement de l’époque, sous la présidence Sarkozy, avait engagé un train de réformes sur l’Enseignement supérieur et la Recherche dont l’objectif affiché était notamment de dynamiser la recherche (recherche d’efficience au sens des approches néo-institutionnelles). Il était aussi extrêmement soucieux de pouvoir afficher rapidement les résultats de son action (quête de légitimité). Dans ce cadre, la progression des établissements français dans le « classement de Shanghai » (http://www.shanghairanking.com) lui a permis lui de définir de façon simple ses priorités politiques en matière de recherche publique, en véhiculant une information qui est formatée de façon adéquate pour le grand public, mais qui fait l’impasse sur les enjeux plus complexes et nécessairement conflictuels de la politique en matière de recherche. La rhétorique mise au service de cet objectif (la mondialisation, la recherche de l’excellence) lui donne des airs d’évidence et le rend difficilement contestable. En 2007, Valérie Pécresse, alors ministre de l’Enseignement supérieur et de la Recherche, déclarait en effet devant le Sénat que ce classement « était certes critiquable mais que puisqu’on ne pouvait changer les indicateurs dont nous n’étions pas maîtres, il valait mieux les retourner en notre faveur. […] C’est la mondialisation. On ne peut s’en abstraire et nous devons donc gagner des places, ce qui n’est pas contraire à l’exigence d’excellence de l’université française ».

  • 9 Il existe une littérature scientifique abondante qui critique ce classement (voir par exemple Gingr (...)
  • 10 Le « classement de Shanghai » est d’ailleurs le premier argument avancé par le ministre de l’Enseig (...)
  • 11 Dans les versions.2007 et 2010 des « Critères d’identification des chercheurs et enseignants-cherch (...)

42Ce « classement de Shanghai » repose sur six indicateurs (les quatre premiers ont un poids respectif de 20 %, les deux derniers un poids respectif de 10 %) : le nombre des membres du corps universitaire ayant reçu un prix Nobel ou une médaille Fields, le nombre de chercheurs de l’établissement parmi la liste des « plus cités » de Thomson Reuters, le nombre d’articles de l’établissement publiés dans les revues Nature et Science, le nombre total d’articles recensés dans le Web of Science de Thomson Reuters (Science citation index d’une part et Arts & Humanities citation index d’autre part), le nombre d’anciens étudiants ayant reçu un Nobel ou une médaille Fields, et enfin l’ajustement des résultats précédents par la taille de l’établissement (la somme pondérée des cinq indicateurs est divisée par le nombre de chercheurs équivalent temps plein)9. Les seuls leviers sur lesquels il est possible d’agir, en dehors de l’augmentation de la taille des établissements10 et du recrutement nécessairement coûteux de lauréats du prix Nobel ou de la médaille Fields, est le nombre total d’articles recensés dans les revues Nature et Science11, ainsi que dans le Web of Science de Thomson Reuters.

43Un tel classement fondé sur des indicateurs de « résultats » (en fait des extrants) s’avère de plus cohérent avec la philosophie du NPM d’inspiration anglo-saxonne auquel se rattache assez clairement le gouvernement d’alors dans un isomorphisme de type mimétique d’un type particulier. En effet, selon DiMaggio et Powell (1983), les organisations, en l’absence de compréhension profonde des facteurs de succès dans un champ organisationnel, tendent à imiter celles qui ont réussi. Or les pays qui ont adopté le NPM à l’instar des pays anglo-saxons avaient au mieux peu d’informations sur ses effets, au pire étaient informés d’un bilan mitigé, voire négatif. En effet, quels que soient les domaines considérés (prisons, santé, éducation…), les études menées dans les pays qui disposent aujourd’hui d’un historique significatif de mise en œuvre du NPM mettent en évidence des résultats fréquemment décevants (cf. par exemple Lapsley 2009 ; Olson et al. 2001 ; Norman 2007 et Gregory 2000 pour la Nouvelle-Zélande ; Biondi et al. 2008, Pollitt et Dan 2011). Dans le domaine de la recherche, l’Australie notamment a appris à ses dépens les limites de l’indicateur « nombre de publications dans des revues classées » (Weingart 2005) : le système mis en place pour inciter les chercheurs à publier dans des revues classées a produit ses effets (le nombre de publications a explosé), mais le rang du pays apprécié en termes de citations a chuté de façon spectaculaire. Les chercheurs publiaient plus, mais l’intérêt de ces publications s’était amoindri. Cependant, dans le cas de la France, outre que le gouvernement de l’époque n’a pas forcément conscience des limites de ce modèle, ses priorités sont d’obtenir des résultats rapides et significatifs dans une optique de légitimation de son action. Le gouvernement se dote donc d’un objectif simple : « progresser dans le classement de Shanghai » et d’un levier d’action bien identifié : « augmenter le nombre d’articles français paraissant dans les revues répertoriées par ce classement ». L’AERES, avec l’invention du « publiant » / « produisant », va lui fournir la « machine à mesurer » qui lui est nécessaire.

3.2. Le « produisant » : un instrument de coercition disqualifiant le contrôle par jugement

44Le ministre de l’Enseignement supérieur et de la Recherche peut alors engager dès 2008 un chantier de réformes qui ont pour entre autres finalités d’inciter directement ou indirectement les chercheurs et EC à augmenter le nombre des publications classées dans une optique d’isomorphisme de type coercitif. Ce chantier prévoit notamment deux dispositifs : une modulation des services d’enseignement et une nouvelle répartition des crédits de recherche.

45Le projet de décret d’octobre 2008 vise à introduire une évaluation systématique des universitaires tant en ce qui concerne leur enseignement que leur activité de recherche. En fonction de cette évaluation, les instances universitaires auraient eu la possibilité d’introduire, de manière discrétionnaire, une modulation de la charge de service d’enseignement (entendue comme augmentation de la charge d’enseignement en cas d’insuffisance de la recherche). Ce projet de décret a suscité une forte mobilisation de la communauté universitaire et le décret final du 23 avril 2009 prévoit à l’alinéa III de l’article 7 que « cette modulation ne peut se faire sans l’accord écrit de l’intéressé ». Malgré tout, nombre d’EC se sentent sous le poids d’une menace. Le nouveau projet de décret sur le statut des EC, examiné par le Comité Technique des personnels titulaires et non titulaires des Universités (CTU) le 9 janvier 2014, réaffirme le principe d’une modulation des services tout en soulignant son caractère facultatif et volontaire. À l’Université X, une tentative de mesure du temps de travail a été initiée, largement fondée sur le référentiel publié par le Ministère en 2009, mais les EC, mis à part ceux de l’UFR Sciences, ont massivement refusé d’y répondre. Aucune tentative de modulation n’a été initiée, mais de nouvelles activités, et notamment la mise en œuvre de technologies informatiques, ont été valorisées.

46Le nouveau dispositif d’allocation des moyens aux Universités dans le cadre des contrats d’établissement pluri-annuels, le modèle SYMPA (pour SYstème de répartition des Moyens à la Performance et à l’Activité), donne un rôle important au nombre de « produisants » (pour une présentation détaillée du système, voir le rapport 2012 de l’Inspection générale de l’Administration de l’Education nationale et de la Recherche, IGAENR). L’IGAENR (2012, p. 60) a mis en correspondance les effets d’incitation qui auraient pu être induits par le modèle respectivement sur la formation et sur la recherche : « Ainsi, l’impact d’une amélioration de valeur ajoutée de 500 étudiants en licence induit un droit à 2,8 emplois et environ 80 000 euros de fonctionnement supplémentaires. Comparativement, une amélioration de 2,5 % du taux de « produisants », objectif sans doute plus aisé à atteindre que le précédent, est beaucoup plus intéressant pour un établissement, puisqu’il induit un droit à plus de 20 emplois supplémentaires et un apport de 474 000 euros de fonctionnement ». Vu le caractère puissamment incitatif du modèle, les présidents d’université et les directeurs de laboratoire auraient pu ipso facto devenir des courroies de transmission de l’objectif gouvernemental ; en effet, depuis 2006 (IGAENR 2012, p. 6), les Universités doivent opérer elles-mêmes la répartition interne des crédits octroyés par le Ministère. Le « produisant » aurait ainsi pu devenir une « machine à convaincre » permettant de rallier les enseignants-chercheurs et EC, rétifs à une modélisation aussi sommaire de leur activité, à cet objectif « simplifié ».

  • 12 En moyenne 16 % par rapport à 2008.

47Cependant, si le modèle SYMPA permet de calculer des dotations théoriques, il n’a pas été mis en œuvre en pratique, comme le souligne le rapport IGAENR (2012, p. 64-65) : il n’a pas été utilisé pour opérer un rééquilibrage significatif des dotations entre établissements. « La situation excédentaire des établissements sur dotés a été constatée, et maintenue, à travers l’existence d’un excédent d’initialisation […] La situation des établissements sous dotés a bien été revue chaque année et leur dotation a progressé plus vite que celle des établissements sur dotés. Mais de 2009 à 2012, toutes les universités ont vu leur dotation de base augmenter12 ». Au final, les disparités entre Universités affichées par le modèle SYMPA n’ont été corrigées qu’à la marge.

48Pour que des instruments de gestion s’institutionnalisent, il faut cependant bénéficier du concours de certains acteurs et/ou neutraliser les opposants possibles dans le champ organisationnel considéré. Le CNU aurait pu éventuellement faire contrepoids à l’AERES. Rappelons que c’est en principe la première instance d’évaluation des EC ; elle travaille de manière très qualitative puisque le dossier, très détaillé, des candidats aux qualifications et promotions est analysé, au moins en sciences de gestion, par deux rapporteurs. Mais il faut noter que dès le départ l’AERES a bénéficié de moyens humains et matériels que les gouvernements successifs n’ont jamais accordés au CNU. Dès 2007, l’agence se voit, par exemple, affecter 48,5 administratifs en équivalent temps plein (69,80 à fin 2011) et 35,1 délégués scientifiques en équivalent temps plein (40,8 à fin 2011). On peut mieux le comprendre si, reprenant l’analyse de Thompson et Tuden (1959), on considère que du point de vue du gouvernement, une structure bureaucratique de type AERES est mieux adaptée pour mettre en œuvre des décisions de type « calculatoire » par rapport à une instance collégiale de type CNU appliquant un mode de décision de type « jugement » et utilisant les indicateurs comme « machine à comprendre ».

3.3. Le « produisant » : un argumentaire au service d’une certaine vision de la recherche

  • 13 Dans sa composition 2008-2012, la section 37 du CNRS comptait 21 membres : 17 économistes, 3 gestio (...)

49En termes de contagion disciplinaire, c’est sans doute à un isomorphisme de type normatif qu’il faut se référer. En effet, les sciences de gestion ont été marquées dans la 2nde moitié du XXème siècle par la suprématie de la gestion et des business schools nord-américaines. Ainsi que l’indiquent Durand et Dameron (2011, p. 561, notre traduction), les États-Unis étant devenus dans l’après-guerre la puissance économique dominante, « l’anglais devint la lingua franca de la gestion. Plus de recherche fut menée aux États-Unis que nulle part ailleurs et en conséquence, plus de travail y fut publié, plus de revues y furent lancées. Cet effet de volume eut mécaniquement des implications logiques : les revues qui apparurent comme leaders dans ce champ furent toutes américaines. Elles le sont encore. Et le processus de révision conduit par les éditeurs de ces revues a de plus en plus impliqué que les auteurs se soumettent aux règles du jeu qui leur étaient imposées (thématique, méthodologie, bibliographie, type de contribution attendue, etc.). Il ne s’agissait pas seulement de format ; cela portait tout autant sur le contenu ». En effet, comme Bennis et O’Toole (2005), puis Durand et Dameron (2011) l’ont mis en évidence, la recherche en sciences de gestion nord-américaine, dans une quête de légitimité scientifique, a eu tendance à imiter les sciences « dures » et l’économie. Comme la recherche française a à son tour imité la recherche nord-américaine, le même phénomène a pu être observé sur le territoire national, phénomène favorisé par la structuration de certains acteurs du champ organisationnel. La création au sein de l’AERES d’une seule section économie-gestion réplique en effet la structure de la section 37 du CNRS13 qui réunit également économie et gestion. La liste des revues classées publiées par l’AERES en 2007 reprend la liste 2007 du CNRS (version 2.1. ; la 1ère liste a été publiée par le CNRS en 2004, version 1.0.).

50Or, comme le souligne Thévenot (2012), un autre modèle était sans doute possible, soit en s’inspirant du modèle québécois où le rayonnement des travaux est pris en compte (en particulier l’impact des manuels et ouvrages), soit de l’évaluation de disciplines voisines comme le droit ou les sciences de l’ingénieur où les publications à vocation professionnelle sont valorisées.

51Au-delà de ces phénomènes d’isomorphisme, il est possible aussi que la jeunesse de la discipline, le manque de reconnaissance qui en découle (FNEGE 2010) et, il faut l’avouer, une forme de marginalisation au sein des universités des Sciences de Gestion (perçues comme très axées sur la formation initiale et professionnelle au détriment de la recherche) aient pu jouer un rôle : ils pourraient avoir conduit la communauté scientifique en sciences de gestion, ou au moins certains de ses membres, à vouloir augmenter leur crédibilité par ce biais, au travers d’un indicateur présenté comme « objectif » et utilisé comme « machine à légitimer ».

  • 14 Durand et Dameron s’expriment à propos des écoles de management, mais leurs propos sont à notre avi (...)

52De facto, l’indicateur « nombre de « produisants » sur lequel la démarche d’évaluation s’est focalisée a permis de traduire de façon opérationnelle l’objectif de progression dans le classement de Shanghai. Le « produisant » est ainsi devenu l’instrument d’une politique publique « simplifiée » de l’enseignement supérieur et de la recherche, en permettant de faire l’économie d’un débat complexe, démocratique et donc nécessairement conflictuel sur ses finalités, grâce à la référence à un indicateur présenté comme « objectif » et donc indiscutable. Les finalités se sont trouvées marginalisées ou à tout le moins euphémisées (Lascoumes et Le Galès 2005, p. 24). « Le débat sur les instruments peut être un utile masque de fumée […] pour dépolitiser des questions fondamentalement politiques, pour créer un consensus minimum de réforme en s’appuyant sur l’apparente neutralité » de l’instrument (id., p. 26-27). Aux yeux de l’opinion publique, quoi de plus légitime en effet que de vouloir que nos établissements d’enseignement supérieur et de recherche brillent dans la compétition internationale ? En revanche, si cette même opinion publique réalisait que l’objectif de progression dans le « classement de Shanghai », opérationnalisé par la référence au « produisant », qui sous-tend l’allocation des moyens entre établissements, implique un redéploiement des crédits sur la recherche au détriment de la formation, adhèrerait-elle aussi fortement à cet objectif ? Le « produisant » et le décompte des publications dans des revues classées auquel il est adossé sont ainsi devenus pour le gouvernement « une machine à mesurer ». Comme l’expliquent Durand et Dameron (2011, p. 561, notre traduction14), il n’est « plus besoin d’évaluer les articles publiés, plus besoin de les lire. Un simple décompte du nombre d’articles publiés dans les revues classées est devenu la variable permettant d’opérationnaliser (proxy) l’excellence scientifique ». Cette focalisation sur les publications dans des revues classées « satisfait parfaitement un besoin latent concret : à savoir accélération et simplification du processus d’évaluation, à la fois dans les business schools et chez les producteurs de classement de ces établissements (Financial Times, Shangai, etc.). […] C’est rapide, facile et bon marché, au moins en apparence, car la révision d’articles a d’importants coûts cachés pour la communauté et ceux qui accomplissent cette tâche » (ibid.).

53Au final, là où le pilotage faisait une large place à la socialisation et au contrôle par le clan, la référence au « produisant » a permis de passer à un pilotage cybernétique (Hofstede 1981). Les dangers d’une telle approche pour la recherche ont pourtant été soulignés dès 1979 par Ouchi (p. 844).

54Finalement, alors que la Loi relative aux libertés et responsabilités des Universités (dite loi LRU) était censée donner davantage d’autonomie aux Universités, c’est un mouvement inverse de recentralisation qu’on observe à travers un instrument douté de quasi-automaticité (Lascoumes et Le Galès 2005, p. 36). La mise en œuvre du changement et de la rupture, voulus par le président Sarkozy, a été très largement déléguée à des instruments - « produisant », modèle SYMPA - créant au passage un nouveau « cauchemar bureaucratique » (id., p. 37) auquel pourtant le NPM était censé permettre d’échapper.

55Le « produisant » et le nombre de publications dans des revues classées ont en outre structuré le débat, participant de « l’étape de problématisation » qui permet à des acteurs hétérogènes de se retrouver sur des questions qu’ils acceptent de travailler en commun » (Lascoumes et Le Galès, 2005, p. 31, se référant à Callon 1984). On a vu ainsi par exemple les associations scientifiques des différentes sous-disciplines de la gestion, la SFM, la FNEGE et le CNU s’emparer de la question et tenter d’entrer en dialogue avec l’AERES pour proposer leurs propres classements et amener cette agence à une vision moins restrictive du « produisant ».

56Au final, au regard de la fonction d’évaluation, le décompte du nombre de publications dans des revues classées et la qualification de « produisant » ou non qui en découle apparaissent comme des instruments bien pauvres. En revanche, si l’on prend en considération l’objectif de progression dans le classement de Shanghai, l’ensemble du dispositif qui a pour pivot la définition du produisant » apparaît pertinent et cohérent. L’invention du « produisant » permet de discipliner efficacement à la fois les instances dirigeantes des différentes universités à un premier niveau, et les chercheurs et EC à un second niveau. Le « produisant » illustre ainsi les pratiques de « gouvernementalité » mises en évidence par Foucault (1994) avec notamment « le développement de dispositifs concrets […] qui fonctionnent plus par la discipline que par la contrainte, […] cadrent les actions et représentations de tous les acteurs sociaux » (Lascoumes et Le Galès 2005, p. 17) et permettent d’orienter à distance leurs comportements, en les rendant plus visibles. Reste à savoir si le dispositif est performant au regard de l’objectif affiché, c’est-à-dire s’il a permis à certains établissements français de progresser dans le classement de Shanghai. La comparaison des rangs entre 2008 et 2012 montre une stabilité ; les seules exceptions sont constituées par les universités qui se sont regroupées (Universités d’Aix-Marseille et de Lorraine). Nous ne disposons pas de chiffres sur l’évolution du volume de publications ; il est cependant très probable qu’il a malgré tout augmenté. On retrouve là un des effets de l’isomorphisme mimétique poussé à son extrême : de par le monde, l’ensemble des établissements s’est lancé dans la course à la publication, ce qui a fait que les classements relatifs sont finalement restés stables.

Conclusion : l’évaluation de l’action publique, un chantier à investir

57Nous concluons cet article en mettant en évidence les impacts possibles de la démarche d’évaluation menée par l’AERES, nos propositions d’évolution et finalement les apports de notre recherche.

58Les évaluations menées par les comités AERES ont naturellement eu des impacts sur le système universitaire. Elles ont pu dans le meilleur des cas susciter une prise de conscience, à la fois au sein des instances de tutelle et des équipes de recherche. Elles ont pu amener les premières à modifier (mais à la marge) la répartition des moyens entre les équipes et les secondes à mener une réflexion stratégique sur les moyens d’améliorer leur performance. Pumain et Dardel (2014, p. 19) notent cependant que « pour éviter les effets couperet d’une note insuffisante, certains responsables scientifiques ont parfois pratiqué une politique d’exclusion visant à faire disparaître des organigrammes des collègues jugés moins performants dans le but de « remonter leur moyenne » ». Cette stratégie fausse les comparaisons entre laboratoires, a un impact négatif sur la cohésion des équipes formation-recherche et démotivant sur les EC qui peuvent par ailleurs être engagés dans des responsabilités administratives lourdes. La qualification « produisant » / « non produisant » n’a pas d’impact direct sur l’EC, sauf exclusion éventuelle de l’équipe (cf. ci-dessus) et dans certains cas une stigmatisation des EC les moins actifs en recherche, puisque le rapport AERES produit un nombre de produisants, mais pas une liste nominative.

59Une évaluation individuelle des EC et collective des équipes de recherche nous paraît légitime, dans un double souci de bon usage des deniers publics et de progression de la qualité. Les EC sont rémunérés par l’État qui statutairement leur impose certaines obligations ; les laboratoires sont eux aussi principalement financés par la puissance publique. L’évaluation donne en outre une base objectivée au dialogue entre évalués et instances de tutelle, internes ou externes à l’établissement, et permet d’éclairer la décision (Pumain et Dardel 2014, p. 8). Il faut cependant que cette évaluation « établie à partir de principes communs [soit] adaptée aux missions qui ont été définies pour les organismes et les unités. Elle doit aussi admettre une variabilité des critères utilisés en fonction de la diversité des disciplines et des formes d’organisation de la recherche » (Pumain et Dardel 2014, p. 9). Si la définition du « produisant » est élargie, pour tenir compte notamment des spécificités des sciences humaines et sociales dont relève la gestion (voir le référentiel AERES 2013), le taux de produisants remontera mécaniquement sans qu’il soit nécessaire d’exclure des EC. Il faudrait tenter par ailleurs de mettre en œuvre une logique d’accompagnement des EC qui se sont éloignés de la recherche, comme par exemple la co-écriture d’articles, la participation à des projets collectifs.

Évaluation individuelle des EC

60Le décret sur le statut des EC de 2009 a introduit une évaluation systématique et quadriennale de leurs activités, mais le ministère a pour le moment décidé de surseoir à sa mise en œuvre ; il nous semble qu’une évaluation sur l’ensemble de la carrière serait plus pertinente. Selon les périodes (Gervais et Ducrocq 2012), l’EC dédie en effet plus ou moins de temps aux différentes activités : pour ne prendre que deux exemples, un jeune EC consacrera vraisemblablement beaucoup plus de temps à la préparation de ses cours qu’un EC chevronné ; inversement la responsabilité de directeur d’UFR est rarement assumée par des EC en début de carrière.

61Dans tous les cas, l’évaluation par les pairs doit rester la règle, comme le reconnaît d’ailleurs le référentiel 2013 publié par l’AERES et comme le recommande plus récemment le rapport Pumain et Dardel (2014, p. 9). L’actuel CNU pourrait mener cette mission qu’il conduit déjà pour les qualifications et les promotions. Il conviendrait cependant de donner à ses membres les moyens de travailler dans de bonnes conditions avec notamment des décharges de service (actuellement seul le président bénéficie d’une décharge d’un tiers de son service), et un secrétariat. Nous n’ignorons pas les critiques portées à l’égard de cet organe, mais rien ne dit qu’une nouvelle instance fasse mieux.

62Au plan des processus, le mode de fonctionnement adopté par la section 06 nous semble aussi globalement adapté : pour chaque dossier, deux rapports écrits sont produits. Les critères adoptés dans la note publiée en 2012 nous semblent appropriés ; ils tiennent compte des multiples dimensions du métier.

63Quelle que soit la solution adoptée pour l’évaluation, la qualification binaire « produisant » / « non produisant » nous paraît devoir être abandonnée.

Évaluation des équipes de recherche

64Etant donné que le taux de produisant est aujourd’hui la seule donnée permettant de comparer les équipes de recherche d’une même discipline, il prend une importance démesurée au regard de sa pertinence. Nous préconisons l’abandon de cet indicateur dont nous avons vu qu’il peut être aisément manipulé. Par ailleurs, les rapports d’évaluation de l’AERES attribuent une note aux différentes unités de recherche. Même si l’AERES avait précisé que ces notes ne pouvaient au sein d’une même Université être utilisées pour comparer les équipes entre elles, le Conseil scientifique dans les différents établissements s’en est emparé pour classer ses unités de recherche. Dans l’Université X, les équipes classées A et A+ se sont vu attribuer de manière quasi-mécanique un bonus budgétaire et les équipes classées C se sont vu pénalisées par un malus budgétaire. Or la distribution des notes par champ disciplinaire est très inégalitaire (le champ dont relèvent les sciences de gestion est particulièrement pénalisé par rapport aux autres champs avec une très faible proportion, de A et A+ et une proportion très élevée de C). Le référentiel de l’AERES supprime la note globale, ce qui nous semble un progrès, mais conserve les notes par critère (six critères dans le référentiel). L’Université devra donc définir l’importance qu’elle donne à chaque critère.

65Les apports de notre recherche nous semblent se situer aux plans pratique, sociétal et théorique. Les limites de cette étude nous semblent autant de pistes à explorer ; certaines figurent déjà à notre agenda ; d’autres pourraient susciter l’intérêt de collègues d’autres disciplines des sciences de gestion. Nous concluons en essayant d’imaginer le futur de l’évaluation.

66Les apports de cette recherche se situent sur trois plans : participer à la transformation des pratiques d’évaluation dans notre champ disciplinaire, fournir des repères pour d’authentiques démarches d’évaluation en management public et nourrir le dialogue entre les sciences de gestion et les autres disciplines.

67La FNEGE, la SFM et les différentes associations scientifiques disciplinaires se sont engagées depuis quelques années avec détermination et constance dans une démarche qui vise à promouvoir une démarche d’évaluation de la recherche en sciences de gestion plus ouverte, moins réductrice. Nous espérons leur avoir donné quelques arguments supplémentaires. Au-delà de ces organisations, nous espérons aussi avoir contribué à éclairer les membres de notre communauté scientifique sur les tenants et les aboutissants de la démarche d’évaluation mise en œuvre par l’AERES dans sa dimension systémique et apporter un éclairage pertinent au futur HCERES. Les EC en sciences de gestion ne disposent en effet le plus souvent que d’informations fragmentaires, voire erronées. Nous espérons au travers de cet article avoir donné à chacun, à son niveau, les moyens de formuler des contre-propositions constructives, fondées sur une argumentation rigoureuse et ainsi de contribuer à la construction de systèmes d’évaluation systémiques.

68Par ailleurs, nous espérons avoir fourni aux décideurs des organisations publiques un guide pour enclencher une authentique démarche d’évaluation en mettant en évidence la nécessité d’analyser au préalable leur chaîne de valeur et des repères pour bâtir un ensemble d’indicateurs qui redonne son sens à l’action publique en leur permettant de mieux comprendre la systémique qui les gouverne.

69En termes sociétaux, nous ne prétendons pas apporter de réponses définitives, mais susciter un questionnement et alerter sur des dérives potentiellement dommageables de systèmes d’évaluation instrumentalisés par la focalisation sur les indicateurs de « résultats ». Ceci est vrai de la recherche publique, mais cela l’est aussi probablement tout autant pour d’autres domaines comme la santé, la justice, la sécurité…

70Sur le plan théorique, nous pensons enfin avoir alimenté le dialogue avec d’autres disciplines. En sciences politiques, Lascoumes et Le Galès (2005, p. 11) notent qu’envisager l’action publique sous l’angle des instruments permet d’aborder des dimensions peu visibles autrement. En sociologie aussi de plus en plus d’attention est portée aux dispositifs de gestion (Maugeri 001). Les chercheurs de ces disciplines ne disposent pas cependant nécessairement de tous les outils d’analyse technique nécessaires. Avec cet article, nous espérons nourrir le dialogue entre les sciences de gestion et d’autres disciplines, apportant ainsi des regards croisés sur un même objet.

71Les limites de cette recherche sont relatives à l’objectivation des pratiques, à l’appréciation de leur impact concret sur la gestion des ressources humaines et sur le développement de la recherche en sciences gestion.

72En premier lieu, nous avons mené ici une démarche presqu’exclusivement conceptuelle. Sur ces fondements, qui constituaient un préalable indispensable, nous envisageons dans un second temps de mener auprès des directeurs d’unités de recherche en sciences de gestion une enquête sur les points suivants : la manière dont ont été décomptés dans les rapports AERES les « produisants », leurs pratiques dans la remontée d’information sur la proportion de ces « produisants» dans leur équipe, ainsi que les critères qui président à l’allocation interne des crédits de recherche au sein de leur établissement. Par ailleurs, au-delà de l’analyse documentaire et de l’observation, il conviendrait de mener des entretiens qualitatifs avec des responsables et des experts au sein de l’AERES pour comprendre la genèse intellectuelle du « produisant » ainsi que des responsables du MESR pour expliciter les visées qui ont présidé à la conception du modèle SYMPA.

73Ensuite, nous n’avons pas étudié l’impact de cette démarche d’évaluation sur les équipes et les personnes. Nos propres observations nous conduisent à penser que les effets ont été parfois négatifs avec notamment des frustrations et un découragement chez des EC qui se sont fortement investis dans l’institution sur des missions de pédagogie et d’administration, mais insuffisamment sur des missions de recherche ou bien qui se sont impliqués dans la recherche, mais n’ont pas valorisé leur activité dans des publications classées. Des EC en gestion des ressources humaines pourraient, en mobilisant eux aussi une démarche réflexive, étudier de manière approfondie ces phénomènes et contribuer ainsi au débat scientifique sur l’évaluation de la recherche publique.

74Enfin, pour ce qui est de l’impact sur le développement de la recherche publique, quantitatif, mais surtout qualitatif, force est de reconnaître que pour l’instant, nous ne disposons d’aucune donnée fiable. Il serait souhaitable que les EC en sciences de gestion s’emparent de cette question pour leur propre champ disciplinaire.

75Au terme de cet article, se pose la question des évolutions possibles dans le domaine de l’évaluation de la recherche publique.

  • 15 La loi n° 2013-660 du 22 juillet 2013 relative à l'enseignement supérieur et à la recherche substit (...)

76Le dernier document en date de l’AERES (2013), « Critères d’évaluation des entités de recherche : Le référentiel de l’AERES », semblait15 marquer une inflexion dans cette focalisation sur les indicateurs quantitatifs. L’introduction du document met en évidence avantages et inconvénients des approches qualitatives et quantitatives. La question est de savoir si cette approche plus ouverte subira le même sort que l’identification des « produisants», définie de manière large dans le texte, appliquée sur le terrain de manière restrictive. Si nous adoptons une perspective pessimiste, ce texte de l’AERES peut être perçu comme participant d’un discours de légitimation face à des critiques qui, depuis plusieurs années, se sont faite de plus en plus virulentes et dont le bien-fondé est assez largement reconnu par le rapport Pumain et Dardel (2014). Dans une perspective plus optimiste, peut-être est-il possible d’évoquer un processus d’apprentissage, pour aller de la mesure purement quantitative, forcément réductrice, vers l’évaluation, nécessairement plus globale, mais aussi plus complexe ?

Top of page

Bibliography

Bennis W.G. et O’Toole J. (2005), « How Business Schools Lost their Way », Harvard Business Review, May, p. 96-104.

Berland N. et Pezet A. (2010), « Quand la comptabilité colonise l’économie et la société. Perspectives critiques dans les recherches en comptabilité, contrôle et audit », 14 avril, http://hal.inria.fr/docs/00/34/04/18/PDF/Berland_Pezet_26_mai_2008.pdf publié dans D. Golshorki, I. Huault et B. Leca (2009), Les études critiques en management, une perspective française, p. 131-162.

Berry M. (1983), « L’impact des instruments de gestion sur l’évolution des systèmes humains ». Centre de Recherche en Gestion (CRG) de l’Ecole polytechnique, juin, 51 p.

Bessire D. (1999), « Définir la performance », Comptabilité Contrôle Audit, 5 (2), septembre, p. 127-150.

Biondi Y., Chatelain-Ponroy S. et Sponem S. (2008), « De la quantification comptable et financière dans le secteur public : promesses et usages de la gestion par les résultats », Politiques et Management public, 26 (3), p. 113-125.

Bourdieu P. (1980), Questions de sociologie, Editions de Minuit.

Bourguignon A. (2006), « Les instruments de gestion au risque de la réification », Mémoire d’habilitation à diriger les recherches, Université Paris-Dauphine.

Boussard V. et Maugeri S. (2003), Du politique dans les organisations. Sociologies des dispositifs de gestion, L’Harmattan, coll. « Logiques sociales ».

Burchell S., Clubb C., Hopwood A., Hughes J. et Nahapiet J. (1980), « The Roles of Accounting in Organizations and Society », Accounting, Organizations and Society, 5 (1), p. 5-27.

Callon M. (1984), « Eléments pour une sociologie de la traduction », Année sociologique, n° 11, p. 183-184.

Charreaux G. et Gervais M. (2007), « La « piste aux étoiles » - un commentaire sur le dernier classement des revues élaboré par la section 37 du CNRS », éditorial, Finance Contrôle Stratégie, vol. 10, n° 4, décembre, p. 5-16.

Démil B., Lecocq X. et Warnier V. (2007), « Le couple pratique-recherche. Divorce, mariage ou union libre ? », Revue Française de Gestion, n° 171, p. 31-48.

DiMaggio P.J. et Powell W.W. (1983), « The Iron Cage Revisited: Institutional Isomorphism and Collective Rationality in Organizational Fields », American Sociological Review, vol. 48, p. 147-160.

Ducrocq Ch. et Gervais, M. (2013). « Le coût complet par diplôme à l’Université : quel apport vu les problèmes de mesure ? ». Finance Contrôle Stratégie, 16-4.

Durand T. et Dameron S. (2011), « Where Have All the Business Schools Gone? », British Journal of Management, vol. 22, p. 559-563.

Foucault M. (1994), « La gouvernementalité », Dits et Ecrits, tome 3, Gallimard, p. 635-657, 1ère édition, 1978.

Gervais M. et Ducrocq Ch. (2012). Les calculs de coûts complets par diplôme à l’Université : quelle signification ? 33ème Congrès de l’Association Française de Comptabilité, Grenoble.

Gingras Y. (sd), « Le classement de Shangai n’est pas scientifique », www.larecherche.fr, consulté le 04/01 2011.

Golsorkhi D. et Huault I. (2006), « Pierre Bourdieu, Critique et réflexivité comme attitude analytique », Revue Française de Gestion, n° 165, p. 15-34.

Gregory R. (2000), « Getting Better but Feeling Worse? Public Sector Reform in New Zealand », International Public Management Journal, 3 (1), p. 107-123.

Hirsch P.M. et Lounsbury M. (1997), « Ending the Family Quarrel. Toward a reconciliation of “Old” and “New” Institutionalism », The American Behavioral Scientist, Feb, 40, p. 406-418.

Hofstede G. (1981), « Management Control of Public and Not-for-Profit Activities », Accounting, Organizations and Society, 6 (3), p. 193-211.

Hood C. (1991), « A Public Management for all Seasons ? », Public administration, 69, p. 3-19.

Hood C. (1995), « The « New Public Management » in the 1980s : Variation on a Theme » Accounting, Organizations and Society, 20 (2/3), p. 95-109.

Lascoumes P. et Le Galès P. (2005), « Introduction : L’action publique saisie par les instruments », in P. Lascoumes et P. Le Galès, Gouverner par les instruments, Presses de Sciences Po « Académique », p. 11-44.

Lapsley I. (2009), « New Public Management : the Cruellest invention of Human Spirit ? », Abacus, 45 (1), p. 1- 21.

Lawrence P.R. et Lorsch J.W. (1974), Adapter les structures de l'entreprise, Les Editions d'Organisation (traduit de l’anglais : Organization and Environment (Harvard Business School, 1969).

Malleret V. (2004), « La mesure des performances dans les activités de service », L’art du management édition 2004 - e-learning HEC - Les Echos, disponible également sur www.lesechos.fr

Maugeri S. (2001), Délit de gestion, La Dispute.

Nikitin M. (2006), « Qu’est-ce qu’une problématique en sciences de gestion et comment l’enseigner », Comptabilité Contrôle Audit, n° thématique, octobre, p. 87-100.

Norman R. (2007), « Entre finalités de service public et production mesurable : la redéfinition de la ‘valeur publique’ dans le modèle néo-zélandais d’administration », Revue Française d’Administration Publique, n° 123, p. 323-336.

North D.C. (1990), Institutions, Institutional Change and Economic Performance, Cambridge, Cambridge University Press.

Olson O., Humphrey C et Guthrie J. (2001), « Caught in an Evaluatory Trap : A Dilemma for Public Services », The European Accounting Review, 10 (3), p. 505-522.

Osterloh M., Frey B. et Homberg F. (2008), « Le chercheur et l’obligation de rendre des comptes », Gérer et Comprendre, mars, n° 91, p. 48-54, www.annales.org/gc/2008/gc91/osterloh.pdf traduit de l’anglais par Hervé Dumez.

Ouchi W.G. (1979), « A Conceptual Framework for the Design of Organizational Control Mechanisms », Management Science, 25 (9), September, p. 833-848.

Pollitt C. et Dan S. (2011), The Impacts of the New Public Management in Europe: a Meta-Aanalysis, Projet Cocops (Coordinating for Cohesion in the Public Sector of the Future, www.cocops.eu), 14 décembre.

Porter M. (1982), Choix stratégiques et concurrence, Techniques d’analyse des secteurs et de la concurrence dans l’industrie, Economica.

Pumain D. et Dardel, F. (2014). « L’évaluation de la Recherche et de l’Enseignement supérieur », janvier, 27 p.

Putnam L. (2009), « Symbolic Capital and Academic Fields : An Alternative Discourse on Journal Rankings », Management Communication Quarterly, August, 23 (1), p. 127-134.

Suchman, M.C. (1995), « Managing Legitimacy: Strategic and Institutional Approaches », Academy of Management Review, 20, p. 571-610.

Thévenot J. (2012), avec le concours d’A.-L. Boncori, Les institutions d’enseignement supérieur de gestion et leur corps professoral, FNEGE.

Thompson J.D. et Tuden A. (1959), « Strategies, Structures and Processes of Organizational Decision », in J.D. Thompson et al., eds, Comparative Studies in Administration, University of Pittsburgh Press.

Tripier P. (2003), « La sociologie des dispositifs de gestion : une sociologie du travail », in Boussard V. et Maugeri S. (2003), Du politique dans les organisations. Sociologies des dispositifs de gestion, L’Harmattan, coll. « Logiques sociales », p. 28, cité par Lascoumes et Le Galès (2005).

Wacheux F. (1999), Méthodes qualitatives et recherche en gestion, Economica, collection Gestion.

Weingart P. (2005), « Impact of Bibliometrics upon the Science System: Inadvertent Consequences? », Scientometrics, 62 (1), p. 117-131.

Top of page

Annex

Annexe : liste des documents consultés

AERES16

(2007), Critères d’identification des chercheurs et enseignants-chercheurs ‘publiants’.

(2010), Critères d’identification des chercheurs et enseignants-chercheurs ‘produisant en recherche et valorisation’.

(2012), Critères d’identification des chercheurs et enseignants-chercheurs ‘produisant en recherche et valorisation’« , octobre, http://www.aeres-evaluation.fr/​Agence/​Presentation/​Profil-de-l-agence consulté le 24/02/2013

http://www.aeres-evaluation.fr/​Publications/​Mehodologie-de-l-evaluation/​Documents-generaux-de-reference.

(2013), Critères d’évaluation des entités de recherche : Le référentiel de l’AERES », version du 21/02/2013, http://www.aeres-evaluation.fr/​Publications/​Methodologie-de-l-evaluation/​Documents-generaux-de-reference, page http://www.aeres-evaluation.fr/​content/​download/​17661/​271795/​file/​R%C3%A9f%C3%A9rentiel%20AERES-Entit%C3%A9s%20de%20Recherche.pdf

Rapports d’évaluation sur un échantillon aléatoire de 10 laboratoires sur 28 dédiés à titre principal aux sciences de gestion (un sur trois pris dans la liste fournie par la DGRI « Unités de recherche de la discipline : Science de gestion » éditée le 03/02/2014 et disponible sur https://www.google.fr/​#q =Unit %C3 %A9s+de+recherche %2C+de+la+discipline %3A+Science+de+gestion)

CNU https://www.google.fr/​#q =Unit %C3 %A9s+de+recherche %2C+de+la+discipline %3A+Science+de+gestion

(2012). Critères retenus par la section 06 pour la promotion des enseignants-chercheurs, 2 p.

(2012). Rapport sur les qualifications aux fonctions de Maître de Conférences et de Professeur des Universités, 12 p.

Brafman N. et Rey-Lefevre I. (2013), « Fin de vie pour l’Aéres », Le Monde Science et Techno, http://www.lemonde.fr/sciences/article/2013/01/03/fin-de-vie-pour-l-aeres_1812620_1650684.html, 11 janvier.

http://www.anrt.asso.fr/​fr/​futuris/​pdf/​esr/​2011A.pdf

FNEGE (2010), L’évaluation des Enseignants-Chercheurs en Sciences de Gestion, Rapport établi par la Commission de réflexion sur l’Evaluation des Enseignants-Chercheurs en Sciences de Gestion mise en place par la FNEGE et présidée par Bernard Pras, février, www.fnege.net

IGAENR (2012), Etude des mécanismes internes d’allocation des moyens en crédits et en emplois dans les universités, Rapport n° 2012-041, 2 avril, mis à jour le 5 juin, http://www.enseignementsup-recherche.gouv.fr/​cid60465/​etude-des-mecanismes-internes-d-allocation-des-moyens-dans-les-universites.html

Lung, Y. (2012). Faut-il avoir peur du référentiel et de la modulation du service ? http://presidence.u-bordeaux4.fr/​?p=658, mis en ligne le 18 février.

SFM

(2009), Revues et Classements de Revues », http://sfmwebsite.org/​avis.htm

(2011a), Préconisations de la SFM concernant l’établissement d’une liste de revues selon l’initiative du Comité national de la recherche scientifique », avril, http://sfmwebsite.org/​actualites.htm

(2011b), Avis de la SFM sur l’usage des classements des revues pour évaluer la recherche en gestion, décembre, http://sfmwebsite.org/​avis.htm

SNESUP-FSU (2013). Modulation et mobilité : alerte sur l’article 43bis de la Loi ESR.

de la Section SNESUP-FSU de l'Université de

Top of page

Notes

1 Le mouvement étant d’origine anglo-saxonne, nous avons préféré garder cet intitulé plutôt que sa traduction française en « nouvelle gestion publique » ou « nouveau management public ».

2 La notion de « résultat » fera l’objet d’une analyse en section 2 ; c’est pourquoi le terme est ici entre guillemets.

3 http://www.aeres-evaluation.fr/Agence/Presentation/Profil-de-l-agence.

4 Nous n’avons laissé en bibliographie que les articles et ouvrages scientifiques.

5 L’AERES a publié le 01/10/2012 une version légèrement amendée du document de 2010 sous le même titre. Les modifications étant relativement mineures, au moins en sciences de gestion, et la définition étant relativement récente, nous nous concentrerons sur le document de 2010.

6 Bessire (1999) considère que la performance au sens large inclut pertinence, cohérence et performance au sens étroit.

7 Le terme comptabilité doit ici être entendu dans son sens anglais qui renvoie à tout dispositif de quantification (comptage) dans le cadre du management des organisations.

8 Durand et Dameron développent cette argumentation pour les écoles de management (business schools), mais cette argumentation nous semble également pouvoir s’appliquer à l’ensemble des établissements d’enseignement et de recherche.

9 Il existe une littérature scientifique abondante qui critique ce classement (voir par exemple Gingras, sd), mais cette critique sort de l’objectif de cet article.

10 Le « classement de Shanghai » est d’ailleurs le premier argument avancé par le ministre de l’Enseignement supérieur et de la recherche pour la constitution des Pôles de Recherche et d’Enseignement Supérieur (PRES) : « les résultats pour la France du classement de Shanghai […] plaident pour un regroupement de nos forces », (citée dans « Les Cahiers de la compétitivité, spécial enseignement supérieur », p II, encart dans Le Monde du 21 mai 2008).

11 Dans les versions.2007 et 2010 des « Critères d’identification des chercheurs et enseignants-chercheurs respectivement ‘publiant’ et ‘produisant en recherche et en valorisation’, dans le secteur des sciences de la vie, de la santé et de l’environnement, une publication dans Nature ou Science suffisait à cataloguer le chercheur ou l’EC comme produisant. Cette mention a disparu de la version 2012.

12 En moyenne 16 % par rapport à 2008.

13 Dans sa composition 2008-2012, la section 37 du CNRS comptait 21 membres : 17 économistes, 3 gestionnaires et une responsable administrative d’une équipe de recherche en droit, économie et gestion.

14 Durand et Dameron s’expriment à propos des écoles de management, mais leurs propos sont à notre avis pleinement applicables à tous les secteurs scientifiques.

15 La loi n° 2013-660 du 22 juillet 2013 relative à l'enseignement supérieur et à la recherche substitue le Haut conseil de l'évaluation de la recherche et de l'enseignement supérieur (HCERES) à l'AERES. Cette disposition prendra effet à la date de publication du décret en Conseil d’État prévu à l’article L. 114-3-6 du code de la recherche. Les biens, droits et obligations de l'AERES seront transférés au HCERES. Remarquons cependant que cette évolution ne remet pas fondamentalement en cause les principes du NPM puisqu’elle acte le principe d’une autorité administrative, alors qu’une autre voie possible aurait été par exemple de redéployer les moyens dévolus à l’AERES sur le CNU.

16 L’AERES ne laissant en ligne que la dernière version (absence d’archives sur le site), nous n’avons à notre disposition que les fichiers que nous avions sauvegardés au fil des dernières années.

Top of page

List of illustrations

Title Figure 1 : La recherche, une chaîne de valeur complexe
URL http://journals.openedition.org/fcs/docannexe/image/1554/img-1.png
File image/png, 153k
Caption Source : les auteurs
URL http://journals.openedition.org/fcs/docannexe/image/1554/img-2.png
File image/png, 169k
Title Figure 2 : Modélisation du processus de transformation et indicateurs
Caption Note : chaque rectangle noir correspond à un type spécifique d’indicateurs.
URL http://journals.openedition.org/fcs/docannexe/image/1554/img-3.png
File image/png, 134k
Top of page

References

Electronic reference

Dominique Bessire and Pascal Fabre, New public management et évaluation de la recherche publique : L’invention du « produisant »Finance Contrôle Stratégie [Online], 17-4 | 2014, Online since 31 December 2014, connection on 16 April 2024. URL: http://journals.openedition.org/fcs/1554; DOI: https://doi.org/10.4000/fcs.1554

Top of page

About the authors

Dominique Bessire

Université d’Orléans, VALLOREM

Pascal Fabre

Université de France-Comté LEG,

pascal.fabre@univ-fcomte.fr

Top of page

Copyright

The text and other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search