Evaluation externe : le risque du « vite fait, mal fait » ?

Comment faire face à l’em­bouteillage qui se profile ? D’ici au 3 janvier 2015, environ 24 500 établissements et services sociaux et médico-sociaux devront avoir remis leur rapport d’évaluation externe en vue du renouvellement de leur autorisation en janvier 2017 (1). Or, selon l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux (ANESM), fin juin 2013, seuls 19,5 % d’entre eux s’étaient engagés dans le processus.

Si l’expectative domine du côté des associations concernées malgré le travail de sensibilisation des fédérations nationales, l’inquiétude a gagné les évaluateurs. « Cela veut dire que des milliers d’établissements doivent encore être évalués avant fin 2014 ; autant dire qu’il est improbable que cela puisse se faire dans des conditions correctes », constate Laurent Barbe, consultant au cabinet CRESS (Conseil, recherche, évaluation, sciences sociales). « Il existe encore des établissements qui n’ont pas réalisé l’évaluation interne qui doit précéder l’évaluation externe. Sachant qu’il faut compter plusieurs mois entre le choix de l’organisme évaluateur et la remise du rapport, on peut dire que nous sommes face à un problème insoluble », s’alarme Daniel Guaquère, consultant, chargé de mission à l’Association nationale des cadres du social (Andesi) et adminis­trateur de l’Association française des évaluateurs externes (AFEE). Sauf à allonger les délais. Ou à produire des évaluations au rabais.

Comme la direction générale de la cohésion sociale (DGCS) ne prévoit pas, pour le moment, de prolonger les échéances, tout risque de se jouer sur la qualité de la procédure. Les organismes connus pour leurs compétences en matière d’évaluation dans le secteur sont en effet tous saturés jusqu’à fin 2014. « Nous ne répondons plus aux nouvelles demandes qui arrivent pourtant presque chaque jour, sauf proximité géographique avec l’établissement ou enjeu stratégique fort », note, parmi d’autres, Daniel Guaquère.

Conséquence logique ? Des évaluateurs moins qualifiés risquent de prendre le relais avec des méthodes beaucoup plus standardisées. « Plus les échéances approchent, plus on s’expose à aller vers des démarches évaluatives normalisées », craint Laurent Barbe. Mêmes inquiétudes pour François Charleux, consultant, directeur du cabinet RH & Organisation et administrateur de l’AFEE, qui redoute la multiplication des « évaluations sans profondeur et sans finesse ».

C’est que le cahier des charges de l’évaluation externe, fixé par le décret du 15 mai 2007, laisse une grande liberté d’interprétation aux évaluateurs (voir encadré, page 31). Il fait référence à de nombreux concepts (évaluation des politiques publiques, démarche de prévention des risques…), rendant plusieurs lectures possibles. « La commande n’est pas précise, notamment parce que le décret de 2007 n’a pas été suivi d’une circulaire d’interprétation comme cela est générale­ment la règle », déplore Pierre Savignat, maître de conférences associé à l’université Grenoble-2 et membre du conseil scientifique de l’ANESM. « Le décret donne des directions, mais il n’est pas un outil d’évaluation en soi », nuance François Charleux. De fait, la démarche n’a rien à voir avec la procédure de certification très normée du secteur sanitaire, qui s’appuie sur un questionnaire à choix multiples : « Il y a certes des passages obligés mais, globalement, les évaluateurs du secteur social et médico-social doivent élaborer leur propre cadre d’évaluation dans un esprit de coconstruction avec l’établissement : l’évaluateur n’étant pas enfermé dans un pro­tocole réducteur, cela permet d’apprécier la singularité de chaque projet », précise François Charleux. Une évaluation réussie passe par « un organisme évaluateur à l’écoute de la dynamique de l’établissement et qui n’enferme pas le processus dans une grille trop fermée », ajoute Thierry Couvert-Leroy, responsable « gestion et ressources de la solidarité » à l’Union nationale interfédérale des œuvres et organismes privés sanitaires et sociaux (Uniopss).

Revers de la médaille : une pluralité de pratiques, avec des résultats forcément très disparates et d’intérêt inégal – et, potentiellement, des dérives. Si ­certains restent optimistes sur la qualité des rapports d’évaluation – à l’instar de Daniel Guaquère, convaincu de la capacité du décret de 2007 à « baliser le processus malgré la tentation que peuvent avoir certains de faire des raccourcis » –, d’autres s’attendent à ce que des organismes pratiquent des formes proches de l’audit, plus simple à mettre en place, et axent leur rapport sur la conformité aux règlementations existantes plutôt que sur l’analyse qualitative. « Il y a un décalage important entre le décret et ce que de nombreux évaluateurs en font : certains s’adonnent à une démarche très scolaire qui ne fait pas évoluer les pratiques et qui n’est pas conforme à l’esprit du décret », déplore Laurent Barbe. « Au moins deux tiers des rapports d’évaluation que j’ai pu avoir entre les mains ne sont pas respectueux du cahier des charges », s’inquiète Daniel Gacoin, consultant, directeur du cabinet ProEthique conseil et adminis­trateur de l’AFEE. Et d’évoquer l’exemple d’un « rapport d’une centaine de pages, rédigé par un cabinet réalisant des évaluations en grand nombre, dont l’essentiel tient en 25 pages, le reste étant des répétitions et des tableaux de quo­tations ». « Ce manque de clarté qui s’ajoute au retard pris par les associations risque d’aboutir au “quickly-dirty”, selon l’expression anglo-saxonne, autrement dit à des rapports “vite faits, mal faits” », confirme Pierre Savignat. Avec, à l’extrême, un document final qui pourrait se résumer à un copier-coller du projet d’établissement.

D’autant que le choix qui a été fait de recourir à des organismes évaluateurs privés, qu’ils soient lucratifs ou non, s’il a l’intérêt d’assurer l’indépendance de la démarche, implique un encadrement minimal – conformément à la réglementation européenne (2). L’habilitation effectuée par l’ANESM n’est qu’une autorisation administrative, sans garantie de qualité, même s’il est prévu un contrôle a posteriori pouvant entraîner sa suspension ou son retrait. Seule contrainte : les évaluateurs doivent justifier d’une expérience professionnelle dans le champ social ou médico-social, d’une formation aux méthodes évaluatives (notamment en matière d’évaluation des politiques publiques) et de connaissances dans le domaine de l’action sociale. « Cela reste toutefois très léger », commente Thierry Couvert-Leroy.

Depuis 2009, près de 1 400 organismes ont été habilités par l’ANESM – parmi lesquels des acteurs très divers : cabinets de conseils (dont certains mastodondes très éloignés du secteur social), autoentrepreneurs, directeurs d’établissement, associations du secteur social ou médico-social, centres de formation en travail social… « Avec cette habilitation a minima, on a créé de manière artificielle un marché de l’évaluation qui attire des organismes loin d’être toujours compétents », déplore un consultant qui préfère garder l’anonymat. « On trouve deux types d’organismes posant problème : ceux qui, connaissant peu le secteur, sont prêts à réaliser une évaluation industrielle dans le seul but d’augmenter leur chiffre d’affaires et ceux, plus petits, ayant, certes, des professionnels du secteur, mais peu expérimentés, sans modélisation de leurs outils et de leurs supports d’évaluation », observe Daniel Gacoin, qui pointe l’absence d’éléments comparatifs susceptibles d’aider les associations à choisir leur opérateur.

« Plutôt qu’à la nature de l’organisme habilité, il faut surtout être attentif aux évaluateurs eux-mêmes, précise toutefois François Charleux. Qu’on soit un cabinet ayant pignon sur rue ou un auto-entrepreneur, il est possible de faire de très bonnes comme de très mauvaises évaluations : tout dépend si la personne qui intervient est formée ou non à l’évaluation sociale et médico-sociale. » « Des grosses structures pourtant peu connues pour leur expertise en matière d’évaluation externe dans le champ social peuvent produire des évaluations intéressantes si elles ont engagé des évaluateurs compétents », confirme Pierre Savignat.

Difficile toutefois de dire aujourd’hui si l’obligation de compétence des évaluateurs sera respectée. En tant qu’évaluatrice externe certifiée AFNOR, Béatrice Balley, par ailleurs directrice de l’UNA (Union nationale de l’aide, des soins et des services aux domiciles) Charente-Maritime, reçoit chaque semaine plusieurs propositions de collaboration de la part d’organismes habilités à la recherche d’évaluateurs : « Les annonces proviennent de cabinets qui sont en quête de personnes qualifiées, la certification AFNOR faisant filtre. Mais d’autres prennent n’importe qui », affirme-t-elle.

Aussi certaines associations risquent-elles d’essuyer les plâtres. D’autant que, même si la compétence est bien au rendez-vous, les méthodes des organismes habilités divergent. « Même si ce n’est pas une obligation, je conseille plutôt un binôme d’évaluateurs, ce qui permet de croiser les regards », avance Pierre Savignat. « L’évaluation n’est pas une aventure solitaire », abonde Daniel Guaquère. Selon lui, elle doit reposer sur une équipe d’au moins deux personnes (par exemple, un spécialiste de l’évaluation et un directeur d’établissement formé à celle-ci) et une structure (un cabinet, un centre de formation…) qui offre un ensemble de garanties, comme la possibilité de bénéficier d’une documentation juridique, ou une assise financière utile en cas de litige. Egalement convaincu qu’un évaluateur unique appréhendera avec difficulté la complexité des établissements, l’Institut de formation des cadres de l’animation et du social (Ifocas) de l’Institut régional du travail social (IRTS) Languedoc-Roussillon (habilité pour pratiquer des évaluations externes) a constitué des équipes de trois experts aux compétences complémentaires.

Or, pour faire chuter les prix dans un contexte concurrentiel, certains organismes n’hésitent pas à jouer sur le nombre et le profil des évaluateurs. « Pour un EHPAD [établissement d’hébergement pour personnes âgées dépendantes] par exemple, j’estime important qu’il y ait un médecin dans l’équipe d’évaluateurs mais, si l’on veut tirer les prix vers le bas, on peut aussi imaginer faire appel à des stagiaires », observe François Charleux. D’autres misent sur la baisse de la durée de l’évaluation. Le coût des évaluations au regard des estimations de l’ANESM n’invite pas à l’optimisme : l’agence avait en effet initialement prévu un budget de 10 000 € pour dix jours d’évaluation externe, à la charge de l’établissement. Or, fin juin 2013, le coût moyen d’une évaluation externe était compris entre 3 440 € (pour 3,6 jours facturés pour les organismes de service à la personne) et 7 850 € (pour 7,7 jours facturés pour les EHPAD) avec de fortes disparités selon les structures. « Certains gros cabinets qui n’étaient pas spécialisés dans le social ont abandonné le marché car les prix pra­tiqués sont globalement très inférieurs à ce qui existe dans d’autres secteurs », note Daniel Guaquère.

« La pire des erreurs consiste à prendre l’organisme le moins cher et le plus rapide », dénonce Thierry Couvert-Leroy. De fait, comme le souligne François Charleux, « avec la baisse des prix, c’est la qualité des rapports qui baisse aussi ». « L’évaluation nécessite des entretiens, des visites sur site, ce qui est impossible à réaliser en un jour ou deux », poursuit Daniel Guaquère. « Etant donné que certains coûts sont incompressibles, il est difficile d’effectuer une bonne évaluation dans un établissement moyen en moins de sept ou huit jours, soit en dessous de 7 000 €. Sinon, c’est une évaluation bradée », avance aussi Pierre Savignat.

La baisse des prix est d’autant plus préoccupante que les évaluations externes à venir seront sans doute plus complexes à réaliser : alors que les associations tôt engagées dans la démarche étaient plu­tôt en pointe dans la réflexion sur la qualité de leurs prestations, ce ne sera sans doute plus le cas de celles qui tardent à s’impliquer.

En attendant que l’ANESM, saisie de l’insuffisance de certains rapports, écarte les organismes peu scrupuleux ou incompétents (3), Daniel Gacoin pré­conise l’organisation d’un autocontrôle entre évaluateurs volontaires sous la forme, notamment, de lectures croisées de rapports anonymisés. Reste que, pour l’heure, c’est surtout aux établissements de faire preuve de vigilance. D’abord en vérifiant que le CV des évaluateurs répond bien aux critères de compétences exigés. Ensuite en étant très précis dans leur commande : « Plus le contrat entre l’association gestionnaire et l’organisme habilité est rigoureux, moins l’évaluation s’expose à être de médiocre qualité », note Thierry Couvert-Leroy. L’ANESM devrait d’ailleurs publier d’ici peu un guide destiné à aider les établissements à mieux cadrer le processus (du choix de l’évaluateur à l’élaboration du contrat d’évaluation).

La façon dont les premiers rapports vont être traités par les autorités administratives devrait également avoir un impact sur les modalités de rédaction de ceux à venir. Or, étant donné l’afflux prévisible, un risque d’embolie existe : les agences régionales de santé (ARS) et les conseils généraux n’auront pas le temps de les lire tous dans le détail. Les organismes évaluateurs ont d’ores et déjà été invités à produire, en plus de la synthèse obligatoire, un abrégé dont le modèle est disponible sur le site de l’ANESM. « C’est plutôt une bonne chose sur le principe, dans la mesure où cela va permettre aux autorités de repérer rapidement les conclusions principales du rapport. Mais c’est aussi une opportunité manquée : le décret du 30 janvier 2012 créant l’abrégé aurait pu être l’occasion de rendre plus lisible la structure du rapport tel qu’il a été défini dans le cahier des charges, ce qui aurait facilité le travail des évaluateurs. Or cela n’a pas été le cas », relève Pierre Savignat. Qui regrette que la nouvelle circulaire que vient de rendre publi­que la DGCS (voir ce numéro, page 44) ne fournisse pas de repères plus précis pour les organismes évaluateurs.

Si l’hypothèse pessimiste d’une multiplication des rapports réalisés à la va-vite se confirme, François Charleux redoute qu’elle ne fasse le jeu des par­tisans de la certification : « L’insuffisance des rapports risque de conduire à une réforme en ce sens. J’en veux pour preuve la tendance au normatif qui se dessine – comme on le voit avec le rapport Tregoat [4] qui préconise une homogénéisation des démarches d’évaluation par un recours à des référentiels de type certi­fication. » Et de poursuivre : « Toute la question est de savoir comment vont réagir les instances régionales ou nationales qui défendent les associations gestionnaires : elles s’étaient fortement posi­tionnées avant la loi 2002-2 contre la certification, mais, depuis, elles ont ­malheureusement très peu milité pour qu’une évaluation intelligente se mette en place… »

L’évaluation externe des activités et de la qualité des prestations des établissements et services sociaux et médico-sociaux est obligatoire depuis la loi 2002-2. Défini par l’annexe 3-10 du code de l’action sociale et des familles (qui résulte du décret du 15 mai 2007), son cahier des charges « est un document exigeant qui propose une évaluation portant, d’une part, sur l’effectivité des dispositifs garants des droits et des libertés des usagers (conseil de vie sociale, projet personnalisé…) et, d’autre part, sur le projet de l’établissement en termes de pertinence, de cohérence et d’efficacité, en référence à la méthodologie d’évaluation des politiques publiques », explique François Charleux, directeur du cabinet RH & Organisation. Distincte du contrôle des normes en vigueur ainsi que de la certification, l’évaluation « doit viser à la production de connaissance et d’analyse », mais aussi « permettre de porter une appréciation qui l’inscrit dans une logique d’intervention et d’aide à la décision », précise l’annexe 3-10. Elle implique « un diagnostic partagé, la construction d’un cadre de référence spécifique d’évaluation, le choix d’outils de mesure et d’appréciation adaptés ». Elle repose, en outre, « sur la mobilisation des partenaires concernés aux différentes étapes de la démarche évaluative » et « contribue à la coopération entre les usagers, les professionnels, les gestionnaires des établissements et services sociaux et médico-sociaux et les autorités publiques ».

Sur la même ligne que la direction générale de la cohésion sociale, qui refuse de revoir l’échéance du 3 janvier 2015, Pierre Savignat, membre du conseil scientifique de l’ANESM, estime que « reporter les choses serait un remède pire que le mal », étant donné le retard déjà pris par rapport au vote de la loi 2002-2 instituant l’évaluation externe. Face au non-respect prévisible des délais par une partie des établissements, Thierry Couvert-Leroy, responsable « gestion et ressources de la solidarité » à l’Union nationale interfédérale des œuvres et organismes privés sanitaires et sociaux (Uniopss), envisage l’instauration d’un dialogue avec l’autorité administrative comme une option vraisemblable : « Si un établissement s’est engagé dans la démarche, mais ne peut pas faire appel à l’organisme évaluateur qu’il a repéré, on peut imaginer qu’il se tourne vers son autorité de tutelle pour demander un délai de quelques mois. » Même prévision pour François Charleux, directeur du cabinet RH & Organisation : selon lui, l’année 2015 sera « sans doute une “année tampon” qui laissera la possibilité aux établissements de continuer à fonctionner en attendant de réaliser leur évaluation ». Dans l’hypothèse où aucune réforme n’interviendrait, une fois les autorisations renouvelées en 2017, la même frénésie autour de l’évaluation externe risque toutefois de se reproduire dans sept ans, terme réglementaire auquel les établissements devront remettre leur prochaine évaluation externe. « Ce sera un marché cyclique qui renaîtra et s’effondrera périodiquement », prévoit Laurent Barbe, consultant au cabinet CRESS.