Evaluation : éclairages sur des débuts laborieux

Sociologue, consultant au cabinet G Consultant spécialisé dans le conseil, la formation, l'accompagnement et l'évaluation dans le secteur social et médico-social

« Un basculement culturel à opérer »

«Depuis quelques mois, les réalisations d'évaluations internes et, plus sporadiquement, d'évaluations externes se multiplient. Le mouvement reste cependant timide, soulevant quelques inquiétudes quant au respect des calendriers légaux. Qu'est-ce qui justifie cet engagement très progressif dans l'évaluation ? Plusieurs explications sont avancées par les professionnels.

La question des moyens alloués ou mobilisables et les priorités de la vie institutionnelle sont le plus souvent mises en avant. Tous les établissements et services ne sont pas égaux face à ce type de contraintes. Le coût des évaluations est plus difficile à supporter pour les petites structures ou celles dont les financements sont précaires. Il faut pouvoir assumer les coûts liés aux temps de travail qui y sont consacrés, aux remplacements éventuels, le recours aux consultants et aux évaluateurs. Sans oublier les coûts induits par les ajustements qui prolongent les évaluations : actualisation du projet d'établissement, développement de projets, d'outils, formalisation de méthodes, de procédures et de partenariats, formation des salariés, etc. Au-delà du coût, l'évaluation représente aussi une contrainte organisationnelle importante. Concrètement, tout cela se traduit par une compression du temps consacré aux évaluations, qui menace leur qualité et donc leur pertinence.

La question des moyens n'explique cependant pas tout. Les discours tenus sur le terrain indiquent que l'évaluation demeure un «concept» flou et mal maîtrisé. Confondue avec le contrôle, peu distinguée parfois de la «démarche qualité», elle apparaît souvent suspecte. On lui reproche de ne pas traduire correctement les réalités professionnelles et de masquer des intentions politiques douteuses. Bref, le sens de l'évaluation fait débat. De manière plus surprenante, la question du sens des recommandations de bonnes pratiques professionnelles publiées par l'Agence nationale de l'évaluation et de la qualité des établissements sociaux et médico-sociaux (ANESM) est aussi parfois posée. Certains estiment qu'elles contraignent trop l'organisation du travail et les pratiques. Elles sont perçues comme une tentative d'uniformisation, de «standardisation», de «formatage», critiques également adressées à l'évaluation. Ce n'est pourtant pas une «mise en conformité» qui est recherchée, mais plutôt une mise en cohérence. Le décret du 15 mai 2007 fixant le contenu du cahier des charges pour l'évaluation des activités et de la qualité des prestations des établissements et services sociaux et médico-sociaux (1) précise par exemple que «l'évaluation est distincte du contrôle des normes en vigueur». Malgré cela et une littérature abondante sur le sujet, la confusion et l'inquiétude se maintiennent. Alors à quoi tient ce malentendu ? Proposons trois hypothèses.

D'abord, la mutation des systèmes de représentations nécessaire à l'intégration de l'évaluation heurterait le système de valeurs du travail social. Le sentiment de perte de l'essence du travail social, qui repose en grande partie sur la qualité de la relation avec la personne, est fréquemment évoqué. La structuration et la formalisation des pratiques auxquelles conduit l'évaluation déshumaniseraient la relation. Ce qui est paradoxal parce que l'évaluation, comme les autres obligations et outils issus de la loi 2002-2, exprime une volonté de prendre en compte plus «pleinement» la personne. L'évaluation permet de dépasser les intentions et les déclarations qui ont longtemps fait foi - qui n'excluaient d'ailleurs pas des formes d'évaluation «spontanée». Conduite convenablement, elle met en exergue la générosité et le talent qui font le travail social et médico-social en procédant à une explicitation claire des références et pratiques utilisées. L'enjeu est d'ordre éthique, deux éthiques très proches qui ne se rencontrent pas. Les personnes bénéficient-elles bien de prestations de qualité et cela dans le respect de leurs droits, en réponse à leurs attentes et à leurs besoins ? Est-ce que l'évaluation est gênante parce qu'elle conduit à objectiver, à clarifier les pratiques ? Les pratiques ne peuvent-elles être mises en débat - au-delà des groupes d'analyse de la pratique ?

Ensuite, l'évaluation introduirait un système de représentations de la pratique et de son organisation sensiblement différent de celui en vigueur dans les établissements et services. L'évaluation suppose une capacité de projection explicite (projets d'établissement, d'action, individualisé, etc.) et une dynamique qui transformeraient les pratiques. Elle crée un glissement de la logique dans laquelle la pratique est définie par la relation à la personne (et ses incertitudes) à une logique de compétences, renforcée explicitement ces dernières années par l'actualisation des diplômes d'Etat du secteur, dans laquelle les professionnels ont du mal à se retrouver. Le développement très progressif de l'évaluation tiendrait donc en partie à la définition de l'identité professionnelle des métiers sociaux et médico-sociaux et aux modes de socialisation professionnelle en vigueur dans le secteur (2).

Enfin, les freins à l'évaluation pourraient être révélateurs de l'échec du processus d'autonomisation du secteur social et médico-social. Historiquement, ce dernier a progressivement cherché à ériger son propre modèle professionnel intégré, inspiré des professions médicales. Longtemps les professionnels se sont définis comme des «agents du changement» (3), positionnés politiquement. Mais l'Etat-providence de l'après-guerre et l'étiolement des utopies, notamment, auront raison de ce processus d'institutionnalisation. Le travail social, bien que toujours composite et contrasté, est aujourd'hui façonné par la commande sociale. Le désir d'autonomie peut de moins en moins être affirmé.

Retenons aussi l'idée de la nouveauté relative de l'évaluation pour les pouvoirs publics, notamment les collectivités territoriales. De fait, la culture de l'évaluation est mal diffusée et partagée entre les organismes de tutelle ou financeurs et les établissements et services, ce qui peut être une source d'incompréhensions supplémentaire.

L'intégration de l'évaluation ne pourra se faire sans une accentuation du travail d'explicitation et de formation des professionnels. Le basculement culturel à opérer n'est pas neutre et réclame un accompagnement certain. »

Contact : gconsultant33@gmail.com - www.gconsultant.fr

Respectivement conseillère technique au CREAI Rhône-Alpes et animateur du groupe « évaluation et loi 2002-2 » de la Société française de l'évaluation

« Une aventure en terre quasi inconnue »

«L'année 2009 a incontestablement constitué une étape dans la mise en oeuvre des évaluations au sein des établissements et des services sociaux et médico-sociaux. Les différentes enquêtes conduites montrent que de nombreuses structures se sont concrètement engagées dans des dynamiques évaluatives. Progressivement, les gestionnaires et professionnels se forment, expérimentent, se questionnent.

Parallèlement, l'activité de l'ANESM a permis à la fois de consolider le dispositif institutionnel et de favoriser des dynamiques d'appropriation. Citons particulièrement la mise à jour de la procédure d'habilitation et la publication des premières listes d'organismes, la poursuite de la validation et de la diffusion de recommandations de bonnes pratiques professionnelles et, enfin, l'organisation de journées interrégionales qui ont connu un succès certain en réunissant plusieurs milliers de participants.

Peu ou prou, l'évaluation voulue par le législateur s'inscrit progressivement dans le paysage social et médico-social.

Pour autant, toutes les questions posées par cette nouvelle commande publique n'ont pas encore de réponse. Les finalités, l'objet même de l'évaluation ne sont pas toujours clarifiés. Des confusions persistent entre évaluation et démarche qualité, voire certification.

Ces incertitudes relèvent d'abord de la jeunesse d'un processus qui a vocation à se développer dans quelques dizaines de milliers de structures aussi diverses par leur taille, leur histoire, leurs champs d'action ou les réglementations applicables. De même, les autorités publiques sont loin d'avoir une perception unifiée et cohérente de ce qu'elles attendent des évaluations et de ce qu'elles doivent être.

Ces difficultés sont accrues par le fait que, sous le terme d'évaluation, l'on constate des réalités très diverses. Cela renvoie à la polysémie du terme «évaluer» (apprécier, mesurer, mettre en valeur...), qui, de fait, recouvre une pluralité de pratiques qui ont néanmoins en commun de porter un regard sur une situation dans un but d'aide à la décision. Ainsi, faire un rapport d'activité, c'est évaluer les principaux faits de l'année, les analyser. Pour établir ou réactualiser un projet institutionnel, on fait un bilan, un état des lieux, on évalue la situation. Il en va de même avant d'engager une démarche qualité, lorsque l'on établit un diagnostic initial. Le suivi régulier d'un processus nécessite aussi non seulement de constater des écarts, mais de les analyser, de les évaluer. La certification, l'audit représentent aussi des formes évaluatives. Mais toutes ces pratiques, quelles que soient leur utilité et leur pertinence, n'ont pas la même portée ni les mêmes finalités. Les méthodes aussi ne sont pas totalement identiques, elles ne mobilisent pas forcément les mêmes acteurs ni, de la même façon, elles ne produisent pas les mêmes résultats.

Pour autant, l'essentiel n'est pas, aujourd'hui, de chercher à couler dans le bronze une définition pour, d'un point de vue doctrinal, dire ce qui serait de l'évaluation et ce qui n'en serait pas. Il convient d'accepter une pluralité de définitions et surtout de pratiques de type évaluatif. Néanmoins, si l'on admet cette diversité, alors il faut absolument déterminer à quel type d'évaluation l'article L. 312-8 du code de l'action sociale et des familles (CASF) nous invite, car toutes les formes d'évaluation ne sont ni identiques ni substituables les unes aux autres. Plusieurs documents (le guide réalisé par le Conseil national de l'évaluation sociale et médico-sociale, le décret du 15 mai 2007 fixant le contenu du cahier des charges pour l'évaluation externe, les recommandations publiées par l'ANESM...) contribuent à éclairer le contenu de la commande publique.

La loi fait obligation d'évaluer «les activités et la qualité des prestations». De quoi s'agit-il ? Les activités et les prestations développées par un établissement ou un service visent tout d'abord à permettre la réalisation des objectifs fixés. Ces derniers, que l'on retrouve notamment dans le projet institutionnel, découlent des missions d'utilité sociale et d'intérêt général imparties conformément à l'article L. 311-1 du CASF, missions qui sont précisées dans divers documents (lois particulières, décrets, schémas, conventions...). Mais ni les activités et prestations, ni les missions ne font sens en soi. Leur finalité est de produire des effets sur des usagers. L'article L. 116-1 du CASF dispose qu'il s'agit de répondre à des besoins et des attentes et, principalement, de promouvoir l'autonomie, de prévenir les exclusions et d'en corriger les effets. Autrement dit, les missions et leurs déclinaisons en activités et prestations au niveau de chaque établissement ou service n'ont de sens qu'à travers des effets attendus sur les personnes accueillies et accompagnées. Elles visent bien à répondre à des besoins et des attentes.

De fait, l'on ne peut réellement séparer les activités et la qualité des prestations des moyens dont on dispose et de la commande publique, ni de l'appréciation portée sur les attentes et les besoins des usagers ainsi que des effets attendus et produits. Cela permet de comprendre que l'évaluation des établissements et services est articulée avec les politiques publiques qui les fondent et qui leur confèrent leur légitimité.

Dès lors l'évaluation, telle qu'elle ressort de la loi 2002-2, vise à porter une triple appréciation : comment les actions développées répondent-elles aux missions définies ? quelles sont les qualités de ces actions, des activités et des prestations ? quels sont les effets produits vis-à-vis des usagers ? Pour cela, le processus évaluatif va examiner un triptyque objectifs-actions-effets. Il va notamment s'agir d'analyser chacun de ces éléments mais aussi les tensions et leurs interactions, ce qui nécessite d'approcher les établissements et services comme des systèmes complexes d'actions et d'acteurs.

Une fois le cadre posé reste la question du comment faire. Toutes les questions se posent en même temps : par quoi commencer ? qui mettre autour de la table ? faut-il ou non construire son propre référentiel ? ne va-t-on pas se perdre dans les sables ? trouvera-t-on le temps, et l'énergie, d'aller jusqu'au bout, sans négliger la mission première auprès des personnes accueillies ou accompagnées ? ne risque-t-on pas d'effets inattendus, voire pervers, à mettre ainsi les choses à plat publiquement ? comment y associer réellement les différentes parties prenantes, les professionnels certes, mais aussi les usagers, leurs représentants et éventuellement les partenaires privilégiés ?

De même, de nombreuses structures qui développent des pratiques évaluatives s'interrogent pour savoir si celles-ci correspondent bien à la commande publique issue de l'article L. 312-8 du CASF, si le travail réalisé va pouvoir être utile à cette évaluation, qu'elle soit interne ou externe.

Pour cela, il apparaît nécessaire d'engager des réflexions à partir des pratiques de terrain, puis d'interroger l'impact de ces évaluations sur les politiques publiques pour, enfin, dégager des repères de nature à assurer la qualité, la pertinence et la fiabilité des évaluations.

En premier lieu, il s'agit donc d'échanger, de valoriser et de diffuser les expériences. Il sera possible ensuite d'approfondir les dimensions conceptuelles. Il paraît important de les décortiquer, d'examiner ce qui a fonctionné, les difficultés rencontrées, les méthodes utilisées et de voir comment, empiriquement, ces expériences conduisent à la fois à répondre à la commande évaluative et à lui donner sens.

Ensuite, il convient de regarder comment les éléments qui ressortent de ces évaluations intègrent l'observation des besoins et comment elles contribuent à porter un regard critique sur les modes de mise en oeuvre des politiques publiques, notamment au plan local, voire sur les politiques elles-mêmes. Corrélativement, il est important, pour les structures, de montrer comment les besoins qui émergent de la conduite des évaluations sur un territoire informent les politiques publiques et de faire valoir leurs points de vue auprès des conseils généraux et des administrations déconcentrées de l'Etat concernées.

Enfin, il s'agit de contribuer à assurer une veille critique sur la qualité des méthodes disponibles sur le marché. En effet, ce sont potentiellement plusieurs centaines de millions d'euros qui sont en jeu pour les années qui viennent. Avant même l'ouverture du grand marché de l'évaluation externe, l'évaluation interne est déjà très souvent accompagnée par des intervenants, des cabinets aux méthodes diverses et inégales. L'importance quantitative des structures entrant dans le champ de l'évaluation nécessite de très nombreux opérateurs. La qualité des méthodes disponibles sur ce marché n'est que rarement proposée à la discussion. La formalisation, à partir des pratiques et de leur confrontation à la commande publique, devrait permettre de fixer des repères structurants pour dessiner des principes méthodologiques et déontologiques de nature à garantir la qualité des évaluations conduites.

Questionner et approfondir ces axes de réflexions apparaît comme un enjeu important pour amplifier les dynamiques évaluatives. La Société française de l'évaluation et le CREAI Rhône-Alpes, tous deux engagés à divers titres dans la valorisation de l'évaluation auprès des professionnels et des usagers de l'action sociale, comme auprès des décideurs et des élus, souhaitent mettre à disposition des uns et des autres un espace de débats, d'échanges d'expériences et d'enrichissement théorique à partir de pratiques constatées sur le terrain. De ces réflexions est née l'idée d'un »Atelier de l'évaluation« (4). L'Atelier, de propos délibéré, est un endroit où l'on travaille comme un artisan, rechignant aux grandes séries et aux produits standardisés. Conduire l'évaluation dans son établissement ou service est, a fortiori lorsqu'elle est engagée pour la première fois, une aventure en terre quasi inconnue, même si des balises de méthode existent. »

Contact : CREAI Rhône-Alpes - 18, avenue Félix-Faure - 69007 Lyon - Tél. 04 72 77 76 23.