L’évaluation décomplexée ?

Quand la loi 2002-2 a imposé aux établissements et services sociaux et médico-sociaux (ESSMS) de procéder à une évaluation de leurs activités et de la qualité du service rendu, un vent de fronde s’est levé dans le secteur. Associant l’évaluation aux dérives de la nouvelle gestion publique et à son cortège d’outils de pilotage uniformisant les pratiques, les professionnels ont mis en avant le caractère ineffable, insondable, indicible de la relation à l’autre, constitutive du travail social. « Il y a eu un vrai courant d’“évaluation bashing” », commente Laurent Barbe, consultant en politiques publiques et action sociale, lors d’une journée consacrée par l’Ecole supérieure de travail social de Paris (ETSUP) aux enjeux de visibilité et aux risques de normalisation portés par l’évaluation(1). Un courant « ridicule », ajoute-t-il, parce qu’« il n’y a pas d’avis à avoir sur l’évaluation en général, mais sur des formes précises d’évaluation ».

La nécessité de promouvoir l’évaluation de l’activité des ESSMS avait été développée dès le milieu des années 1980 par l’inspection générale des affaires sociales, rappelle Pierre Savignat, consultant formateur, ancien membre du conseil scientifique de l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux (ANESM)(2). Les inspecteurs avaient expliqué en substance pouvoir contrôler le « contenant » des ESSMS – budget, régularité des comptes, respect des dispositions législatives et réglementaires, données quantitatives sur l’activité –, mais n’avoir aucune information sur le « contenu », c’est-à-dire ce que font réellement les établissements et services, les effets de leurs actions, leur utilité sociale. Face à cette « boîte noire », les autorités publiques, et en particulier les élus des conseils généraux, se sont fortement investies pour défendre l’évaluation dans la loi 2002-2, précise Pierre Savignat, « et ce, quelle que soit leur orientation politique ».

Quinze ans après l’instauration de l’obligation d’évaluer, le processus a abouti, « malgré un développement chaotique et parfois incertain, constate le consultant. La quasi-totalité des structures concernées par l’échéance 2015-2017 – environ 25 000 – ont répondu à l’obligation de procéder à au moins une évaluation interne et une évaluation externe. » Mais, si les positions de rejet ne sont plus aussi affirmées, deux conceptions opposées de la démarche continuent néanmoins à s’affronter. « La première, centrée sur le respect des obligations formelles, emprunte sa logique aux démarches “qualité” issues du monde des services. Elle correspond à une approche extrêmement taylorienne de l’action et donne une faible place à la réflexivité des parties prenantes. On se contente plutôt de les faire parler pour remplir les cases de tableaux. Les évaluations de ce type se soucient surtout de la conformité de l’action, mais se demandent peu si cette dernière est utile et efficace », développe Laurent Barbe(3). Cette première orientation, vécue par les professionnels comme très loin de leur travail réel, tant dans son langage que dans ses modes de présentation, n’a cessé de se renforcer, estime le spécialiste, parce que les institutions qui commandent l’évaluation – agences régionales de santé, conseils départementaux, Etat – ont tendance à la rabattre sur ce qu’elles connaissent : « une forme plus ou moins sophistiquée de contrôle de gestion, qui pourrait faire craindre que l’évaluation devienne une certification, comme dans le sanitaire ».

Le second modèle comporte aussi une dimension d’analyse de conformité des fonctionnements, mais l’intègre dans une réflexion plus large sur l’articulation entre des missions, des publics, des moyens, et également sur les effets, les impacts ou les résultats de l’action. Pour le consultant, cette seconde conception, qui s’appuie sur un questionnement effectif des usagers, des professionnels et des partenaires, semble mieux correspondre à l’esprit des textes. « Elle est surtout bien plus cohérente avec la perspective d’une amélioration continue des pratiques, qui ne peut pas se mener contre les acteurs concernés, mais doit chercher à mobiliser leurs capacités d’analyse et d’engagement dans un débat exigeant. » Lorsque c’est le cas, les professionnels se montrent vraiment intéressés par les démarches d’évaluation – voire les plébiscitent, affirme Laurent Barbe.

« Incontestablement, il y a eu un fort mouvement d’acculturation à la pratique évaluative au sein des ESSMS, bien au-delà de la seule réponse à une obligation législative, se réjouit Pierre Savignat. L’évaluation est devenue un outil de réflexion sur le travail réalisé, en s’attachant à son contenu et en essayant d’approcher les effets sur la situation des usagers. » Les évaluations internes, qui s’apparentent à des auto-évaluations, puisqu’elles sont effectuées par les établissements et services eux-mêmes, ont servi d’apprentissage. Malgré leur caractère quelque peu brouillon et souvent chronophage, ces premiers travaux ont produit des résultats utiles pour les professionnels et gestionnaires d’ESSMS, qui ont été « quasi systématiquement suivis de plans d’action et de facteurs d’amélioration », affirme Pierre Savignat. Quant aux évaluations externes, c’est-à-dire réalisées par un organisme extérieur habilité par l’ANESM, il lui semble qu’elles ont « permis de mettre en lumière des avancées certaines dans la qualité du service, la qualité d’accueil et d’accompagnement des personnes, ainsi qu’une réelle faculté d’adaptation ».

Les parlementaires n’avaient pas souhaité réglementer l’évaluation interne. « Les différents textes réglementaires qui en font mention visent essentiellement à favoriser les processus évaluatifs dans les ESSMS, en leur laissant une très grande liberté, tant sur les méthodes que sur leur rythme », explique Pierre Savignat(4). De leur côté, les évaluations externes se caractérisent par des productions très diverses – et d’inégal intérêt –, notamment du fait d’une commande publique insuffisamment définie.

Internes ou externes, les évaluations visent à discriminer et promouvoir les meilleures pratiques et s’appuient, pour ce faire, sur des idées et des valeurs. Dans le cadre d’une recherche franco-québécoise relative aux activités évaluatives dans le secteur de la protection de l’enfance – dont il considère que les résultats s’appliquent à l’ensemble du secteur –, Marc Rouzeau, directeur de la recherche au centre de formation Askoria, identifie quatre orientations de l’évaluation. « Elles sont toutes les quatre légitimes, mais il est impossible de les mettre toutes en œuvre simultanément. Les établissements et services font des dosages entre ces approches selon ce qu’ils jugent être le plus important. Ce sont ces choix qu’il convient d’expliciter », développe Marc Rouzeau(5). La première catégorie concerne les démarches évaluatives qui s’intéressent essentiellement à « la distribution optimale des prestations, la rationalisation des modes de faire et la performance des organisations ». Dans cette approche, on se centre surtout sur l’analyse des effets de l’action et on se réfère à une figure de l’usager-client. La deuxième tendance consiste à se préoccuper davantage de la sécurisation des pratiques d’accompagnement et de l’efficacité des services rendus. « Ici, ce sont les impacts pour les bénéficiaires, considérés avant tout comme des sujets cliniques, qui sont pris en compte », précise Marc Rouzeau. La troisième orientation vise à l’amélioration de l’animation institutionnelle : la démarche évaluative interroge « la dimension coopérative des modes de management interne, ainsi que la consistance des relations partenariales externes ». Dans cette troisième logique, les usagers sont considérés comme des contributeurs participant à la coproduction des relations sociales et pouvant attester de la qualité du climat social et démocratique interne. Enfin, la dernière famille de démarches évaluatives identifiée par le chercheur est celle qui vise à actualiser et densifier le projet institutionnel. « L’accent est alors mis sur l’élucidation et la formulation explicite des valeurs, sur la cohérence des actions stratégiques internes afin d’aider les équipes à redonner du sens à leur engagement. Dans ce cas, s’ils sont associés, les usagers peuvent être amenés à occuper une place relativement politique, se rapprochant de l’acteur citoyen », conclut Marc Rouzeau.

Il n’y a pas de cadre méthodologique unifié pour apprécier la qualité du service rendu et ses effets sur la situation des usagers, mais « on peut tenter quantité de choses différentes selon les publics », estime Laurent Barbe. L’essentiel est de « sortir de la notion de “satisfaction”, qui est extrêmement autocentrée et presque obscène – par exemple quand on parle avec les parents de ce qu’on a fait avec leur enfant handicapé ». Au lieu d’utiliser un questionnaire de satisfaction à l’entrée d’un centre d’hébergement et de réinsertion sociale (CHRS), qui accorde une grande importance aux procédures et protocoles, on peut demander aux usagers de faire le récit de leur arrivée dans la structure. « On a alors des émotions, du contexte préalable, des éléments auxquels on n’aurait jamais pensé auparavant, souligne le consultant. C’est souvent dans ces démarches modestes qu’on a les questionnements les plus pertinents, car au plus près des personnes. » Mais encore faut-il utiliser ces outils d’expression de manière ouverte et dans des conditions de sécurité pour les usagers comme pour les professionnels, par exemple par un traitement anonymisé des propos. Sinon, les craintes de représailles peuvent freiner la liberté de parole des usagers et le risque est de verser dans une évaluation des salariés, et non des services rendus par l’institution. Pas question, pour autant, de croire qu’il suffirait d’ouvrir le micro pour recueillir une parole qui dise ce qu’il conviendrait de faire. « Il y a un vrai travail à opérer pour déterminer ce qui est important dans ce qui a été exprimé – et ce qui est important est souvent peu statistique », note Laurent Barbe. « Ce qui m’ennuie ici, c’est que je ne peux pas accueillir mon fils », a par exemple indiqué un seul usager de CHRS. Or, de l’avis des professionnels concernés, cette remarque est tout à fait fondée. Les usagers peuvent aussi mettre au jour des dysfonctionnements cachés. Ainsi, ces parents faisant observer que le psychiatre de leur enfant s’endort pendant les séances et qu’il y a des ratés de rendez-vous en permanence. « Tout le monde était au courant, mais il y avait du masquage dans les équipes, relève Laurent Barbe. Il faut que ce qui y est dit diffuse dans les pratiques quotidiennes. »

L’évaluation de la qualité des prestations et de leurs effets pour les usagers pose notamment la question des indicateurs de réussite à prendre en compte. Qu’est-ce qui est à considérer comme une « réussite » ? S’agissant par exemple d’un dispositif visant à éviter le placement d’un enfant, la réussite après six mois ou un an d’intervention sera mesurée à l’aune de la décision de ne pas retirer l’intéressé à sa famille. « Mais qu’en est-il du développement psycho-affectif de l’enfant, de la qualité du lien ? », interroge Bénédicte Aubert, directrice générale de la Fondation Grancher(1). Autre exemple : la suppression ou la diminution des contrats jeunes majeurs, qui impose de rendre les jeunes autonomes le plus vite possible. « Ce n’est pas parce qu’il n’y a pas de possibilité d’insertion pour les jeunes dont on s’occupe que c’est un échec pour les professionnels », fait observer Isabelle Joly, formatrice en travail social(2).