L’évaluation au risque des malentendus

« La loi 2002-2 avait fondé le principe d’un engagement du secteur social et médico-social dans un cercle vertueux articulant démarche de projet d’établissement, évaluation interne, évaluation externe. Elle inscrivait ces exigences dans une perspective continue d’amélioration de la qualité des actions et réponses apportées aux personnes accompagnées. A la fin du cycle dans lequel toutes les structures autorisées avant 2002 devaient avoir réalisé leur évaluation interne et externe, on peut formuler un certain nombre de remarques.

La démarche d’évaluation externe a finalement été engagée par 83 % des établissements sociaux et médico-sociaux à la fin 2014 contre 29 % à la fin décembre 2013. Une progression fulgurante (voire inespérée) qui doit beaucoup à la mobilisation, voire aux menaces, de certaines autorités et à l’inquiétude parfois nourrie par les consultants. Dans ce contexte, nombreux ont été les acteurs à déplorer la faiblesse des démarches tant sur le fond que dans les processus de travail. A un degré tel qu’il semble que l’objectif d’une acculturation des équipes à l’évaluation comme modalité de progression continue ait été largement manqué ou dévoyé.

On doit alors espérer qu’un bilan approfondi (voire une évaluation !) sera dressé et surtout qu’il distinguera clairement dans les productions ce qui relève vraiment de l’évaluation et ce qui relève d’une forme de contrôle normatif loin de l’esprit des textes. Car deux conceptions n’ont cessé de s’opposer depuis le démarrage du dispositif.

La première, tout en utilisant la terminologie de l’évaluation, emprunte en fait sa logique aux démarches “qualité” issues du monde des services. Elle se caractérise par son formalisme, par l’importance donnée au respect du prescrit et par une analyse des écarts observés essentiellement dans le registre de manquements (voire de fautes) à corriger par de la procédure et de la formalisation.

Cette approche souffre, à l’évidence, de nombreux défauts rédhibitoires dont les principaux sont : une vision taylorienne de l’action dans laquelle l’essentiel tient dans le respect de règles, de procédures, de recommandations édictées sur un mode descendant ; une faible place donnée à la parole et à la réflexivité des parties prenantes qui ne sont invitées que comme informateurs des tableaux (faits/à faire) qui constituent la structure centrale du travail ; une approche vécue par les professionnels comme très loin de leur travail réel tant dans son langage que dans ses modes de présentation ; une faible capacité à questionner les cultures institutionnelles et donc à enclencher une dynamique continue. Le fait d’exiger que celle-ci soit tracée annuellement dans les rapports d’activité ne change pas grand-chose à l’affaire si les changements évoqués sont référés à une analyse trop limitée.

La prépondérance de cette orientation n’a cessé d’être renforcée par de nombreux facteurs. On peut citer la pression exercée par nombre d’institutions délivrant les autorisations réduisant fréquemment l’évaluation à une forme de contrôle, au risque de chercher à lui faire jouer un rôle à contre-emploi, proche de celui de l’inspection(1). S’y ajoute l’arrivée de nombreux évaluateurs débutants, voire ne connaissant que peu (voire pas du tout) l’action des établissements évalués et se réfugiant dans la référence à une pseudo-conformité à des textes le plus souvent interprétés de manière étroite.

Mais il faut également observer le manque de temps, de moyens et d’outils pertinents pour traiter la masse des rapports découlant de la décision – dont l’absurdité a posteriori est évidente – d’obliger pratiquement toutes les structures du secteur (autorisées avant 2002) à mener ces démarches en même temps. Les approches mises en place pour faciliter ce traitement de masse (annexes exigées par l’ANESM, outils d’analyse de certaines ARS) amènent ainsi à une décomposition du travail évaluatif en de multiples sous-thématiques. Outre l’impression de répétition, elles sont loin de permettre une intelligibilité globale de l’analyse évaluative proprement dite, invitant même nombre d’évaluateurs à finalement plus documenter ces annexes que l’évaluation proprement dite et à dissimuler la faiblesse de leurs analyses derrière le volume des descriptions exigées.

La seconde approche, qui paraît minoritaire, s’inscrit dans une perspective plus clairement évaluative, comportant aussi une dimension d’analyse de conformité des fonctionnements mais l’intégrant dans une réflexion plus large, sur l’articulation entre des missions, des publics, des moyens et aussi sur les effets, impacts, ou résultats de l’action. Elle s’appuie, comme les textes le demandent, sur un questionnement effectif des parties prenantes (usagers, partenaires, professionnels). Elle est, à mon avis, bien plus proche de l’esprit des textes (loi 2002-2 et décret du 15 mai 2007) pour qui veut bien prendre le temps de les lire. Elle est surtout bien plus cohérente avec la perspective d’une amélioration continue des pratiques, qui ne peut pas se mener contre les acteurs concernés mais doit chercher à mobiliser leurs capacités d’analyse et d’engagement dans un débat exigeant. C’est de celle-ci qu’il faut parler maintenant.

Si, dans les années 1990, on nous avait prédit que les professionnels du secteur pourraient être intéressés par les démarches d’évaluation, voire les plébisciter, nous ne l’aurions pas cru. Pourtant, c’est ce qui peut s’observer de manière régulière dans les structures qui s’y sont engagées de manière vraiment intéressée. Les critiques qui ont longtemps prévalu, même si elles sont loin d’avoir disparu(2), se sont érodées au contact de la pratique effective. Beaucoup de professionnels ont pu constater qu’elles constituent des temps intéressants de réflexion sur l’action qu’ils peuvent contribuer à améliorer.

Ainsi, les évaluations internes et externes s’intéressent au même périmètre(3) et reposent sur des fondements proches.

→ Elles cherchent à instruire la question des écarts qui existent toujours entre le souhaitable de l’action et sa mise en œuvre.

→ Elles portent sur les pratiques professionnelles réelles et essaient de ne pas réduire l’action à la simple application de prescriptions, procédures, recommandations. Cela invite à prendre en compte les paramètres de mise en œuvre de l’action, les effets de tous ordres qu’elle produit et parfois à questionner les outils ou procédures. Il ne suffit pas d’avoir mis en place une démarche formelle de projet personnalisé pour que celle-ci soit adaptée, pertinente, qu’elle soit suivie et encore qu’elle génère les effets souhaités de cohérence, de résultats produits. Car cela dépend aussi des usagers, du contexte, desmoyens, de la formation des professionnels et aussi de la qualité même des outils bâtis pour supporter ce travail. Il ne suffit pas d’avoir respecté la forme d’un conseil de la vie sociale pour que la participation ait progressé…

→ Elles ne considèrent pas les écarts comme des fautes(4) ou des manquements (contrairement aux démarches “qualité” dans leur volet prescriptif) mais comme des dimensions de l’action à investir de manière créative (par exemple en matière de participation des usagers).

Elles reposent sur une conception pluraliste de l’évaluation(5) cherchant à intégrer les différences de points de vue des parties prenantes de l’action dans une perspective de citoyenneté(6). Le questionnement, s’il est suffisamment ouvert, permet ainsi d’introduire du contradictoire, de décentrer la perception que l’on peut avoir du point de vue de l’institution. Il permet aussi de produire des éléments de validation de l’action par les usagers dont l’expression, même si elle “gratte”, n’est pas réduite à l’expression des râleurs ou à une approche par les dysfonctionnements comme c’est trop souvent le cas en temps ordinaire. Souvent d’ailleurs cette expression valide les efforts engagés par les professionnels et produit des effets de reconnaissance intéressants, même s’il faut ensuite travailler pour que les questionnements soient pris en compte dans des changements concrets.

→ Elles inscrivent l’action évaluée dans un contexte territorial, social, institutionnel qui souvent impacte les pratiques, met en tension les dispositifs, questionne les priorités (crise sociale, spécificités territoriales, manque d’un certain nombre de réponses en aval ou en amont). Cela rappelle que tout ne dépend pas des professionnels, des structures et de ce qu’ils devraient faire.

Ces démarches contribuent à mettre en évidence les paradoxes de l’action et les tensions délicates auxquelles elle doit chercher à répondre (équité de traitement/personnalisation de l’action – liberté des personnes accompagnées/nécessité de leur protection – respect des normes multiples/ moyens disponibles, etc.). Même s’il n’existe pas de résolution simple de ces tensions, il fait partie de la professionnalité d’arriver à les nommer et chercher des compromis acceptables. Quand elles rentrent dans ces perspectives, les démarches jouent bien le rôle de production de connaissances et d’analyse évoqué par le décret de 2007 fondant l’évaluation externe.

Au regard de ces éléments, il n’est pas donc pas paradoxal de penser que, lorsque l’évaluation procède d’une prise en compte respectueuse, étayée et débattue, les professionnels y perçoivent un intérêt pour leur travail qu’ils ressentent rarement en dehors.

Pour conclure, un risque central ressort de l’observation de la séquence qui est en train de se terminer. Il est que la différence des visions et attentes concernant l’évaluation entre autorités, directions associatives, équipes de terrain et usagers ne continue à s’accroître. Certains souhaitent ainsi que l’évaluation évolue sur le modèle de la certification qui prévaut dans le sanitaire. Cela constituerait sans aucun doute un facteur d’augmentation des clivages et de soumission des acteurs de terrain à une logique descendante. Alors que l’évaluation devrait contribuer à produire de la cohésion et de la créativité collectives nécessaires à une progression de l’action qui ne peut se résumer à sa formalisation et son contrôle. »

Contact : laurent.barbe@cabinetcress.fr