« Depuis la loi du 2 janvier 2002 rénovant l’action sociale et médico-sociale, beaucoup d’auteurs se sont exprimés sur le sens et les méthodes qui leur semblaient les mieux adaptés pour réussir une évaluation externe. Ces points de vue se situaient en amont des démarches évaluatives. Par exemple, étaient proposés une approche transdisciplinaire, des outils conceptuels et méthodologiques ou encore une critique sur l’utilisation prépondérante d’outils de standardisation et de contrôle(1). Aujourd’hui, la plupart des évaluations externes ont été réalisées(2). Nous pouvons donc voir concrètement comment cela s’est traduit sur le terrain. Quels effets ont été produits par l’évaluation externe ? Comment celle-ci a-t-elle été vécue ? Les pratiques ont-elles été modifiées ?
Pour saisir la complexité du rôle de l’évaluateur et observer les stratégies qu’il met en œuvre, nous avons réalisé une étude de terrain dans un institut médico-professionnel (IMPro). Nous avons travaillé à la fois sur le rapport final de l’évaluation externe et sur le projet de service de l’établissement. Nous avons également interviewé des professionnels de l’établissement. A partir de l’analyse des documents, nous avons tout d’abord retracé le contexte des pratiques de l’évaluation. Puis, nous avons analysé en quoi ce contexte et les pratiques de l’évaluateur agissaient sur les résultats. Enfin, nous avons analysé les effets que produit l’évaluation sur des professionnels de terrain selon que la démarche d’évaluation externe ait été vécue comme un contrôle de conformité de pratiques ou comme un éclairage, une production de connaissance sur les pratiques professionnelles.
Nous avons constaté que, lors de la visite réalisée dans l’IMPro, l’évaluateur externe s’était essentiellement attaché au contrôle de la mise en conformité de l’établissement sur la base d’indicateurs préalablement définis, plutôt qu’à la recherche d’un diagnostic partagé. De fait, si la méthodologie et les outils choisis lors de l’évaluation externe ont permis de satisfaire au contrôle de conformité à la norme, ils n’ont pas toujours permis de saisir les processus d’action mis en œuvre au regard des finalités de l’établissement.
Il apparaît tout d’abord que les préconisations sont difficilement conciliables avec l’expérience de terrain des professionnels. Dans le rapport d’appréciation global, l’évaluateur signale ainsi que “l’intégration finale en milieu ordinaire de travail est en questionnement à ce jour car elle est trop axée sur l’établissement ou service adapté par le travail [ESAT]”. Il préconise de “développer les conventions avec les entreprises pour élargir le panel des stages”. Cependant, lors de nos entretiens, des professionnels ont insisté sur la somme d’efforts et d’implication qu’ils devaient déployer pour trouver un stage pour les personnes handicapées y compris en milieu protégé : “Alors on multiplie les contacts. On essaye de visiter, de se faire connaître, de créer du lien.”
Ce qui ressort également, c’est qu’un point fort de l’établissement est devenu invisible. Des professionnels de différents champs (sanitaire, éducatif, psychologue) participent activement au groupe “Vie affective et sexualité”, qui est un des projets phares de l’établissement. Il est décrit dans le projet de service et les professionnels qui ont été interrogés y font référence lorsqu’ils mentionnent qu’il existe une collaboration étroite entre différents corps de métier. La notion de “transversalité” défendue dans le projet de service (deux chapitres lui ont été consacrés) a échappé à l’évaluateur, qui ne fait pas référence à ce groupe de parole dans le rapport d’évaluation externe. Plus étonnant encore, dans la partie réservée aux préconisations, il est indiqué qu’il faudrait “valoriser les complémentarités interdisciplinaires autour du bénéficiaire”.
Quel est le vécu des “contrôlés”(3) ? Certains salariés que nous avons rencontrés ne semblent pas avoir considéré l’évaluation comme un processus de questionnement mis en place sur le mode participatif, mais plutôt comme un exercice auquel il fallait répondre. D’autres ont vécu l’évaluation comme un contrôle de leur activité et un manque de reconnaissance de leur expertise professionnelle située hors du champ du soin.
Que retenir de notre enquête ? De notre point du vue, l’évaluateur externe a fait plus de constats de l’existant qu’une véritable analyse et une recherche de sens qui facilitent l’amélioration des pratiques. Parler de mise en place d’une logique d’évaluation continue des établissements médico-sociaux sans que celle-ci soit vécue uniquement comme une contrainte nécessite que les professionnels soient associés à la construction des outils afin d’être considérés comme des acteurs de l’évaluation(4). Par ailleurs, pour vérifier que le retour de l’évaluation externe soit bien compris et ressenti de façon constructive par les acteurs, Philippe Lemaire et Pierre Savignat(5) proposent comme méthode de remettre à tous les membres du personnel un questionnaire pour débattre collectivement des résultats.
Pour éviter, dans ce cadre, le risque d’une évaluation subie et réduite à une simple mesure de conformité, pour que l’évaluation soit au contraire une opportunité de progrès au bénéfice notamment des personnes accompagnées, il est essentiel que les établissements et services choisissent une approche de l’évaluation externe fondée sur la compréhension des projets dans leur contexte. C’est bien dans ce croisement de regards entre l’évaluateur externe, les salariés, les usagers, que l’on trouvera les points forts et les points d’effort à traiter. C’est ce travail collectif qui facilitera l’investissement nécessaire pour faire face aux éventuelles insuffisances repérées pour améliorer les pratiques dans les établissements et services.
Au final, si les indicateurs restent nécessaires, il faut éviter de réduire l’évaluation externe à une simple méthode de score. Prendre en compte les logiques et les perceptions des différents acteurs reste l’essentiel d’une démarche d’évaluation de la qualité des prestations(6). Prendre le temps de s’interroger sur les processus plutôt que sur les procédures nous semble plus pertinent, mais demanderait du temps, paramètre probablement éloigné d’une rentabilité économique acceptable pour bon nombre de cabinets privés. »
(1) Voir, respectivement, la tribune libre de Richard Ribière – « La démarche qualité : un processus transdisciplinaire » – ASH n° 2400 du 25-03-05, p. 33 ; Jacques Papay – « Le défi conceptuel et méthodologique de la compréhension des effets de l’action sociale et médico-sociale : Evaluer n’est pas mesurer » – Les Cahiers de l’Actif n° 426-427 – Novembre-décembre : 2011 ; Michel Chauvière – « L’évaluation des politiques publiques : état(s) de l’art et controverses » – Revue française d’administration publique n° 148, 2013/4.
(2) La Société française de l’évaluation organisait d’ailleurs une journée d’étude le 15 octobre dernier : « L’évaluation des établissements et services sociaux et médico-sociaux et après ? »
(3) Un très petit nombre de professionnels (trois) a été interrogé. Il faudrait vérifier par l’entretien d’un plus grand nombre si ce vécu est ou non partagé par d’autres personnes.
(4) Marie-Thérèse Novellini et Jacques Papay – « La participation active de l’équipe et des usagers à l’évaluation externe : une garantie pour l’évaluation interne » – Les Cahiers de l’Actif n° 410-413 – Juillet-octobre 2010.
(5) « Réflexion autour de la question des indicateurs » – Les Cahiers de l’Actif n° 448-451 – Septembre-décembre 2013.
(6) Richard Ribière, 2005, déjà cité.
Contacts: