«Il existe une culture de l'évaluation au CAPs. En 1995, nous avions déjà mis en place une évaluation annuelle des agents », explique Denis Burel, directeur depuis une quinzaine d'années du Carrefour d'accompagnement public social (CAPs). Dès cette époque, le CAPs était en avance sur les futures logiques évaluatives qui allaient être inscrites dans la loi du 2 janvier 2002 rénovant l'action sociale et médico-sociale. Parmi les instruments développés alors dans cette importante structure publique, implantée en Meurthe-et-Moselle et dans la Marne, et voués à l'accompagnement des personnes handicapées (voir encadré page 32) : un projet d'établissement, un contrat de séjour et une charte des droits et des devoirs des usagers...
Au-delà des exigences légales
Aussi était-il cohérent de pousser ces logiques un peu plus loin en engageant l'ensemble du CAPs dans une démarche qualité. En 2000, le recrutement d'un emploi jeune aide à poser les premiers jalons de ce travail et, en 2003, le CAPs se dote d'une charte qualité, inspirée de celle du conseil général de la Meurthe-et-Moselle. Y figurent, entre autres, le développement d'une « démarche dynamique de maintien et d'amélioration continue de la qualité de service », prévoyant l'évaluation des pratiques professionnelles. Pour cette mission, une chargée de qualité est recrutée en novembre 2004. « C'est un travail à part entière », indique la titulaire du poste, Aurélie Rouillon, 28 ans, qui a obtenu en contrat d'alternance une licence d'animateur qualité. Parmi les idées-forces retenues pour mener à bien le projet : la volonté d'aller au-delà des exigences de la loi, qui stipule que les établissements doivent être soumis à deux évaluations internes et à deux évaluations externes par période d'autorisation de quinze ans. « Ce qui me semblait gênant, c'était que l'on instaure notre démarche qualité comme un énième formulaire à remplir avec, au final, deux experts qui se rencontrent de loin en loin, explique Denis Burel, au siège du CAPs, à Rosières-aux-Salines, près de Nancy. Je trouvais plus intéressant que l'on soit dans une démarche d'interrogation permanente. » L'autre exigence était d'élaborer un système d'évaluation « tridimensionné » favorisant le croisement des points de vue des agents, des usagers et de leurs familles ou représentants légaux.
Dès son arrivée, Aurélie Rouillon commence par visiter les nombreux services du CAPs, organisés en grands pôles (médico-social, travail adapté et insertion, accueil spécialisé, etc.). Elle se met également en quête des instruments susceptibles de l'aider à bâtir la démarche qualité. « A l'époque, en 2005, le guide des bonnes pratiques de l'Agence nationale d'évaluation sociale et médico-sociale n'existait pas. Il n'a été publié que début 2007. Alors je suis allée voir en externe, mais il n'y avait pas de méthodologie, pas d'outils particuliers dans ce domaine. » Conséquence : le processus d'évaluation a été totalement bâti en interne. Une difficulté, mais aussi une chance, estime Denis Burel : « Cela nous a permis de décider du sens que l'on voulait donner à cette évaluation, de réfléchir à ce que l'on évaluait, comment et dans quel but. C'était extraordinaire ! »
Sur ces bases, Aurélie Rouillon élabore un premier questionnaire, individuel et anonyme, destiné aux personnels. Validé par un comité de pilotage formé de professionnels, il est diffusé au premier semestre 2005 dans deux services « test » : un foyer d'accueil spécialisé et le service des ressources humaines. Très fourni, ce document de travail énumère 77 questions touchant au fonctionnement général du CAPs et à la prise en charge des usagers : « Avec quels documents et dispositifs peut-on informer les usagers sur leurs droits et devoirs, ainsi que leurs protections ? » « Quels sont les dispositifs qui permettent de consulter l'avis des usagers sur l'offre des prestations ? »... Mais ce « questionnaire utopique », qui devait être le même pour tout le monde, se révèle en réalité inadapté, notamment au fonctionnement des services administratifs. De plus, les questions ouvertes posent problème. « Sur un service d'une quarantaine de personnes, cela donnait une masse énorme de réponses, parfois assez vagues, qui ne faisaient pas suffisamment ressortir les points forts et ceux à améliorer », se souvient Aurélie Rouillon.
Se remettre en cause : une habitude
Les résultats de cet essai sont alors présentés au comité des experts rassemblant les partenaires et financeurs du CAPs (département, DDASS, Groupement des établissements publics sociaux), qui réoriente la coordinatrice vers des questions fermées afin de faciliter une meilleure analyse des réponses. Sans trop changer sur le fond, un deuxième questionnaire est élaboré autour d'une série de questions à choix multiples (réponses par « oui » ou « non », ou selon une échelle allant de « très satisfaisant » à « très insuffisant »), tout en laissant la place à des propositions d'amélioration du service. La formule se révèle nettement plus convaincante, et le processus d'évaluation est lancé successivement dans l'ensemble des services entre l'automne 2006 et l'été 2008. « Selon la taille des services, cela pouvait prendre de quelques heures à plus d'un mois, relate Aurélie Rouillon. Au début, je posais les questions en entretien individuel, mais j'avais parfois l'impression que le fait que je sois en face de la personne influait sur ses réponses. Alors j'ai décidé de distribuer le questionnaire pour avoir des réponses plus franches et pour que les gens ne se sentent pas obligés de répondre quand ils n'avaient pas d'avis. »
Les professionnels sociaux et médico-sociaux participent massivement à cette évaluation interne anonyme et fondée sur le volontariat : 335 personnes sur 358 interrogées (93,6 %) retournent le questionnaire. « Au début, ils se demandaient ce qu'on pouvait faire de mieux, mais le principe de se remettre en cause est bien établi au CAPs, et dans aucun service la démarche n'a été mal perçue. En outre, le fait d'avoir un questionnaire anonyme a été un bon choix », relève Philippe Klein, secrétaire CFDT du comité d'entreprise. Au dépouillement, l'enquête fait apparaître un taux de satisfaction important (souvent supérieur à 70 %) dans les domaines de l'accompagnement des usagers et de l'évaluation des pratiques professionnelles. En revanche, le résultat se révèle plus mitigé concernant la communication interne au CAPs et « la gestion du temps entre l'accompagnement des usagers et la lecture et l'écriture des documents », jugée insatisfaisante par la majorité des personnes interrogées. « Ce qui est ressorti, ce sont effectivement souvent des problématiques de moyens et de temps. Les gens aimeraient pouvoir faire plus », confirme un chef de service. « Certains aimeraient aussi passer plus de temps avec les usagers plutôt qu'à s'évaluer, même s'ils ont compris que cela faisait partie de leur boulot », reprend Philippe Klein.
Aurélie Rouillon engage, en parallèle, la démarche qualité auprès des usagers et de leurs familles ou représentants légaux. Des comités de pilotage spécifiques, composés de représentants de ces deux groupes, sont mis en place afin d'élaborer deux questionnaires différents. A l'égard des usagers, sept thèmes sont retenus : la communication, la citoyenneté, les rythmes de vie, l'environnement, l'hygiène et la sécurité, la formation, et enfin les activités sportives et socioculturelles. « Pour eux, l'évaluation s'est faite par petits groupes d'appartements ou par ateliers, de manière à dynamiser la verbalisation, explique Aurélie Rouillon. J'étais toujours accompagnée d'un professionnel social qui posait les questions. Il était issu d'un autre service que celui dans lequel on se rendait, pour éviter d'influencer les réponses. »
Des usagers parfois réticents
Malgré ces précautions, les entretiens ne se montrent pas toujours aisés. « Quand les usagers voyaient arriver deux personnes qui venaient enquêter, il y avait un petit moment de blanc, se souvient Jean-Louis Colela, chef de service dans un foyer intermédiaire du CAPs, à Essey-lès-Nancy. Il fallait prendre le temps d'expliquer que cela restait entre nous, et ne serait pas divulgué à l'extérieur. » En certaines occasions, les handicaps des usagers compliquent encore les choses. « Au sein des services d'aide par le travail, ils peuvent s'exprimer sans difficulté et se lâchent vite quand on leur pose des questions sur le fonctionnement du service. Mais dans les foyers d'accueil spécialisé, c'est parfois assez laborieux et on n'en ressort pas toujours avec des avis constructifs. Enfin, dans certains services comme l'IME ou le foyer d'accueil médicalisé, l'évaluation auprès des usagers n'a pas été possible car on n'en aurait rien tiré », précise Aurélie Rouillon. Des difficultés qui expliquent un taux de participation plus faible que pour les professionnels : 63,3 %.
Le troisième questionnaire est, lui, distribué aux parents des usagers ou à leurs représentants légaux. Anonyme également, il précise toutefois le service d'accompagnement qui prend en charge leur proche. « Quand on m'a parlé de cette démarche, je me suis demandée ce qu'il était possible d'améliorer encore, car j'avais l'impression que le CAPs était déjà au top, commente Anne-Marie Joly, membre du conseil d'administration du CAPs, dont la fille est prise en charge dans un foyer d'accueil spécialisé. Ils m'ont répondu que, justement, pour continuer à être au top, il fallait être attentif et se poser des questions. » Seule ombre au tableau : une participation assez faible des familles, avec seulement 25,5 % de réponses. « Je me suis sentie un peu déçue. Peut-être faudrait-il aller au contact, mais c'est impossible. Trop de familles sont concernées. Et puis, déjà, avec un questionnaire anonyme, on ne récolte pas beaucoup de réponses, alors imaginez s'il ne l'était pas ! »
En dépit de ces difficultés, le dépouillement des questionnaires usagers et familles a fait ressortir certaines informations. Ainsi, au foyer d'accueil spécialisé de Thiaucourt, où 38 usagers ont participé à l'évaluation, 76 % d'entre eux ont indiqué ne pas savoir qu'ils pouvaient suivre des formations ou des stages. Et ont proposé dans la foulée toute une série d'activités : cuisine, électronique, lingerie, élevage de chevaux... En matière d'hygiène et de sécurité, l'un des résidents a même préconisé l'installation de détecteurs de fumée. « Dans les services d'aide par le travail, les usagers ont souvent parlé de l'absentéisme des autres ouvriers », témoigne Aurélie Rouillon. Parfois, les remarques ne concernent pas directement le CAPs. « Au SAT de Rosières, quelqu'un a dit qu'il était problématique de ne pas bénéficié d'un Abribus à l'extérieur, se rappelle Jean-Louis Colela. Sur le sujet, on est un peu coincés, mais on peut revendiquer auprès de la mairie. »
Les commentaires des parents sont également pris en compte. « Dans un foyer d'accueil médicalisé, ils se plaignaient de ne pas connaître suffisamment le personnel et les autres usagers, ainsi que de ne pas être informés des menus et des activités de la semaine écoulée pour assurer le suivi de la prise en charge, illustre Marie-Josée Montoya, directrice du pôle médico-social du CAPs. Nous avons donc décidé de noter les activités dans le carnet de liaison avec les familles, d'afficher les menus toutes les semaines pour que les parents puissent les voir, et de mettre en place un tableau avec des photos d'identité pour que tout le monde sache qui est qui. » Certaines requêtes sont toutefois rejetées lorsque les professionnels estiment qu'elles sont contraires aux valeurs du CAPs ou à la liberté de l'usager. Par exemple, lorsque des parents demandent à connaître l'activité quotidienne de leur fils majeur, qui s'y oppose : « C'est l'usager qui prime s'il est autonome », tranche le directeur.
Réalisé au fil des mois, le bilan des trois questionnaires s'est déroulé dans les différents services, lors de réunions rassemblant l'ensemble des professionnels, en présence du directeur du CAPs et du directeur de pôle concerné. Une rencontre qui « a permis de mettre les choses à plat », estime Aurélie Rouillon. Ce que Jean-Pascal Thiébaut, directeur du pôle travail adapté et insertion, résume avec humour : « Les professionnels estiment qu'ils n'ont pas assez de moyens, les parents, qu'il n'y a pas assez de monde pour s'occuper de leurs enfants, et les usagers, qu'il y a trop de monde et qu'ils aimeraient bien qu'on leur fiche la paix... » Plus sérieusement, Denis Burel observe : « Il s'est produit un véritable échange, qui a duré parfois deux à trois heures. Après, j'ai proposé une synthèse détaillant les points forts et ceux à améliorer, un canevas conçu pour rédiger la charte de service. Quand celle-ci a été prête, chacun des membres du service en a lu un article, puis tous l'ont signée. C'était un moment un peu festif et solennel. »
A la maison d'accueil spécialisée de Rosières, l'article 4 de la charte note, entre autres, que « les points forts du service sont la motivation, le dynamisme, la solidarité entre les équipes, ainsi qu'une volonté de prise en charge de qualité ». Quant aux objectifs d'amélioration, « les professionnels doivent renforcer le lien avec les bénévoles, se former sur les soins, structurer le temps d'accompagnement, développer la communication par les pictogrammes, améliorer la sécurité et la prévention des risques et mettre en place des temps de parole entre les usagers et les professionnels ». Et, pour y parvenir, des pistes d'action sont inscrites noir sur blanc : « mettre en place un partenariat avec les bénévoles pour réaliser des animations et des sorties individuelles », « réaliser un écrit pour structurer le temps d'accompagnement et les tâches de la vie quotidienne », etc.
Depuis juillet 2008, chacun des services du CAPs est doté de sa charte qualité. Elle est affichée dans les locaux et a été transmise aux autorités de tutelle ainsi qu'à l'Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux (ANESM). Valable cinq ans, elle fera l'objet d'un bilan annuel - qui a déjà eu lieu dans certains services ayant signé leur charte dès 2007 -, afin de dresser un état des lieux des actions engagées et des éventuels points de blocage. Denis Burel se montre satisfait du résultat de la démarche qualité : « Même si l'évaluation des pratiques professionnelles s'inscrivait déjà dans notre culture, cela nous a permis de faire une pause et une analyse. » Philippe Klein, le secrétaire du comité d'entreprise, se montre plus nuancé : « C'est très bien que la démarche qualité interpelle tout le monde, mais cela s'avère aussi un peu usant. De plus, le bilan annuel est parfois perçu comme une obligation de retoucher la charte, alors qu'au rythme où évoluent les usagers, il n'y a pas forcément grand-chose de nouveau à dire. »
L'ensemble du processus n'est cependant pas achevé. Certains services, parmi les premiers à avoir connu une évaluation, n'ont pas encore intégré dans leur charte les questionnaires transmis aux usagers et à leurs familles. « On ne pouvait pas entamer toutes les démarches en même temps, c'était trop lourd, justifie Aurélie Rouillon. Mais les observations des usagers et des familles ont été transmises pour les premiers bilans annuels. Et, dans cinq ans, la charte ne pourra pas être signée si l'évaluation sur les trois niveaux n'a pas été effectuée. » Des améliorations devraient en outre venir peaufiner le dispositif. Par exemple, dans les grands services, qui rassemblent parfois une cinquantaine de professionnels, les bilans annuels pourraient à l'avenir être réalisés par petits groupes, afin de faciliter la prise de parole. La participation des familles à la démarche qualité pourrait être renforcée, même si pour les professionnels elle s'avère conforme au pourcentage de parents habituellement présents lors des réunions d'information. Quant aux services administratifs et logistiques, ils vont eux aussi devoir procéder prochainement à leur évaluation. Avec un dossier épineux concernant les psychologues des services médico-sociaux : « Comment évaluer leur travail, quel référentiel retenir ? », s'interroge-t-on au CAPs, où une commission planche déjà sur le sujet. Surtout, l'établissement espère pouvoir jauger rapidement la pertinence de sa démarche qualité interne en la soumettant pour avis à son comité d'experts, en sollicitant celui de l'ANESM, et en postulant pour être l'un des premiers à bénéficier d'une expertise externe. Ce qui, dans la logique de remise en question permanente du CAPs, représenterait le moyen idéal d'évaluer... l'évaluation.
Fort de 500 salariés, de plus de 750 usagers, et doté d'un budget de 37 millions d'euros, le Carrefour d'accompagnement public social réunit 5 établissements. Ceux-ci comptent une trentaine de structures et services répartis en Meurthe-et-Moselle et dans la Marne : un institut médico-éducatif (IME), un service d'éducation spéciale et de soins à domicile (Sessad), un foyer d'accueil médicalisé (FAM), 5 établissements et services d'aide par le travail (ESAT) et 2 foyers d'hébergement, 8 foyers et 2 maisons d'accueil spécialisées (FAS et MAS), 3 services d'accompagnement social, 5 d'accompagnement professionnel en milieu ordinaire (SAPMO) et 3 d'accompagnement médico-social pour adultes handicapés (Samsah).