39 établissements à la loupe

« Lorsqu’en 2002 la loi est venue nous dire que nous devions faire une évaluation externe, nous avons eu des sueurs froides. Etions-nous vraiment dans les clous ? Qu’allait-il se passer ? » Dans une auberge de jeunesse de Dunkerque, Charley Remy, directeur qualité de l’AFEJI (1) de 2005 à 2011, rappelle à la soixantaine de cadres de l’association présents le pari « un peu fou » qu’a représentée l’aventure de l’évaluation externe dans laquelle s’est lancée l’importante association nordiste à la fin de l’année dernière. Avec ses 47 établissements et ses 2 000 professionnels accompagnant tout au long de l’année plus de 12 500 personnes – adolescents et adultes en situation de handicap ou en difficulté sociale, personnes âgées –, l’AFEJI doit relever « un challenge associatif expérimental » pour répondre aux nouvelles exigences du législateur, explique Marianne Pladys, directrice de la valorisation des personnes et des services, pilote sur le projet d’évaluation externe.

La loi du 2 janvier 2002 rénovant l’action sociale et médico-sociale impose en effet aux établissements et services sociaux et médico-sociaux d’adresser les résultats de leur évaluation externe aux autorités de contrôle et de tarification avant décembre 2014, soit deux ans avant le renouvellement de l’autorisation à laquelle ils sont soumis. Mais les responsables de l’AFEJI décident de ne pas attendre et de s’engager dans cette évaluation en décembre 2010 pour les 39 établissements ayant déjà franchi l’étape précédente de l’évaluation interne (2). « Il nous semblait logique que cette démarche s’inscrive dans le mouvement que nous avions initié depuis un an et demi déjà pour développer les compétences managériales des directeurs d’établissement de l’association », note Daniel Fouillousse, directeur général de l’AFEJI. Les responsables savent surtout qu’ils peuvent s’appuyer sur une culture et des pratiques déjà bien ancrées grâce à une démarche qualité engagée au sein de l’AFEJI depuis 1994. « Nous avions incontestablement des atouts pour réaliser cette nouvelle étape de notre démarche qualité. Nous avions, par exemple, déjà travaillé sur les suites à donner aux deux évaluations internes que nous avions effectuées », précise Charley Remy. Pour avoir du sens, l’évaluation externe devra ainsi reprendre certains grands principes de la démarche qualité dé­ployée sur les différents établissements de l’association, à commencer par la participation à l’évaluation des usagers et des professionnels de proximité. Lesquels sont les mieux placés, comme le soulignent les responsables de la qualité, pour apprécier véritablement la qualité de service et de l’accompagnement. Il s’agit aussi de conserver l’idée du référentiel commun et adaptable aux spécificités de chaque établissement préalablement construit pour les évaluations internes.

Face à la diversité des publics accueillis au sein de l’association et aux réalités de terrain très différentes, la direction de la qualité opte pour la mise en place d’un socle minimal de règles communes, à partir duquel chaque site est libre de rajouter des éléments en fonction de son histoire, des personnes qu’il accompagne, etc. Avec toutes ses composantes, l’AFEJI est une « salade de fruits » qu’il ne faudrait pas transformer en « compote » en voulant appliquer une grille trop restrictive et normée, insistent en souriant les responsables qualité.

A la fin de 2010, l’association lance donc un appel à candidature auprès de plusieurs organismes habilités par l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux (ANESM) et élabore le projet d’évaluation externe avec les six organismes finalement retenus. Cette entreprise totalement inédite exige une collaboration étroite entre la direction de l’association et les évaluateurs pour « coconstruire » la démarche. « A l’époque, un seul organisme avait déjà fait de l’évaluation externe et les évaluateurs étaient autant demandeurs qu’apporteurs de solutions », se souvient Charley Remy. Un coordinateur des évaluateurs est mis en place au début de cette année et les organismes retenus sont chargés d’harmoniser leurs pratiques autour d’un cadre évaluatif commun qui reprend, comme pour les évaluations internes, les recommandations des bonnes pratiques de l’ANESM.

Evaluateurs et membres de la direction de l’AFEJI travaillent également de concert pour mettre au point les modalités des visites sur les sites. Echanges avec les directeurs des trois pôles de l’AFEJI (3) pour intégrer les spécificités de l’association ; communication aux évaluateurs de la documentation nécessaire à la bonne compréhension des structures à visiter ; sensibilisation des personnes accompagnées et des professionnels sur le terrain… Préparée avec soin, l’organisation des visites dans les établissements a permis aux évaluateurs de travailler avec des personnels impliqués et dans un climat de transparence, assure-t-on à l’AFEJI comme du côté des évaluateurs. « Si certains professionnels pouvaient parfois sembler un peu inquiets et faisaient attention à ce qu’ils disaient, la grande majorité des personnes que nous avons rencontrées nous ont très bien reçus. La parole était assez libre. On sentait que la culture de l’évaluation était déjà intégrée grâce aux précédentes évaluations internes », note Pascal Desreumaux, consultant chez E2I, une coopérative de conseil qui a évalué 13 établissements de l’AFEJI. « Même s’il y avait parfois des appréhensions par rapport aux interprétations qui pouvaient être faites par les évaluateurs, les professionnels ont joué le jeu parce qu’ils ont été sensibilisés avant, rappelle Dominique Manier, éducatrice à la maison d’enfants à caractère socialde Petit-Fort-Philippe et représentante du personnel CGT. Ils sentaient qu’ils n’étaient pas directement mis en cause, mais interpellés dans le cadre de leurs interventions professionnelles. »

Pour certains établissements où les évaluateurs sont intervenus en binômes, la complémentarité des regards portés sur les pratiques professionnelles et le fonctionnement quotidien ont également constitué un des points forts de la démarche. A l’institut médico-éducatif (IME) Jean-Lombard d’Houplines, l’arrivée d’un duo formé d’une directrice d’IME et d’un qualiticien a été considérée comme un gage de sérieux. « Nous avions à la fois quelqu’un qui se préoccupait davantage de la forme, des procédures et une évaluatrice qui était du métier et travaillait plus sur le fond. Elle nous disait : “Votre méthodologie, sur le papier, c’est nickel. Maintenant, montrez-moi comment vous la faites vivre sur le terrain.” Et là, ça permettait vraiment d’avoir des échanges entre professionnels », déclare Christophe Tembremande, directeur adjoint de l’IME. Cette complémentarité s’est retrouvée sur les six organismes qui, à partir d’un même cadre évaluatif, ont déployé des approches différentes : certains ont mis l’accent sur la place des personnes accompagnées, d’autres sur les effets des projets éducatifs sur les usagers, et d’autres, enfin, ont davantage examiné la conformité aux engagements et à la régle­mentation.

Une multiplicité d’approches qui a toutefois également mis en lumière la difficulté à délimiter avec précision les contours de l’évaluation externe et ses objectifs. Pour Jean-François Minet, directeur de l’IME Jean-Lombard, la grille d’évaluation mériterait d’être affinée : « Il faudrait que les informations demandées pour une visite de conformité, un audit ou une évaluation externe soient davantage différenciées. J’ai parfois l’impression de répondre trois fois à la même demande, sur l’existence des fiches de postes ou d’un dossier d’entrée et de sortie des enfants, par exemple. » Un travers que reconnaît volontiers Pascal Desreumaux, tout en pointant du doigt les modalités et les objectifs très flous figurant dans le décret du 15 mai 2007 qui fixe le contenu du cahier des charges pour l’évaluation externe : « Nous avons effectivement été confrontés à la présence de deux cultures évaluatives différentes. La première fondée sur la recherche du sens de ce qui est mis en place et la seconde qui s’apparente davantage à un audit de conformité. Très rapidement, le naturel est revenu au galop et on a vu cette culture de l’audit apparaître en force lors de la construction du cadre évaluatif commun. Mais, à notre décharge, le décret de mai 2007 n’est pas très précis sur la façon de concevoir cette évaluation externe. »

Gouvernante depuis seize ans à l’établissement d’hébergement pour personnes âgées dépendantes (EHPAD) Edilys de Lille, Nadine Montigny a été surprise, quant à elle, de voir débarquer des évaluateurs externes. Surprise mais pas ennuyée : « J’ai trouvé ça trop court. Cela ne me gênerait pas qu’ils viennent régulièrement, parce que l’on se sent reconnu dans ce que l’on fait. » L’établissement était alors déjà engagé dans la démarche d’auto-évaluation spécifique aux EHPAD, par le biais du référentiel Angélique, et dans une certification de service. Pour la direction, si l’évaluation externe peut paraître redondante sur certains points avec ces autres démarches, elle met néanmoins la lumière sur les actions développées sur le terrain pour répondre aux besoins et aux attentes des usagers – l’objectif mentionné dans le décret de mai 2007. Contrairement notamment à la certification, la souplesse accrue de l’évaluation externe aide à aborder différents aspects essentiels, comme la place de la personne accompagnée et le bien-être de l’usager. « Les évaluateurs externes ont pu examiner les pratiques sur le terrain et se sont davantage intéressés à tout ce qui touchait à la bientraitance, à la sécurité des résidents, etc. Par rapport à la certification de l’AFNOR, où tout est bordé d’avance, l’évaluation externe est beaucoup plus humaine », observe Gaëlle Coppe, chef du service hébergement et vie sociale à l’EHPAD Edilys.

Vision partagée par le directeur de la résidence lilloise, Marc Swistek, qui voit dans l’évaluation externe un excellent moyen de « mettre en évidence l’état d’esprit d’un établissement et des impressions plus fines qui n’existent pas dans les simples documents que nous communiquons ». A l’IME d’Houplines, on insiste aussi sur l’intérêt de l’évaluation externe en termes de communication, voire de négociation avec les autorités de tutelle. « Nous n’arrivons pas encore à bien expliquer, à bien valoriser ce qui se fait dans ce type d’établissement. Nous ne sommes pas bons pour faire ressortir tout ce que nous faisons de bien et le montrer à l’extérieur. L’évaluation externe peut nous y aider », souligne Jean-François Minet. Mais le directeur de l’IME s’empresse d’ajouter qu’il faudrait que les évaluateurs puissent rester plus longtemps dans les établissements pour avoir une perception plus complète et plus juste du travail réalisé.

Le manque de temps passé sur site revient comme un leitmotiv dans les retours qui sont faits sur cette première évaluation externe. Avec quelque 120 jeunes accueillis, une centaine de salariés, des hébergements en internat, des externats, des groupes éducatifs ou scolaires, l’ensemble du travail réalisé à l’IME d’Houplines est difficile à apprécier sans un minimum de temps passé sur place, estime Jean-François Minet. « Les évaluateurs ont demandé d’abord à voir les représentants du comité de suivi de la démarche qualité pour expliquer ce qu’ils faisaient. Ils ont vu également des familles avec une éducatrice et des professionnels de l’IME, des infirmiers, des cuisiniers, etc. Mais ils n’ont pas pu voir suffisamment de monde. Pour pouvoir saisir vraiment la réalité de ce que nous faisons, il faudrait être immergé pendant une semaine et 24 heures sur 24 dans l’établissement. » D’autant que, selon l’équipe dirigeante, l’étude des documents administratifs sur place a pris également du temps et s’est faite au détriment des entretiens avec les professionnels, les jeunes ou les parents. A l’EHPAD de Lille, les deux évaluateurs ont passé chacun deux jours et sont parfois restés tard le soir pour pouvoir rencontrer un représentant de chaque service et interroger les résidents. « Pour nous, la qualité est une culture, pas une contrainte, et l’évaluation externe est une occasion supplémentaire de voir comment améliorer encore l’accompagnement des résidents. Mais, en restant deux jours ici, les évaluateurs ont été obligés de survoler beaucoup de choses », note Marc Swistek.

Les contraintes de temps, c’est un peu « le sujet qui fâche » pour les consultants de E2I qui ont dû limiter leur durée d’intervention sur site à deux jours sur la plupart des sites et à trois jours pour les plus importants. Pas simple, dans ces conditions, de recueillir tous les points de vue et témoignages nécessaires, comme l’admet Pascal Desreumaux. Pour respecter les délais très courts qui lui étaient fixés, il a ainsi limité les rencontres avec les usagers et renoncé à voir les partenaires extérieurs des structures visitées. « Je trouve dommage, par exemple, de n’avoir pas pu être au moins observateur sur une réunion de conseil de la vie sociale, ou de n’avoir pas pu organiser des rencontres avec des parents lorsque je suis intervenu sur des MECSS [4]. Avec le manque de temps, on est souvent obligés de rester beaucoup sur de l’intentionnel et du déclaratif, les professionnels confirmant ou non qu’ils mettent bien en place ce qui est prévu dans le projet d’établissement. »

Sur le plan associatif, la direction qualité reconnaît que les évaluateurs ont été sous pression, mais fait valoir le coût d’une telle démarche et les impératifs liés aux contraintes budgétaires. « Puisque chaque partie avait beaucoup à apprendre de cette démarche inédite, nous avons pu réduire les coûts. Mais cette évaluation externe a tout de même coûté 250 000 € au total, et nous n’avions pas d’enveloppe particulière pour cela », fait remarquer Charley Remy. Cette prise en charge financière par l’association elle-même peut d’ailleurs paraître incongrue pour une démarche d’évaluation externe, confient certains établissements et évaluateurs. « On est face à une ambiguïté de l’évaluation externe, où ce sont les établissements évalués qui nous paient pour porter une appréciation objective et exhaustive sur leur façon de travailler. Il faut énormément d’honnêteté de part et d’autre pour que de telles missions puissent s’accomplir sereinement et objectivement », souligne-t-on chez E2I.

Malgré les écueils et les tâtonnements inhérents au caractère inédit de cette démarche, l’évaluation externe menée de décembre 2010 à mai dernier a été considérée par les équipes des établissements comme un outil supplémentaire qui vient améliorer encore l’accompagnement des usagers. Sans être une norme ou un label, l’évaluation externe constitue une reconnaissance du travail réalisé par les établissements. Selon le directeur adjoint de l’IME d’Houplines, elle forme également un levier pour mieux préciser les objectifs et les directions à prendre dans les deux ou trois années à venir et, par là même, un bon outil pour communiquer en interne comme à l’extérieur. Plus globalement, une enquête d’opinion réalisée par l’association auprès d’une cinquantaine de professionnels investis dans la démarche qualité des différents sites évalués a mis en évidence l’utilité de l’évaluation externe pour la réflexion qu’elle permet d’engager autour des pratiques professionnelles, la définition de nouveaux engagements qualité, la promotion de la bien­traitance ou encore l’implication des personnes accompagnées dans la démarche.

A la direction de l’AFEJI, on se dit aujourd’hui agréablement surpris par certaines conclusions de l’évaluation externe, en particulier sur la question de la bientraitance et de la place de la personne accompagnée. « Je pensais que nous péchions quand même sur ce point précis de la bientraitance et que nous avions plus de progrès à faire. Cela tient au fait que nous nous sommes beaucoup focalisés sur les établissements que nous avons repris récemment et qui étaient très en deçà de ce qui se faisait à l’AFEJI dans le domaine de la démarche qualité », note Daniel Fouillousse. A la suite de cette première évaluation externe, l’image de l’association, parfois qualifiée de « grosse machine privilégiant le quantitatif au qualitatif », devrait également évoluer à l’extérieur, espère pour sa part Marianne Pladys. En attendant, les comités de pilotage de la qualité planchent sur les résultats de l’évaluation externe afin de mettre en place des tableaux de bord qualité qui devraient, assure la direction, apporter une aide à la décision considérable pour les trois ou quatre années qui viennent.

Les 39 évaluations externes ont été remises le 15 juin dernier par l’AFEJI aux autorités de contrôle et de tarification que sont l’agence régionale de santé, le conseil général et la direction départementale de la cohésion sociale. Celles-ci doivent maintenant développer leur propres grilles de lecture des évaluations pour en analyser les résultats.